数据挖掘那些事

当我们在谈数据挖掘时,其实在讨论什么

统计学、数据挖掘与机器学习是近年来经常一起出现的3个词语,尤其是数据挖掘与机器学习。有些人认为数据挖掘涵盖了机器学习,有些人认为机器学习应该包含数据挖掘,各种说法莫衷一是。实际上,由于近年来信息科学的高速发展,这些概念虽然有了一定的定义和解释,但是边界都相对模糊。如果从业务场景、算法应用的角度理解、学习他们,可以归类为数据科学——一门从数据中提炼知识及洞察趋势的科学。

文/黄成甲

将这种科学应用到生活中就是各种指数。例如:裙边理论:女性的裙子长度可以反映经济的兴衰,裙子越短,经济发展情况越好,裙子越长,经济发展情况越艰险。另外,还有德国啤酒指数:每当气温上升1度,啤酒销量就平均增加230万瓶,这就是“德国啤酒指数”;空调指数:在日本夏季,温度每上升1度,空调的销量就平均增加30万台。

这些行业指数都是统计学在某一方面的应用。当然,现在的统计学已经大大超出了行业指数研究的范畴。例如IBM在医疗领域利用Watson技术解决了包括糖尿病、白内障、肿瘤等难题。但是,无论是在过去、现在还是未来,人们总是希望能够借助观察事物(获取数据),通过合适的手段(建立统计挖掘模型)来量化这些关系。例如,借助一个人的身高来预测他的体重,

身高预测模型

上图是一个统计挖掘模型的基本形式。简单来说,统计挖掘模型是指利用一个或多个输入变量(一般也被称为自变量)通过拟合适当的关系式来预测目标变量(也被称为因变量)的方法。其中,f(x)是我们探求的关系式,但是其一般是固定并且未知的。尽管f(x)未知,但是我们的目标是利用一系列的统计/挖掘方法来尽可能求出接近f(x)的模型,这种模型可以是一个简单的线性回归模型y=ax+b,也可能是一个曲线模型y=a+bx²,当然也有可能是一个神经网络模型或者一个决策树模型。

这些模型从预测任务的角度看,估计出f(x)的形式并不意味着任务结束,在实际的商业实践中,可以将数据挖掘任务简单分为预测任务与控制任务。

(1)预测任务:我们关心的是目标变量Y的预测。预测模型f(x)的形式有可能是一个黑箱模型(即对于模型本身,我们不能很好解释或者并不清楚其内部结构,而是更加关心模型的输入和输出),只要能够提高预测精度,我们就认为达到目的了。一般,神经网络模型属于典型的黑箱模型。例如:Google X实验室开发出具有自主学习能力的神经网络模型,它能够从1000万张图片中找出那些有小猫的照片,其中,这1000万张图片就是输入,对于这些图片的识别就是输出。

(2)控制任务:在控制任务中,我们希望能够尽可能地描述清楚X与Y的关系。例如在金融行业,要通过客户的个人信用信息来评价个人的信用风险,这就要求模型不但能够回答这个客户的信用风险是高还是低,还要能回答哪些因素直接影响客户的信用风险,每个因素的影响程度有多大。

进一步的,从预测场景的角度看,又可以把统计挖掘划分为两种类型:有监督的学习与无监督学习。

学习类型

有监督的学习即对每一组自变量X都有一个因变量Y一一对应,通过拟合预测模型,可以更好的理解输入变量与目标变量之间的关系,例如,分析客户的个人信用信息来评价其信用风险,分析企业营销费用投入与销量的关系等。对于有监督学习,如果目标变量属于定量变量(即连续型变量,例如GDP、企业年销售额),那么可以把它定义为回归问题;如果目标变量属于定性变量(即分类型变量,例如违约客户与不违约客户),那么将其定义为分类问题。

而对于无监督学习,则只有自变量X,而没有明确的Y。例如,对于零售企业中每个会员的行为信息,通过无监督学习的方法(聚类)可以把会员划分为不同的客户细分群体,如粉丝客户群、性价比客户群等。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,794评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,050评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,587评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,861评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,901评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,898评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,832评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,617评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,077评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,349评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,483评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,199评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,824评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,442评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,632评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,474评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,393评论 2 352

推荐阅读更多精彩内容

  • 在数据分析中,模型是非常有用和有效的工具和数据分析应用的场景,在建立模型的过程中,数据挖掘很多时候能够起到非常显著...
    keeya阅读 975评论 0 3
  • 首页 资讯 文章 资源 小组 相亲 登录 注册 首页 最新文章 IT 职场 前端 后端 移动端 数据库 运维 其他...
    Helen_Cat阅读 3,869评论 1 10
  • 回归,最初是遗传学中的一个名词,是由生物学家兼统计学家高尔顿首先提出来的。他在研究人类的身高时,发现高个子回归于人...
    黄成甲阅读 46,018评论 0 61
  • 非常感谢,感恩这一切,让我每天心情好好的,看到美丽,享受着美好。 经常抱怨生活的,多半是自己跟自己过不...
    Miss微微恩阅读 238评论 0 3
  • 吉林省一法法律咨询服务有限公司 吉林省一法诉讼保全担保有限公司
    2b26db1ab61c阅读 156评论 0 0