大数据百日谈1 | 从“解题模式”看大数据和传统统计

      这几天国家可持续发展大数据国际研究中心成立大会,大数据热度不减,各领域都在利用大数据提升自己的格调。这些年一直从事信息化相关工作,也算大数据边缘行业的从业者,整理一下自己对大数据的愚见,欢迎大家交流。   

        由于工作的关系,最近接触了一些统计方面的知识,先百度了两者的区别,以下引用一下百度百科的的一套关于大数据和传统统计学区别的回答。

      一、知识体系不同 

        1、统计学注重的是方式方法;

        2、大数据则更关注于整个数据价值化的过程,大数据不仅需要统计学知识,还需要具备数学知识和计算机知识。

      二、技术体系结构不同

        1、统计学知识主要应用在大数据分析领域,统计学方式是大数据分析的两种主要方式之一,另一种数据分析方式是机器学习。

        2、大数据技术,不只是涉及到统计学,还有数学、计算机及各行业的学科内容。是学科交叉融合的一门新兴专业。

        三、数据集不同

          1、传统统计学由于可行性的原因,常常得到的只是一个样本,但是需要描述样本取自的那个大数据集。

          2、大数据则常常可以得到数据总体,例如关于一个公司的所有职工数据,数据库中的所有客户资料等。在这种情形下,统计学的推断就没有价值了。

        (以上引自https://zhidao.baidu.com/question/1432389636191713979.html)

        “版本内升级”VS“版本迭代”

        以上的区别我是表示认同的,但我觉从认识上还是要进一步区别清楚大数据对于传统统计,是实施方法上的升级还是取代性的新事物。就像现在常见的两种对待大数据的极端态度:一种是把大数据捧上天,大数据万能,有了大数据看不上统计,觉得还做统计分析落伍了;一种是踩下地,看不上大数据,觉得就是统计,就是大屏上的“ppt”。我认为都是对大数据认识不够准确、定位不够清楚。

        “工具手段”发展明显

          之前记得看了一本书讲大数据如何超越传统统计,拿了人口统计的例子,强调传统统计通过样本数据来分析,而大数据可以利用全量数据,上面的区别也提到了数据集的差别。从数据获取范围、获取技术上,大数据带来的新技术和新理念,的确给传统统计分析方法提供了新的“工具手段”,开拓了新思路。

      “解题模式”的超越

          但另一方面,我觉得不同的工具或者方法,从解决问题的方式、效率等方面去辨识会更加清楚,也更利于选择和发展。从解决问题的基本思考模式角度,目前大部分所谓的大数据应用和传统统计在方法模式上是趋同的。大数据仍是在传统统计的思考模式框架下解决问题,或者说传统统计和大数据应用,仍是在相同的数据化思考框架下去解决问题。“定义指标模型、收集数据(抽样或全量、汇总或实时)、刻画客观世界,发现问题寻找规律”的“解题模式”是一贯的,大部分大数据应用在这一层上没有超越传统统计。

      在充分肯定大数据在采集技术、刻画手段、商业价值等方面取得巨大成就的同时,应该更客观的审视和重视这种“解题模式”本身的发展,  与传统统计一样,业务建模(指标建模)、数据质量、结果应用仍是困扰大数据实际落地的难点与瓶颈。关注数据刻画客观世界的本质和规律,正视大数据在解决问题方面的局限和环境约束,重视数据化思考引入后工作流程的变革,也许是大数据突破现有“解题模式”,实现真正迭代式发展的应有之义。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,313评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,369评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,916评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,333评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,425评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,481评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,491评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,268评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,719评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,004评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,179评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,832评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,510评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,153评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,402评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,045评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,071评论 2 352

推荐阅读更多精彩内容