【《大数据时代》读书笔记1】大数据,大转变

如果从大四跟着某老师做关于网络学堂数据挖掘的SRT开始算起,与大数据的缘分竟已有7年之久,虽然一直都只是浅尝辄止。《大数据时代》是大数据的先河之作,对于帮助读者厘清大数据的基本概念、构建大数据知识框架有着十分重要的作用。这篇读书笔记主要讨论《大数据时代》一书的前一至三章,即大数据带来的三大转变。

更多,不是随机样本,而是全体数据。大数据是采用所有数据的方法,所有数据既可以是相扑比赛中运动员过去所有的比赛资料,也可以是庞大的以PB计量的数据库。大数据的“大”是因为“全”,虽然“全”了不一定数据量巨大,就如相扑比赛中运动员的比赛资料,其数据量可能不超过一张高清晰度的照片。当然,一般来说,在现阶段这个数据大爆炸的时代,数据的“全”往往也意味着数据的大。

对所有数据的采用,有助于克服随机采样的缺陷,并得以对数据进行深度探讨。一直以来,随机采样是小数据时代的利器,可以凭借最少的数据获得最多的信息,但是采样难以绝对随机、不适合考察子类别、调查结果缺乏延展性等限制,让数据无法更好“发声”。现阶段,我们拥有了足够的的数据处理和存储能力,也拥有了最先进的分析技术,我们可以让所有数据自由起舞,无需戴着镣铐,尽情展示它们最迷人的、我们从未想过见过的舞姿。

更杂,不是精确性,而是混杂性。“小而精”的时代已经过去,大数据让我们拥抱“大而杂”。对于追求完美主义的人来说,放弃精确性是一件让人很痛苦的事情,但是,我们必须看到,通过牺牲一定程度上的精确性,换来的是更广泛、更高频率的数据。大量、格式不一致的数据混杂在一起,与简单的算法也能配合默契,大数据弥补了数据不够精确的缺憾,让数据的混杂性成为一种标准途径。

于是,在只有5%的数字数据是结构化的、能适用于传统数据库的背景下,曾经苦苦追求数据结构化的数据库设计,也开始被不精确渗入,以牺牲一部分精确性为代价,换来了数据的大而全,换取了事物的全貌。需要注意的是,精确性的牺牲并不意味着数据可以是错误的,虽然在一定程度上这种错误的影响也可以被抵消,但是,我们必须牢固树立一个意识,那就是,不论是在大数据时代、还是小数据时代,错误都需要尽可能避免。

更好,不是因果关系,而是相关关系。上周末可能是最后一次的国家司法考试,当年被各种虐的因果关系,在大数据面前,似乎也不那么重要了,心里产生一种“因果关系你也有今天”的愉悦感。其实,因果关系是一种特殊的相关关系,只不过这种相关关系太有魅力,吸引着无数人上下求索。

相关关系分析重点关注“是什么,而不是为什么”,打败亚马逊书评团队的数据推荐系统,并不懂为什么这个人要买这本书,但它知道这个人要买,然后做出相应的推荐,这就足够了,不是么。关联物是预测的关键,通过找到一个现象良好的关联物,甚至可以帮助我们捕捉现在、预测未来,提示沃尔玛在飓风季节把蛋挞和飓风用品放在一起的成功实践,就是一个很好的例证。大数据的核心,就是建立在相关关系分析法基础上的预测,相关关系分析法更准确、更快,且不易受偏见影响,能够克服快速思维中对因果关系武断认定的缺陷,为我们提供新的、更加清晰的视角。

知行合一,知为先。大数据带来的大转变,最先改变的就应该是思维。这三章内容,其实是为后文奠定基础,也为大数据描绘了一个基本框架。更多,更杂,更好,才能拥抱大数据,才能让数据更好发声,让生活更多改变。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,240评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,328评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,182评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,121评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,135评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,093评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,013评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,854评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,295评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,513评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,678评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,398评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,989评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,636评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,801评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,657评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,558评论 2 352

推荐阅读更多精彩内容