今天我们第一本解读的是《大数据时代》这本书。
大数据是这几年特别火的一个词,那究竟什么是大数据呢?
字面意思可以理解为大数据就是数量巨大的数据,而这些巨大的数据再结合云计算、人工智能、物联网等技术会对于我们的生活、工作都会带来翻天覆地的影响。
芝加哥大学商学院教授、麦肯锡公司创始人,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”
而我们今天所讲的这本《大数据时代》是国外大数据研究的先河之作,本书作者舍恩伯格被誉为“大数据商业应用第一人”。舍恩伯格在书中前瞻性地指出,大数据带来的信息风暴正在变革我们的生活、工作和思维,大数据开启了一次重大的时代转型,并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。对于身处于大数据时代额我们可谓是会产生异常极大的思维方式的变革。
舍恩伯格最具洞见之处在于,他明确指出,大数据时代最大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。这就颠覆了千百年来人类的思维惯例,对人类的认知和与世界交流的方式提出了全新的挑战。
下面我们就进入到《大数据时代》这本书中去吧。
首先来看第一个话题大数据的思维变革
大数据与三个重大的思维变革有关,而这三个转变是相互作用的。
一.不是随机样本,而是全体数据
解释一下就是分析事物相关的所有数据,而不是仅仅依靠分析少量的数据样本。
二是不是精确性,而是混杂性
就是要接受数据的纷繁复杂,而不再追求准确性。
三是不是因果关系,而是相关关系
即不再追求难以摸索的因果关系,转而关注事物的相关关系。
这三个在大数据时代思维变革的转变我们会在接下来节目中一一讲解。
今天我们这一节先讲解:不是随机样本,而是全体样本,这一思维的变革。
小数据时代的随机抽样
为什么这么说呢?在我们过去技术并不发达的时候,只能用少量数据来进行随机采样是最高效的方式,即利用最少的数据来获取更多的信息。
在19世纪时美国的人口普查中,因为数据的变化超过了当时的人口普查统计分析能力,有人提出到数据无比庞大时可以进行有目的的选择,具有选出代表性的样本是最恰当的方式,这就是随机抽样。并且还非常有见解的提出:采样分析的精确性是随着采样随机性的增加而大幅的提高与样本的数量增加关系并不大,也就是说,随机采样样本的随机性比数量的多少更为重要。
而在当时,政府确实也采用了随机调查的方式来对于经济和人口进行了200多次小规模的调查,除此之外,在商业领域也会采用随机调查的方式来抽取部分商品来检查商品的质量安全。
随机抽样取得了巨大的成功,成为了现代社会,现代测量领域的主心骨,但这只是一条捷径,是不可能收集和分析全部数据情况下的选择,他本身就有很多的缺陷。
随机抽样的缺陷
第一,它的成功依赖于采样的绝对随机性,但在实现中绝对的随机性是非常困难,一旦分析过程中存在任何“偏见”,分析结果就会相去甚远。
第二,随机采样不适宜用于考察此类别的情况,也就是说随机抽样,一旦继续细分错误率会大大增加,比如说你想调查大学生玩手机的情况,您采取的调查结果可能会有3%的误差,但如果又把这个调查结果根据性别地域、收入来进行细分,那结果就会变得更为不准确。
因此当人们想要了解更深层次的细分领域的情况,采用随机采样的方法显然是不可取的,在宏观领域起作用的方法,在微观领域上失去了作用,随机采样就像是模拟照片,打印再远看会是非常不错,但是一旦聚焦在某个点,就会变得模糊不清。
全部数据的采样方式
现在我们正在步入了大数据时代,我们需要一中新的数据采集模式----全数据模式,即样本等于总体。
我们这个时代收集数据,并不像过去那样困难,手机导航、社交网站、微博、微信这些随时随地或主动或被动的收集你所产生的信息,并且通过计算机就可以轻而易举地完成数据处理。
采取全部数据的采样方式,可以不用考虑随机抽样所考虑的随机性,并且在细分领域也会发挥极大的作用,一个很好的例子,就是日本国民体育运动相扑之中所产生的非法操控比赛结果。
相扑比赛和其他比赛有所不同的就是选手需要在15场比赛之中的大部分场次获得胜利,才能保持排名和收入。这样一来就会出现收益不对称的情况,比如说一个7胜7负的选手,遇到一个8胜6负的选手,比赛结果对于第一个选手会比对第二个选手更为重要。列维特和达根发现在这种情况下,需要赢的那个选手,最可能会赢,这是为什么呢?有没有可能是选手的求胜心呢?当然有可能,但并不是完全!有数据显示需要赢的选手,求胜心,也只能把胜率增加25%。并且对于数据进一步分析发现,选手如果帮助上一次失利的一方的话,当他们再次相遇时,对方会回报回来。
这种情况在相扑界是显而易见的,但若是随机抽样就无法发现这个情况。而大数据通过分析所有比赛,用极大的数据来捕捉到这个情况。
还有关于大数据应用的例子是:2009年,谷歌公司将5000万条美国最频繁的检索词条和美国疾控中心在2003年至2008年季节性流感传播实际数据进行比较,成功预测了甲型H1N1流感的出现。
现在2021年,利用大数据来预测新冠肺炎的发展情况,已经成为我们日常新闻报道的一部分了。
在大数据时代的到来,让我们可以利用技术,从不同角度更细致的观察和研究数据的方方面面,使我们的调查更为精准。
回顾一下我们这一节所讲的过去的调查是采用小部分的数据来进行抽样调查,这一方法有显著的缺点
首先是抽样分析依赖于采样的随机性,而一旦数据出现”偏见“,结果便会大相径庭
第二抽样分析也只适用于宏观分析,对于更加微观的调查结果并不理想。
如今的技术环境已经有了很大的改善,在大数据时代进行抽样分析就是在汽车时代骑马一样,我们要分析与事物相关的而所有数据,而不仅仅是少量的数据。
以上就是我们本期全部内容,下一期我会讲到大数据时代下思维变革的后两个思维变革。
我的节目首发平台是公众号“悦读深入思考”关注还有更多内容