2019-11-24

《大数据时代》


一、思维变革

大数据和三个思维的转变有关

1.要分析与某事物相关的所有数据,而不是依靠少量样本

数据处理技术的进步,让样本等于总体成为现实。大数据即指不用随机分析法这样的捷径,而采用所有数据的方法,而这较为有效。比如,专门从事跨境汇款业务的XOOM公司,它对一笔交易的所有相关数据进行分析,系统曾因注意到用“发现卡”从新泽西州汇款的交易量比正常情况多而自动启动报警,事实证明,确是犯罪集团试图诈骗。

2.人们乐于接受数据的纷繁复杂,而不是精确性

大数据不仅让人们不再期待精确性,也让人们无法实现精确性——数据库一般分散在多个硬盘和多台电脑上,一个记录可能分开储存在多个地方,同步更新不太现实。而当数量规模够大时,确切的数量就没那么重要了——想想社交帖阅读量的标示以及人们的心理:阅读量1万以上,就很少有人在乎最末的个位数了。如谷歌翻译系统,为了训练计算机,会吸收它能找到的所有翻译——各类语言的公司网站、联合国和欧盟发布的官方文件的译本、迅读项目中的书籍翻译等,尽管其输入源很混乱,但翻译质量更高,可翻译的内容更多了。

3.人们的思想发生了转变,不再探究难以捉摸的因果关系,转而关注事物的相关关系

过去人们通过因果关系了解世界:比如感冒和不带帽子;肚子不舒服和刚在某家饭店吃过饭……并不一定准确。大数据时代,理解世界不再需要建立在假设的基础上,建立相关关系分析法基础上的预测是大数据的核心。

亚马逊团队最初想通过分析“客户之间的相似性”建立推荐系统,后来发现这非常琐碎而无效,最后转向“找到产品之间的关联性”,这为亚马逊带来三分之一的销售额。沃尔玛对包含每一个顾客的购物清单、消费额、具体购买时间、购买天气的庞大数据库进行分析发现,每当在季节性飓风来临之前,不仅手电筒销量增加,某品牌蛋挞的销量也增加了,沃尔玛接下来会在同样的天气来临前把库存的蛋挞放在飓风用品旁边以增加销量。


二、商业变革


1.理解数字化和数据化

数字化:谷歌把所有版权书籍通过扫描存入谷歌服务器的高分辨率数字图像文件中,书本上的内容变成了网络上的数字文本,任何地方任何人都可以方便查阅,然而这还需要用户在浩瀚的内容中寻觅自己需要的片段。


2.量化一切,数据化的核心

1)文字变成数据:人们可以用来阅读,机器可以用之分析。

2)方位变成数据:典型代表GPS,手机用户地理位置的价值——根据他所居住的地点和要去的地方的预测数据,为他定制广告。

3)沟通变成数据:FACEBOOK的“社交图谱”;推特让人们记录和分享零散的想法让情绪数据化得以实现……潜在用途如消费信贷公司考虑开发以脸书社交图谱为依据的信用评分——物以类聚,人以群分,一项研究表明,个人偿还债务的可能性和朋友会偿还的可能性呈正相关。

4)万物数据化:如触感技术先导可以通过一个人的体重、站姿和走路方式确认身份;将感应器绑定到哮喘病人佩戴的呼吸器上,通过GPS定位,可以判断环境对哮喘的影响等。

3.数据再利用

在数字化时代,数据是被交易的对象;大数据时代,数据将发挥潜在价值。对于组织来说,应收集尽可能多的使用数据并保存尽可能长的时间,同时在保留“延展性”权利的前提下与第三方分享,分得潜在价值一杯羹。

1)数据再利用:如移动电话运营商收集用户位置信息传输电话信号,调整网络性能,而手机制造商可以用它来了解影响信号强度的因素,改善手机接收质量,电话公司甚至创立独立公司向零售商和买家出售其收集到的匿名用户位置信息。

2)重组数据:如房地产网站将房地产信息和价格添加在美国的社区地图上,同时聚合大量信息,如社区近期的交易和物业规格,以此来预测区域内具体每套住宅的价值。

3)可扩展数据:摄像头一直用于安全保卫,是一项成本支出,但还可以跟踪购物客户流和他们停留的位置,用来参考店面最佳布局并判断营销活动的有效性。

4)数据的折旧值:如亚马逊某客户十年前购买了一本书,现在对这类书可能不感兴趣,如果这个时候亚马逊继续用这个数据推荐其他相关书籍,则可能被质疑。因此,亚马逊利用时间及各种因素的复杂模型分离有用和无用的数据,使得模型的“折旧率”更明显。

5)数据废气:指用户在线交互的副产品,包括浏览了哪些页面、停留了多久、鼠标光标停留位置、输入什么信息等。如电子阅读器捕捉读者阅读一页或一节的时长,是否画线强调或者在空白处作笔记,通过记录、聚集,可以展示一些出版商和作者永远不可能知道的信息。

6)开放数据:如奥巴马开放政府数据的data.gov网站的建立。

4.给数据估值

数据被计入和品牌、人才、战略并列的无形资产范畴,其潜在价值被投资者注意,拥有数据或能轻松收集数据的公司股价上涨。价值利用最常见的可能性是将数据授权给第三方,给数据定价的市场已经出现,如冰岛一家公司向人们提供联合国、世界银行和欧盟统计局等的免费数据集,靠倒卖商业供应商(市场研究公司)的数据来获利。

5.大数据价值链的3大构成

1)基于数据本身的公司:拥有或能够收集大量数据,不一定能从中催生创新思想的节能那个,如推特,拥有海量数据,但只能通过两个独立的公司授权给别人使用。

2)基于技能的公司:咨询公司、技术供应商、分析公司,掌握专业技能但不一定拥有数据或提出数据创新性用途,如沃尔玛的数据分析商天睿公司。

3)基于思维的公司:拥有挖掘数据价值的独特想法,如JETPAC公司通过用户分享到网上的旅行照片来为人们推荐下次旅行的目的地。

3.管理的变革

1)个人隐私保护,从个人许可到让数据使用者承担责任。

2)个人可以并应该为他们的行为而非倾向负责。

3)大数据需要被监督并保持透明度以防变成一个“黑盒子”。

4)大数据算法师的崛起:来自计算机科学、数学和统计学领域,是担任大数据分析和预测的评估专家,必须保证公正和保密。他们可以评估数据源的挑选,分析和预测工具的选取,甚至包括运算法则和模型,以及计算结果的解读是否正确合理。一旦出现争议,他们有权考察与分析结果相关的运算法则、统计方法以及数据集。

5)反数据垄断大亨:参考19世纪美国反垄断的历程,保护极具竞争力的大数据市场。

4.大数据和不确定性

大数据改变了人们的生活,能优化、提高、高效化并最终捕捉住利益,但发明的火花往往存在于数据未显示的信息之中。科技再先进也无法将世界上数据的总量尽数收集,人们收集的数据不过是现实的投影,大数据不能提供最终答案,它只提供参考答案。人类最伟大的地方正是运算法和硅片没有也无法揭示的东西,如信仰、不确定性和创意。


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,793评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,567评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,342评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,825评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,814评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,680评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,033评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,687评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,175评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,668评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,775评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,419评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,020评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,206评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,092评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,510评论 2 343

推荐阅读更多精彩内容

  • 此去经年,天真的,骄傲的,虚伪的,现实的一切随风而逝,愿此生余下,做你想做的事,成为想成为的人,不要再被世俗二字束...
    皮皮时光机123阅读 127评论 0 1
  • 紫月砂雪阅读 259评论 3 9
  • 今天,我们上了一节有趣的英语课,所以,课堂上同学们时常哄堂大笑。 上午最后一节英语课上,英语老师改换了一种新的听写...
    星辰XCQ阅读 876评论 0 3