一、大数据可以帮助我们三件事
第一,发现规律。你察觉不到的规律,大数据能察觉到;我是从事政务服务行业的,我们也跟一些数据分析公司管理咨询公司来合作,对所有来政务服务大厅办理业务的市民相关的事项办理情况进行分析,然后发现这些业务的一些相关性,比如说大多数的人在办a事项时,一般也需要把b,c事项一块办,所以就做了一个这样的相关关系分析以后主动推送相关的信息给来办事的市民。在规律的发现上面,还可以做很多的数据分析挖掘,从而挖掘出很多主动服务的需求。
第二,评估效应。你察觉到了的效应,大数据能评估这个效应的大小。判断一个大数据公司的一个数据分析挖掘能力有这么一个标准“你们的用户画像有多少个标签,具体是什么?”。
第三,提供真相。更重要的是,大数据能得出一些跟我们的直觉相反,但却是更可信的结论。就像所谓的NBA单亲家庭来源比较多,为什么会有这样的一个感觉,就是因为他们平常曝光多。还有一个可能不是很恰当的例子,说军队想对飞机容易受损的部位进行加固,结果分析了以后,发现受损部位最多的是机翼,后来才发现很多的飞机,其实最容易中弹的并不是这些地方,而是机头机尾部分,只不过被打中了,掉下去了,没有飞回来,所以就没有进入分析的样本里面。
二、快变量和慢变量是大数据分析的重点领域
数据分析的一个关键是看哪些看似关系不大的新型数据。这特别要在快变量和慢变量两个领域里面找。
我们每天会遇到很多快变量,要适应这个快变量,就必须发挥大数据的优势。大数据优势在于强大的数据分析能力,但是它并不具备主动性和创造性,需要你赋予指令,它才能有效发挥作用。如果你知道看什么,对事物间的相关性有方向性,那么新数据就可以给你提供更精准的信息。
但是,决定大趋势的往往是慢变量。慢变量就在我们身边,但却不容易被人察觉。我们的认知模式会本能地低估慢变量的影响。比如海上波浪固然跟这个天气风力等等有关系,但是最根本的是月球和地球之间的引力关系所引起的潮汐。
不过大数据只是一个客观事实,数据分析只是一个工具,它本身并没有倾向性。所以无论面对的是快变量还是慢变量,只要这个工具能够用好,能够抓住这些变量的重点代表性指标,那你就能如虎添翼。
三、你得掌握数据分析的最先进方法和工具
所谓能否更上一个台阶,很重要的都要靠你是否掌握了当时的最先进的技术。
现在铺天盖地的大数据、云计算,那么普通人怎么利用大数据改善自己的工作,获得新的认知,缩小与其他人的认知差距,更上一个阶层?这里面我觉得要做到两点,第一得知道去哪找。搜索,阅读学术论文,最不济的平时看看新闻。第二,要主动掌握一些效率工具在大数据的时代,一些效率工具,比如说你有没有意愿和毅力去掌握python这一类的编程工具,比如英语这样的一种通用能力,能帮助你掌握西方最前沿的资讯。最后,不要一本通书读到老,你还得适应变化,掌握类似贝叶斯方法等一些方法论,根据事实来改变你的观点。
最后,需要强调一点,大数据和意会是不可或缺的。
“意会”的意思,就是“对人和人之间有意义的区别,具备一个敏感度”。有意义的区别,就是不能简单用*数字*描述的东西,所以叫“意会”。在算法大行其道的时代,正如麦兹伯格所说,真正的重大决策还是得靠人,靠“意会”。
意会和大数据,阴阳两面。不要光看起来是相反的,就把他们都否掉了。关键是要弄明白每一个方法的适用的范围。怎么样来用用在什么范围,这里面都有规矩,都有一套一套的东西。而不是简单的在外人看起来就是什么所谓相反的想法,正常的行动能力。
特别是你要给出大数据分析的若干重要指标,虽然是个主观偏见,但本质上就是一个很有价值的意会或者认知差异。正是由于大数据本身不能自动展现真实,所以谁能有一个有价值的主观偏见来使用它,谁就占领了认识的制高点,最大限度地兑现了自己的认知差异的价值。