大数据时代慢慢走近

首先声明下,我是以半个内行的身份来写这篇文章的。我本科和研究生都是学计算机,尤其研究生时期学的内容和写的论文都和数据分析有关,毕业后的工作要接触大量不同行业和部门的数据开展或浅或深的分析。但是我的工作离BAT这种IT行业的核心很远,对于IT行业内的发展我并不是特别了解,主要也是从在BAT工作的同学口中获取一些讯息,因此对于这篇文章的内容还是以我本身的经历和认知为基础进行论述,并非行业内的专业人士判断。

由于工作原因,我常常要获取很多不同行业的数据库开展数据分析,在分析过程中往往会遇到很多由于数据本身不准确产生的谬误,在刚开始工作时还差点闹出过国际笑话,一个SQL语句运行完出现了一堆有趣的结论,当我呈现给客户时发现,这些数据结论只是因为客户平时对某个字段没有强制校验、随意输入的结果,差点被当时的上级骂死。正因为如此,我在很长的一段时间内对于所谓的大数据时代嗤之以鼻,一个底层数据大量谬误、数据获取极度不可靠的社会怎么可能出现真正的大数据。

不过在长期接触各行业数据的过程中,我也发现有一个领域的数据是最准确的,金融领域。这是一个看上去显而易见但又值得深思的现象,金融领域的数据之所以准确,最根本的原因在于金融和钱相关,每分钱的变化和记录都要尽可能准确无误,从而为金融服务的信息系统记录下来的数据也成为了最精确的数据。从这个观点再延伸,我们可以看出,和利益相关的数据才会尽可能准确,因为一丝一毫的变动都涉及到利益的分配和调整。

好了,这就到了我最近突然有所明悟的地方了,既然和利益相关的数据才会尽可能准确,那么如果和利益相关的数据越来越多,大数据时代不就越来越近了么?

这几年移动互联网飞速发展,尤其是在支付革命(支付宝、微信)发生后,移动互联网改造了一个又一个行业,打车(滴滴、优步)、外卖(饿了么、美团)、购物(淘宝、京东)、电影(猫眼、卖座)、租房(airbnb)、生活服务(58同城)、旅游出行(携程、去哪儿)等等让人们的生活发生了翻天覆地的变化。在这些变化的背后,我看到的是越来越多和利益相关的数据,这些数据与以往金融数据相同的地方是都涉及到钱等利益,不同的地方在于这些数据所涉及实际金额并不大,也就是说利益不大但是发生的频次极高,覆盖面极广,我把这类型数据叫做“蝇头小利产生的数据”,简称“小利数据”。

虽然是蝇头小利,但好在人性都是锱铢必较,虽然涉及到的利益都不大,但是这些小利数据背后都对应着货真价实的商品或者服务,因此每个参与者都不会掉以轻心,对于每个小利数据的产生都会认真对待。同时,服务提供背后的互联网公司为了提高效率,不断的强化信息化流程改造,对于底层数据的获取和管控要求越来越高,这个风潮甚至已经影响到了其他民企、国企、央企乃至政府部门。曾经伤害过我的数据谬误正在这个过程中被逐步消灭,人们越来越重视信息化手段对于生产效率的作用,也因此对信息化过程中产生的数据采取了更加严格的管控,因为要用信息化提高生产效率的第一步就是可信数据。

说到这里,我们也就能够明白为什么BAT这些公司会进入一种癫狂的投资状态,哪怕某个行业其他家已经做了,其他大佬们也依然奋不顾身地进入,例如在外卖行业阿里巴巴投资了饿了么,百度依然要自己的百度外卖,腾讯则是投资了美团和大众点评。这是因为对于任何一个技术驱动的公司来说,任何能产生准确小利数据的行业都可能是未来竞争中的制高点,只有任何有可能产生准确小利数据的地方都有监控,才能在大数据时代中保持战略工具的完整性。例如把握了外卖数据就可能知道某片区域的饮食习惯,从而推导出某些饮食相关的疾病发生可能性,进而使用医药数据(这又是一个和人利益相关的小利数据)进行分析得出相关疾病的对应医药和诊疗器械目录,为医药产业提供布局依据。

在不远的未来,我们能够看到大量和人们利益相关的各种小利数据在不断的产生和累积。物联网的发展会进一步加快各个领域准确小利数据的产生,而人工智能在大量准确小利数据的熏陶下将变得更加“智能”,从而进一步加速各种小利数据的产生和获取。随着数据准确度不断提高,数据量的不断累积,我相信,这一次,大数据时代真得在慢慢走近了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,657评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,662评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,143评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,732评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,837评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,036评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,126评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,868评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,315评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,641评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,773评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,859评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,584评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,676评论 2 351

推荐阅读更多精彩内容