靠专家,还是靠机器?谈谈数据驱动的决策

靠专家,还是靠机器?让我们先看一下回答

耶鲁大学法学院和管理学院教授Ian Ayres "在纽约时报评选最佳商业畅销书《Super Crunchers》中明确提出:"不是让统计机器服务于专家的选择,而是让专家服务于统计机器。(Instead of having the statistics as servant to expert choice, the expert becomes a servant of the statistical machine.)" 。他还提到,"It's best to have the man and machine in dialogue with each other, but, when the two disagree, it's usually better to give the ultimate decision to the statistical prediction. 最好是由人与机器互相对话,但是,如果双方不一致的话,通常还是让统计预测来做最终决定会更好。"

社会学家克里斯·斯尼德斯(Chris Snijders)基于他的研究说道:“你通常会以为,专家有了数据和分析作辅助,这种情况介于算法模型和专家个人判断之间,所以专家得到模型的支持会得到更好的结果。但其实,这样还是不如单独用数据模型做出的判断。"What you usually see is the judgment of the aided experts is somewhere in between the model and the unaided expert," he said. "So the experts get better if you give them the model.But still the model by itself performs better."

从以上的研究结果,我们看到这样的决策效果排序,即,专家辅助数据模型/统计机器决策 > 数据模型/统计机器决策 > 数据/统计机器辅助专家决策 > 专家(直觉)决策

不得不说, 这真是一个让无数职业经理人悲伤的论断。。。

那是时候来描述一下“数据驱动的决策(Data Driven Decision-making, DDD)”的这个概念了。

当前,随着大数据以及数据采集、存储、分析等技术的快速发展,几乎所有公司都在尽可能充分利用数据来获取竞争优势。这个进程中,大数据也带来了公司商务管理和决策的根本转变,这个转变被定义为数据驱动的决策,其概念表现为公司的管理决策尽可能基于数据和数据分析,而非是更多的依赖于管理决策人员的直觉和经验。比如,在以前,公司市场管理人员会凭借其多年的专业经验和眼光选择广告创意,而现今,他们会越来越多的会根据消费者对不同广告的反响进行数据分析和推荐来确定最后的广告选择。

公司转变到数据驱动的决策模式本质是由于当前先进的数据处理技术而产生的大数据,大数据特点包括大规模全记录样本(volume);快速实时产生和收集(Velocity);来自不同来源、形式和结构多样(Variety);真实准确可信且能有效去除噪音(Veracity);进而给社会和组织产生价值(Value)。拿以上所举场景为例,大数据系统采集由不同广告创意引发,来自社交媒体广告管理系统或其他来源的包括浏览、转化率等在内客户反馈的所有的结构化和非结构化数据,进行时间序列和实时的分析处理,并提供如可视化结果在内的信息和方案而做出决策。整个过程中,我们可以看到大数据驱动的管理决策包括三个重要组成部分:大数据处理分析系统、大数据以及决策场景。(另,按照业界已有不成文约定,一般的我们也将大数据处理部分定义为大数据工程,大数据分析部分定义为大数据科学。)

图:大数据驱动的决策的组成部分

上述大数据的特点使得数据驱动的管理和决策相对于传统决策有着很大的不同,基于已有研究和实践,我们发现公司在大数据驱动的决策有着以下特征:

§大数据驱动的管理和决策在设定问题目标和范围时往往会依据情境具有一定的灵活性,相应的,给到的决策答案并不像小数据给予的答案那样仅仅针对特定问题。

比如传统的小数据利用产品入库和出库数据对库存控制进行决策,而大数据则不仅仅利用公司内部生产、库存和销售数据,更多的还会采集和分析公司外部如客户和供应商数据、市场销售历史与趋势、物流与大宗商品指数等等大数据对公司产品库存进行动态的、更长周期的决策判断。也可以说,大数据驱动的管理和决策更适用于不断变化的决策情境和更为复杂、不能在早期进行明确定义的决策问题。

§决策所需数据范围取舍、数据的完备性和颗粒度将相对于传统决策对决策质量影响更大

大数据驱动的管理和决策先要确定决策所需的数据范围,然后进行数据处理和算法分析。因而,数据分析或者说决策结果的质量很大程度上取决于数据范围、颗粒度等因素(而在传统决策中,决策者的直觉和经验而非数据也许对决策质量影响更大),大数据驱动的管理和决策过程的重点将落在对决策所需数据的范围的定义、识别,而非是决策计算过程。这也就要求公司需要在大数据准备上投入更多的努力以保证决策质量。

§大数据驱动的管理和决策是一个迭代和递进的过程

公司利用大数据进行管理和决策时,因为大数据的高颗粒度和实时时效等特性,将呈现出更为简短的决策周期。也就是说一方面大数据提供了快速乃至实时做出决策的基础和能力,另一方面,持续大量的数据存储和处理让公司的决策行为转变成更为频繁的做出决策。这些决策之间也体现出递进关系,也即大数据驱动的前序管理决策也将作为后序管理决策数据来源之一。典型的场景比如在线商品推荐系统,大数据基于消费者购买和点击历史等数据快速给予该消费者推荐产品,随即根据该消费者接下来的点击、购买等数据再次推荐可能更为精准符合该消费者需求的产品。同样的,企业内部的决策也基于大数据迭代做出,研究数据表明,基于大数据驱动决策的公司,产品开发和交付周期明显缩短,而后再基于客户或者市场等运营数据进行持续优化。(注1:  我的进一步观点是,大数据提供了精益企业的物质基础,这在以后文章会探讨。

§公司的管理决策将更为客观

大数据驱动的管理决策过程中,数据更为充分,且可以通过更为深层次的挖掘大数据的内涵,提取出更为深入和准确的洞察信息,以及对不同决策进行比较选择,降低了个体在决策过程中的介入和参与,从而减少个体因为经验、情绪以及信息不足而导致的偏差,使得决策更为客观。此外,可以推想,更为客观透明的决策也可能将得到更多人员的信任和支持,从而提升决策的效力和执行效果。

§公司决策结构将更为扁平

基于上述大数据驱动的决策将表现出更为客观的属性,公司对决策的评估和监控也因此可以在组织结构中更低的层次达成。事实上,在这个背景下,公司倾向授权与具体行动更为接近的一线人员,进行决策以提升运营效率、降低成本。也就是说相对于以往,大数据驱动的管理和决策将更多的在组织架构中较低的层次做出,或者在组织中更为恰当的岗位做出,因此,公司也将更多的体现出至下而上的决策模型。

§领域专家(domain expert)在决策中的价值发生变化

尽管大数据驱动的管理决策对大数据极大的依赖,但并不能削弱领域专家在决策中的价值。事实上,大数据的不断开发利用,领域导向的大数据对管理决策的价值愈发明显,领域专家利用其领域知识,在这个过程中的角色和作用将更多发挥在他们知道“寻找和发现什么”,也即能提出正确的问题;以及“哪里去寻找”,也即识别和定义恰当的数据源和数据变量。

§大数据、大数据处理分析系统以及与决策问题情境之间的不可分割

一方面,大数据以不同形式分布式存在于不同来源,并实时不间断的大量产生,离开强大的大数据处理分析进行采集、存储、处理和分析,这些数据对于管理决策将毫无意义。数据却动的管理和决策所需的大数据不仅是指数据,而包括数据的洞察和智能。而呈现这样的洞察和智能必须将大数据和对应的大数据处理分析系统整合起来,大数据处理分析系统是大数据系统的一部分。另一方面,基于上述特征,大数据驱动的管理决策结果还将不断的与决策问题情境进行交互和持续分析,问题和方案都将会不断被更新或调整。所有这些,都要求大数据、大数据处理分析系统乃至决策问题情境之间相对于传统决策支持系统提出了更高的整合要求。

随着大数据逐渐成为公司的最重要战略资产,公司的决策和竞争能力的要素也将变化,每个公司都需要定义并建立新型的竞争资源和能力。

大数据时代的商业竞争对公司提出了投入并建立所有这些资产能力的急迫需求。比如,最基本的,公司需要定义并收集大数据,其中有些数据可能公司已有,只需加以清洗、整理,但更多的大量的其他数据需要投入资金、设备(如物联网设备)、人力等成本进行收集。以阿里巴巴公司发展科技金融业务(蚂蚁金服)为例,该公司通过消费补贴、人力推广等巨额投入,不仅仅是获取了更多的客户量,更重要的是从不同数据来源采集到了用户的个人特征、通信联络方式、消费记录、信用相关数据、地理位置相关数据以及社交数据等等海量数据,结合公司不断发展的强大的数据处理(如阿里云)以及数据分析能力(如招聘大量的数据科学家)以构建持续的核心能力和竞争壁垒。事实上,拥有更强数据和数据处理分析能力资产的公司相对于竞争公司已展现出显著的战略优势,并且这些优势进一步的反馈到产品开发、业务运营、客户吸引等各环节,竞争优势又得到持续增强而呈现马太效应。(注2:之后我会专门撰文讨论大数据时代的公司估值问题



最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,686评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,668评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,160评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,736评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,847评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,043评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,129评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,872评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,318评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,645评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,777评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,861评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,589评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,687评论 2 351

推荐阅读更多精彩内容