靠专家,还是靠机器?让我们先看一下回答。
耶鲁大学法学院和管理学院教授Ian Ayres "在纽约时报评选最佳商业畅销书《Super Crunchers》中明确提出:"不是让统计机器服务于专家的选择,而是让专家服务于统计机器。(Instead of having the statistics as servant to expert choice, the expert becomes a servant of the statistical machine.)" 。他还提到,"It's best to have the man and machine in dialogue with each other, but, when the two disagree, it's usually better to give the ultimate decision to the statistical prediction. 最好是由人与机器互相对话,但是,如果双方不一致的话,通常还是让统计预测来做最终决定会更好。"
社会学家克里斯·斯尼德斯(Chris Snijders)基于他的研究说道:“你通常会以为,专家有了数据和分析作辅助,这种情况介于算法模型和专家个人判断之间,所以专家得到模型的支持会得到更好的结果。但其实,这样还是不如单独用数据模型做出的判断。"What you usually see is the judgment of the aided experts is somewhere in between the model and the unaided expert," he said. "So the experts get better if you give them the model.But still the model by itself performs better."
从以上的研究结果,我们看到这样的决策效果排序,即,专家辅助数据模型/统计机器决策 > 数据模型/统计机器决策 > 数据/统计机器辅助专家决策 > 专家(直觉)决策。
不得不说, 这真是一个让无数职业经理人悲伤的论断。。。
那是时候来描述一下“数据驱动的决策(Data Driven Decision-making, DDD)”的这个概念了。
当前,随着大数据以及数据采集、存储、分析等技术的快速发展,几乎所有公司都在尽可能充分利用数据来获取竞争优势。这个进程中,大数据也带来了公司商务管理和决策的根本转变,这个转变被定义为数据驱动的决策,其概念表现为公司的管理决策尽可能基于数据和数据分析,而非是更多的依赖于管理决策人员的直觉和经验。比如,在以前,公司市场管理人员会凭借其多年的专业经验和眼光选择广告创意,而现今,他们会越来越多的会根据消费者对不同广告的反响进行数据分析和推荐来确定最后的广告选择。
公司转变到数据驱动的决策模式本质是由于当前先进的数据处理技术而产生的大数据,大数据特点包括大规模全记录样本(volume);快速实时产生和收集(Velocity);来自不同来源、形式和结构多样(Variety);真实准确可信且能有效去除噪音(Veracity);进而给社会和组织产生价值(Value)。拿以上所举场景为例,大数据系统采集由不同广告创意引发,来自社交媒体广告管理系统或其他来源的包括浏览、转化率等在内客户反馈的所有的结构化和非结构化数据,进行时间序列和实时的分析处理,并提供如可视化结果在内的信息和方案而做出决策。整个过程中,我们可以看到大数据驱动的管理决策包括三个重要组成部分:大数据处理分析系统、大数据以及决策场景。(另,按照业界已有不成文约定,一般的我们也将大数据处理部分定义为大数据工程,大数据分析部分定义为大数据科学。)
上述大数据的特点使得数据驱动的管理和决策相对于传统决策有着很大的不同,基于已有研究和实践,我们发现公司在大数据驱动的决策有着以下特征:
§大数据驱动的管理和决策在设定问题目标和范围时往往会依据情境具有一定的灵活性,相应的,给到的决策答案并不像小数据给予的答案那样仅仅针对特定问题。
比如传统的小数据利用产品入库和出库数据对库存控制进行决策,而大数据则不仅仅利用公司内部生产、库存和销售数据,更多的还会采集和分析公司外部如客户和供应商数据、市场销售历史与趋势、物流与大宗商品指数等等大数据对公司产品库存进行动态的、更长周期的决策判断。也可以说,大数据驱动的管理和决策更适用于不断变化的决策情境和更为复杂、不能在早期进行明确定义的决策问题。
§决策所需数据范围取舍、数据的完备性和颗粒度将相对于传统决策对决策质量影响更大
大数据驱动的管理和决策先要确定决策所需的数据范围,然后进行数据处理和算法分析。因而,数据分析或者说决策结果的质量很大程度上取决于数据范围、颗粒度等因素(而在传统决策中,决策者的直觉和经验而非数据也许对决策质量影响更大),大数据驱动的管理和决策过程的重点将落在对决策所需数据的范围的定义、识别,而非是决策计算过程。这也就要求公司需要在大数据准备上投入更多的努力以保证决策质量。
§大数据驱动的管理和决策是一个迭代和递进的过程
公司利用大数据进行管理和决策时,因为大数据的高颗粒度和实时时效等特性,将呈现出更为简短的决策周期。也就是说一方面大数据提供了快速乃至实时做出决策的基础和能力,另一方面,持续大量的数据存储和处理让公司的决策行为转变成更为频繁的做出决策。这些决策之间也体现出递进关系,也即大数据驱动的前序管理决策也将作为后序管理决策数据来源之一。典型的场景比如在线商品推荐系统,大数据基于消费者购买和点击历史等数据快速给予该消费者推荐产品,随即根据该消费者接下来的点击、购买等数据再次推荐可能更为精准符合该消费者需求的产品。同样的,企业内部的决策也基于大数据迭代做出,研究数据表明,基于大数据驱动决策的公司,产品开发和交付周期明显缩短,而后再基于客户或者市场等运营数据进行持续优化。(注1: 我的进一步观点是,大数据提供了精益企业的物质基础,这在以后文章会探讨。)
§公司的管理决策将更为客观
大数据驱动的管理决策过程中,数据更为充分,且可以通过更为深层次的挖掘大数据的内涵,提取出更为深入和准确的洞察信息,以及对不同决策进行比较选择,降低了个体在决策过程中的介入和参与,从而减少个体因为经验、情绪以及信息不足而导致的偏差,使得决策更为客观。此外,可以推想,更为客观透明的决策也可能将得到更多人员的信任和支持,从而提升决策的效力和执行效果。
§公司决策结构将更为扁平
基于上述大数据驱动的决策将表现出更为客观的属性,公司对决策的评估和监控也因此可以在组织结构中更低的层次达成。事实上,在这个背景下,公司倾向授权与具体行动更为接近的一线人员,进行决策以提升运营效率、降低成本。也就是说相对于以往,大数据驱动的管理和决策将更多的在组织架构中较低的层次做出,或者在组织中更为恰当的岗位做出,因此,公司也将更多的体现出至下而上的决策模型。
§领域专家(domain expert)在决策中的价值发生变化
尽管大数据驱动的管理决策对大数据极大的依赖,但并不能削弱领域专家在决策中的价值。事实上,大数据的不断开发利用,领域导向的大数据对管理决策的价值愈发明显,领域专家利用其领域知识,在这个过程中的角色和作用将更多发挥在他们知道“寻找和发现什么”,也即能提出正确的问题;以及“哪里去寻找”,也即识别和定义恰当的数据源和数据变量。
§大数据、大数据处理分析系统以及与决策问题情境之间的不可分割
一方面,大数据以不同形式分布式存在于不同来源,并实时不间断的大量产生,离开强大的大数据处理分析进行采集、存储、处理和分析,这些数据对于管理决策将毫无意义。数据却动的管理和决策所需的大数据不仅是指数据,而包括数据的洞察和智能。而呈现这样的洞察和智能必须将大数据和对应的大数据处理分析系统整合起来,大数据处理分析系统是大数据系统的一部分。另一方面,基于上述特征,大数据驱动的管理决策结果还将不断的与决策问题情境进行交互和持续分析,问题和方案都将会不断被更新或调整。所有这些,都要求大数据、大数据处理分析系统乃至决策问题情境之间相对于传统决策支持系统提出了更高的整合要求。
随着大数据逐渐成为公司的最重要战略资产,公司的决策和竞争能力的要素也将变化,每个公司都需要定义并建立新型的竞争资源和能力。
大数据时代的商业竞争对公司提出了投入并建立所有这些资产能力的急迫需求。比如,最基本的,公司需要定义并收集大数据,其中有些数据可能公司已有,只需加以清洗、整理,但更多的大量的其他数据需要投入资金、设备(如物联网设备)、人力等成本进行收集。以阿里巴巴公司发展科技金融业务(蚂蚁金服)为例,该公司通过消费补贴、人力推广等巨额投入,不仅仅是获取了更多的客户量,更重要的是从不同数据来源采集到了用户的个人特征、通信联络方式、消费记录、信用相关数据、地理位置相关数据以及社交数据等等海量数据,结合公司不断发展的强大的数据处理(如阿里云)以及数据分析能力(如招聘大量的数据科学家)以构建持续的核心能力和竞争壁垒。事实上,拥有更强数据和数据处理分析能力资产的公司相对于竞争公司已展现出显著的战略优势,并且这些优势进一步的反馈到产品开发、业务运营、客户吸引等各环节,竞争优势又得到持续增强而呈现马太效应。(注2:之后我会专门撰文讨论大数据时代的公司估值问题)