分享:解决复杂问题,大众能不能战胜专家?

2018年1月26日 Lee公子 摘录于《人机平台》(美)安德鲁·麦卡菲 埃里克·布莱恩约弗森


《人机平台》

大众战胜专家案例一:白细胞基因组测序比赛

当事情变得真正复杂时,不要听专家的。相反,要找外人帮忙。

这是创新学者卡里姆·拉哈尼( Karim Lakhani)、凯文·布德罗( Kevin Boudreau)及其同事进行的一项精彩研究并从中得出的结论。他们想找一种更快的方式对大量人类白细胞进行基因组测序而白细胞则是身体对细菌、病毒和其他抗原的主要防御手段。

一鸣惊人的新手

这项工作显然很重要,因为我们想更好地了解免疫系统的功能原理。但它也难得出奇,究其原因,白细胞需要产生大量的武器来抵御人体的许多抗原,而所有这些抗原又在不断发展。身体本身有聪明的解决方案,它让抗体和其他武器经由每个白细胞内的基因进行编码,但是,这些基因本身由一长串基因片段组成,有时会产生突变。活跃片段的精确排序因细胞而异,这意味着不同细胞会产生不同武器。这些武器很多,据估计,一个人类白细胞有大约100个相关的基因片段,它们可以组合或重新组合,产生103种可能的分子武器。这大约是地球上沙粒的万亿倍。

通常,研究人员的一项重要任务就是注释白细胞的基因,即按顺序正确地识别其每个组成片段你可能会想象让电脑执行这项工作。然而,它可以用许多不同的方式来处理,而事先也不清楚哪种方法将产生最好的结果,即最快和最准确的结果。由美国国立卫生研究院( US National Institutes of Health)开发的 MegaBLAST算法十分流行,它可以在约4.5小时内注释100万个序列,准确率为72%。贝斯以色列女执事医疗中心( Beth Israel Deaconess Medical Center)的拉米·阿尔瑙特( Ramy Arnaout)博士建立了idAb算法,极大地改进了这方面的性能,在不到48分钟内以77%的准确率完成了等量的注释。

为了看看还能做多少改进,拉哈尼、布德罗和他们的同事们设计了一个两步骤的工作流程,并广邀大众参与。首先,他们将基因片段注释从特定的免疫遗传学问题转化为一般算法问题。这样做之后,就不再需要关于遗传学、生物学等领域的知识,也使问题向更多的参与者开放。

然后,研究人员在专攻计算密集型问题的在线平台 Topcoder上面发布了这项“通适的”挑战在该项研究于2013年进行的时候, Topcoder社区大约有40万名遍布世界各地的软件开发人员,他们之所以加入平台,或多或少是因为喜欢迎接艰难挑战。对于这些潜在的问题解决者,研究团队给出了参赛方案的评估方法,它是一种结合了速度和准确性的评分,同时提供了一“捆”工作数据。这些数据分为两组,一组是面向所有问题解决者的公开数据,另一组是让他们接入 Topcoder网站的私人数据。问题解决者无法看到或下载这些数据,但是他们可以用自己的算法对之进行运算并获得一个评分。此外还有第三组私人数据,它用于生成比赛的最终得分。

这场 Topcoder比赛进行了14天。在此期间,有122人(或小组)至少提交了一次算法结果以获得评分,许多人还做了不止一次,最终提交的方案有654份。参与者是一个高度多样化的群体,他们来自69个不同的国家,年龄从18到44岁,很多人没什么工作经验,至少用常规衡量方式是如此,大约有一半还是学生。正如研究小组所说,“没有一位学者或工业计算生物学家,只有5个人称自己来自研发或生命科学领域。

他们的解决方案会很好吗?当然不会全部都好。大多数人都不如 MegaBLAST或idAb算得准确,尽管几乎所有人都比这两者做得更快。但是,有30个方案比 MegaBLAST更准确,其中16个比dAb更准确。实际上,芸芸大众之中,有8人提交的方案达到了80%的准确率,而研究人员估计这已达所给数据集的理论上限。在在那组至少与idAb准确度相当的方案中,平均的运算时间是89秒比基准快了30倍,其中最快的三份只用了16秒,或者说,它们比赛前的最好基准快了几乎180倍。此外,比赛期间提供的总奖金是6000美元。

专家有何不妥?

以上结果是例外还是常态?我们向大众竞赛型研究的先驱卡里姆拉哈尼提出了这个问题,除了我们刚刚描述的研究之外,他还主持了许多其他项目。他告诉我们说:

过去5年间,我们依靠大众来解决了700多项挑战,服务对象包括美国航空航天局、医学院、公司等,不一而足。我们失败过一次,当时大众没有出手,或者说没有针对问题开展工作。在所有其他情况下,我们要么与现有内部解决方案旗鼓相当,要么大胜而归。

这是一个非常难以置信的发现,不是吗?像美国国立卫生研究院和贝思以色列女执事医疗中心这样的公司和组织毕竟花了大量的时间、金钱和努力,建立了用于创新和解决问题的资源基础,即研发实验室、科技人员、工程部门等。这些资源实际上是核心中的核心。那么,为什么在处理本应整合这些资源来处理的问题时,大众能如此轻易地胜出?

是不是核心里面的专家实际上没那么好?别忘了我们在第1章提供的大量证据,即领域专家和所有人一样,都会受制于一些偏见,使工作质量降低。这可能是随着人们在其领域取得一定成就,偏见盲点也被放大,过度自信和过度认可偏见就有大量记录。人们真正考虑的只有支持自己想法的信息,从而导致更糟糕的结果。

许多“专家”实际上可能根本不是专家,他们一直在自欺欺人,以为自己真的能力强,工作质量高。当今世界很复杂,变化快,技术又高深,很难分辨真正的专家。

肯定有一些“不够专家”的知名专家,但我们认为,他们不是大众经常优于核心的主要原因。我们相信,当今绝大多数的科学家、工程师、技术人员,以及其他在组织内部工作的人,实际上都能胜任工作,都有兴趣做好这些工作。那么,是什么原因使大众几乎每次都在挫败他们?

严重错配

组织有很多美德,但它们往往陷入自己的套路。它们做适得其反的事,使其在创新、研发和几乎所有其他领域的表现更糟。组织性功能障碍是真实的存在,而不仅是无数迪尔伯特( Dilbert)漫画的主题,它们使核心无法做到本应做到的那么好。

然而,与单纯的功能障碍相比,更大的原因要微妙得多。核心往往错误匹配了其所面临的各种挑战和机遇,而人群则因为足够大而几乎从未错配。但是,为什么核心如此频繁地错位、错配呢?设立研发实验室或工程部门的全部要点,不就是将手头及未来工作所需的资源整合到一起吗?这可不像遗传学实验室误请一批冶金学家,然后当团队无法揭开DNA奥秘时不断被“惊呆”。为什么错位如此频繁呢?

有一些事情似乎正在发生。首先是几乎所有学科都在不断创造重要的新知识,而知识进入核心的速度很慢。例如,人类基因组在2003年被完全排序,这一成就对医学、生物技术、制药和其他行业有巨大影响。随着测序技术的普及,成本呈指数式下降,卷农业、畜牧业等行业也受到影响。对于所有这些领域的组织核心的创新者、研究人员和问题解决者而言,如果他们没有努力学习,更新技能那就很容易不敌大众,尤其是不敌那些年轻和接受最新教育的大众成员。例如,最前沿的基因编辑工具与5年前的完全不同,原因是自2012年出现的 CRISPR,它是一种源自链球菌之类细菌的工具包在DNA分子非常长的双螺旋上,它可以用前所未有的准确度来发现、切割和替换任何所需的基因片段。

如第2章所述,我们看到了人工智能和机器学习近来的快速变化;由于石油及天然气的压裂和太阳能发电成本的急剧下降,能源生产正在变革;其他许多领域也是如此。当这种快速的进步发生时,相关行业内组织核心的知识很容易老化。与此同时,大众中的某处很可能至少有一些帮助实现最新进展的人,或者有他们的学生,因此相当熟悉。总之,核心会变得陈旧,但大众真的不会边缘奇效。

大众经常挫败核心的另一个原因可能更重要。它是指许多(如果不是大多数)的问题、机会和项目受益于不同人、不同团队的观点,或者说,受益于多种不同的背景、教育、解决问题的方法、知识和技术工具包、性别等。这绝对就是大众的定义,要在核心内部复制则很难,甚至不可能。以一家制药公司的研发实验室为例,它不太可能聘用几名天体物理学家或密码学家,然后指望他们刚好能解决某个难题,这种机会是微乎其微的。这是一个完全理性的商业决策,但如果解决这个难题的工作仍然保留在核心之内,那么公司就没有天体物理学家或密码学家可以帮忙。

将貌似不可能的潜在有用的输入源的大门关上,这是愚蠢之举。在很多时候,人们需要的知识和专长恰恰来自貌似遥不可及的学科。正如开源代码软件倡导者埃里克·雷蒙德( Eric Raymond)所说:“如果有足够的眼球,所有的瑕疵都一览无遗。”换句话说,随着潜在解决者数量和多样性的增加,所有问题都变得更容易解决。基因组测序竞赛的结果显示,在那些比基准更快、更准确的参赛方案中,没有一份来自计算生物学家。这再次表明,外部人士表现得更胜一筹并不少见。拉哈尼和拉斯波·杰普森( Lars Bo Jeppesen)研究了在线票据交易网站 InnoCentive发布的166项科学挑战,他们发现,最可能被成功解决的是那些吸引了“边缘”眼球的挑战,即它们吸引了技术上或社会上“远离”挑战发布者的人。

在很大程度上,大众的宝贵价值在于它是巨大的边缘群体。它包含了大量人群,他们是聪明才智、训练有素、经验丰富、顽强拼搏和积极向上的组合体,而且无论从地理上、知识上还是社会上讲,他们都与任何组织核心相距遥远。注随着互联计算能力在世界各地的传播,有用的平台可以建立起来,使大众成为一种显见的、可行的和宝贵的资源。


大众战胜专家案例二:医疗假手的案例

乍看之下,医疗器械像是一个不能托付给大众的产品类别。这些产品必须来自医疗保健系统的核心,或者至少经过它的测试和批准,以便确保安全和质量,是这样吗?

事实是“不总是”,人造手就是一个很好的例子,它有力地说明大众创客可以如何做事。创客的工作表明,当自组织的大众潜心解决问题,开展技术学者亚当蒂雷尔( Adam Thierer)所说的“无须许可的创新”时,潜在的好处有多么大。

211年4月,南非木匠理查德范·阿斯( Richard Van As)在操作台锯时失控,右手的两根手指被锯断。当时,市场上的假肢要价数千美元,所以范·阿斯开始寻找便宜的替代品。当年早些时候,他看到 YouTube上传的一个视频,制作者伊万欧文( Ivan Owen)是一位“机械特效艺术家”,曾为自己的手制作一个巨大的金属延伸物体,目的是用一种“蒸汽朋克”的风格装萌扮酷。

虽然范·阿斯和欧文相隔万里之遥,但他们通过电子邮件和 Skype进行合作,开发了一种功能性假肢。3D打印机公司 Maker Bot捐赠了两部 Replicator2台式机,使他们的工作大大加快。这些机器使创客能够快速迭代、生成原型,最终为范阿斯做出了灵活的机械手指。

他们上传到 YouTube的视频作品被南非女子尤兰迪狄培纳( Yolandi Dippenaar)看到,她5岁的儿子利亚姆(Liam)出生时就没有右手指。狄培纳一家于是向他们求助,欧文和范·阿斯伸出了援手。他们开展在线研究,寻找可能的解决方案,碰巧发现了“科尔斯之手”,这是一个神奇的装置,19世纪中期由澳大利亚阿德莱德的牙科医生罗伯特诺曼( Robert Norman)制作而成在一次使用加农炮的阅兵事故中,约翰科尔斯( John Coles)下士失去了右手的4根手指。诺曼用鲸骨和羊肠线为他做了假肢,它不仅看起来像一只手,而且在某种程度上也能像手一样操作。手指可以弯曲,并且正如当代人对这只假手的描述那样:“科尔斯下士可以轻易拿起一个纽扣或一枚6便士硬币。”诺曼用鲸鱼骨精确地雕刻手指节,将它们啮合在一起,然后连接到一个由齿轮和羊肠线组成的内轨系统,系统通过科尔斯拇指上戴的戒指进行控制,由此,诺曼大功告成。

诺曼的成果是现成的,可用于激发后来的创新者,澳大利亚国家图书馆的馆藏中留存着对它的精确描述,图书馆已将描述文档数字化,可通过网络获取。欧文和范·阿斯进行在线搜索时碰巧发现“科尔斯之手",意识到了它的精妙之处。他们很快就创建了自己的版本,称为“ Robohand”,并用在利亚姆手上。这两位创客还意识到,由于有了3D打印机和强大的设计软件,人们可以快速、廉价地设计和构建数不尽的手的变体。但他们并没有提交专利申请,而是将 Robohand的部件计划上传到 Thingiverse一一一个大众共享3D打印文件的网站站点。

从那时起,大众已经创造并组装了超过1800只3D打印的塑料手,惠及45个国家的人民。这项工作是高度分散的,其主要协调点是一个网站及其谷歌文档,任何感兴趣的人都可以加入并编辑正如经济学家罗伯特格拉博耶斯( Robert Graboyes)指出的那样,大众的创作既省钱又有创新性可用假肢的成本一夜之间暴跌了99%以上。3D打印的产品固然与5000美元的产品不同,但它们可以活动,制作价格又便宜,创客都可以免费向用户提供这些产品。

用户和创客一起工作,修改设计。原先看起来方方正正的手变得时尚。复杂的螺母和螺栓被直接固定的关节取代,而且一些设计的材料总成本降至35美元……用户和创客知道假肢无须复制人手。位父亲想让儿子更有握力,于是制作了一只两个拇指的手,一边一个。他儿子的名字恰巧为卢克(Luke),于是他成为“酷手卢克”( Cool Hand Luke),其他人则基于骑自行车、攀岩、演奏小号等特定目的而定制设计假手。

如以上所有例子所示,在线大众正在增长勃兴。它以多种方式与核心相互作用,并由核心促成我们认为这种趋势既健康又富有成效,根本没有背叛互联网原有的精神。更好的设备和网络正持续将世界各地越来越多的人们引导到线上,大众只会变得规模更大、更聪明、更加多元化。

我们对人工智能的未来发展感到振奋,因为它们改变了人脑和机器之间的界限,但我们可能更振奋于将数十亿人的智慧带入全球连接的社区的发展前景。人们从此可以彼此施以援手。

总结

被认可的核心专家一而再、再而三地败于默默无闻的大众之手。
大众成功的一个原因是核心往往错误匹配其最感兴趣的问题。
核心的错配之所以发生,是因为最有效解决问题所需的知识往往来自远离问题本身的领域。人们很难预测解决问题的相关知识实际上源自何方。
核心有许多方法去利用大众积累的知识和专长。核心和大众不一定非得分隔。
大众现在可以做很多事,不再需要核心太多支持。技术有助于人们发现知识、有效交流共同打造事物,集权程度被最小化。
成名公司正在寻找与大众合作的新颖方式。同时,基于大众的初创企业正在挑战许多成功在位公司的核心活动。
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,826评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,968评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,234评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,562评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,611评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,482评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,271评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,166评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,608评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,814评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,926评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,644评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,249评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,866评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,991评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,063评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,871评论 2 354

推荐阅读更多精彩内容

  • 作者:梅拉妮·米歇尔(Melanie Mitchell)译者:唐璐原著名称:《Complexity: A Guid...
    马文Marvin阅读 1,582评论 0 4
  • 编者按:今天的心情有些复杂,我们不谈诗,谈谈人性,《十二封寄不到的诗信》最后一封明天送上,一起期待吧。 从小我...
    洛简紫阅读 1,203评论 0 1
  • 安装tensorflow 下载tensorflow源文件 Gitclone--recurse-submodules...
    风果阅读 1,949评论 0 2
  • 我叫张果,其实我挺小的,为了让我和其他人看起来一样,把户口本上的年龄写大了三岁,后来,我也习惯了多出来的三岁。 因...
    废狗李子阅读 239评论 0 0
  • 他说每个人都是一本书 只有爱的人,才把你翻看过 你的故事他背熟 你的诗歌他能懂 · 谁写了你的序言 谁看了你的目录...
    子龙老师阅读 471评论 14 20