2018年1月20日 Lee公子 摘自《混乱》（英）蒂姆·哈福德
虽然我自己也是一枚科技的拥趸，但是我清醒意识到科技对我自身能力的“残化”效应，以及科技本身的缺陷会给我带来很多的风险和麻烦。
我自己遭遇过的科技风险有以下这些：
第一个风险是科技载体失灵。
例如设备没电，硬件损坏，软件冲突，接口不识别等。遇到这种情况，基本上只能束手无策。很多时候，这种设备的失灵常常会让你陷入尴尬境地，甚至火冒三丈。
第二个风险是初始数据录入错误。
一旦初始化的时候，数据录入错误了，这个数据就隐藏到数据的海洋中了，后面你将很难有机会发现这种错误，然后不知道什么时候，这个错误就会冒出来给你的结论或者结果将上一军，甚至会对决策产生误导。
而数据初始化中存在错误，基本上是大概率事件。
第三个风险是设备无法人力维修。
现在的电子设备非常精细，面对失灵的电子设备人工几乎无能为力，这也意味着，设备一坏，不太可能在现场通过维修好设备继续你的工作，你的重要工作就会被迫中断。
第四个风险是底层算法错误。
虽然科技产品可以精准计算结果，但是一旦初始算法就有缺陷的话，得到的结论是不合逻辑的，结论就是错误的。
第五个风险是制造大麻烦。
一旦科技产品遇到不能解决的问题，基本上都是非常规的大问题，这类问题一般人也很难在瞬间解决，需要足够多的专业经验和更多的专业工具才能协助解决。这种问题如果是在紧急情况下遇到，很可能就是致命性的。
意识到科技有以上风险之后，尽管你依然不能摆脱科技产品，但是你会加强风险意识，准备冗余的设备作为备用，并提高个人经验和逻辑得到的判断在决策中的占比（就是做你要更加相信自己，而不是盲目相信数据）。
2013年去世的厄尔维纳（ Earl Wiener）在航空安全方面有着极大声望，他提出了关于航空和人为错误的“维纳法则”。其中一条是，电子设备解决了小麻烦却制造了大麻烦。维纳的意思是：虽然自动化能纠正常见的人为错误，但它会时不时地制造大麻烦。维纳很有远见，维纳法则的适用范围已经超越了航空业。
几年前，位于加州奥克兰附近的圣莱安德罗警察局在未经车主允许的情况下给两辆小汽车拍摄了至少112张照片，车主名叫迈克尔卡茨拉卡比（ Michael Katz－ Lacabe），是当地居民。这些照片最终出现在了法庭上，倒不是因为卡茨拉卡比是一个恐怖分子或黑社会组织成员，而是因为卡茨拉卡比向法院申请了公开这些照片。警察局猛拍卡茨拉卡比的车子，并非怀疑他涉嫌犯罪。其实车子附近有一个监控，每一辆经过的汽车都会被拍下来，卡茨拉卡比的车也一样。之后，电脑会读取车辆的电子信息，记录牌照号码，并附注拍摄时间和地点。卡茨拉卡比先生的女儿也被拍了下来，她们一个8岁，另一个5岁，拍照的时候她们就在车子旁边。
警察局将卡茨拉卡比先生的汽车和孩子的照片，连同其他数百万张照片一起，送到了由美国联邦政府管理的北加州地区情报中心。这里的工作人员将使用硅谷魔法球科技有限公司开发的一款软件一秒钟能够搜索上亿张牌照。这样一个具有强大识别和分析能力的数据库在打击犯罪领域潜力无限但是与此同时它的潜力也被用在了见不得光的地方。卡茨拉卡比告诉《福布斯》（ Forbes）的记者安迪·格林伯格（ Andy Greenbery）：政府工作人员可能会回放数据库里的照片，窥探各种隐私，比如有人下班后没回家，他的车子却出现在别人老婆的房子前，有人去过医用大麻诊所，有人去了计划生育中心，有人参加了游行抗议。
近年来，人们对这种强大科技的优势和风险存在明显争议，也展开了不少讨论。然而，从维纳法则出发，有一个风险却被广泛忽略了：科技失效虽然罕见但确实存在，当它真的发生，我们又该怎么办呢？
圣诞节期间，英国公民维克多汉金斯（ Victor Hankins）收到一件不太友好的“礼物”：一张罚单。通常情况下，你是这样收到罚单的：你回到停车的地方，发现一张票据压在挡风玻璃的雨刮器底下作为对你乱停乱放的惩罚。汉金斯先生不是这样，他是在门垫上发现了一封来自当地政府的信。信中显示，2013年12月20日下午8点8分14秒，他的车在约克郡的布拉德福市堵塞了公交车站，他的违规行为被一辆刚好路过、装有摄像头的交通执法车拍了下来。计算机自动识别了汽车牌照，在数据库中找到了汉金斯先生的地址，然后一个“证据包”自动生成，其中包括场景视频、违规时间和地点。在信中，布拉德福市议会要求汉金斯先生支付罚款，否则将会面临法庭诉讼。这封信同样是由计算机程序自动生成、打印并寄出的。似乎一切都很完美，然而汉金斯先生的车并没有非法停放，只是被困在了堵塞的道路中。汉金斯向当地的市议会发起了投诉。
按理说这种高科技的存在目的是解放人类的双手，让我们有时间做更有趣的事，比如检查异常情况——给汉金斯先生开的错误罚单就是一种异常。但是，官僚主义者和法航的飞行员一样，他们很相信这些高科技，觉得高科技不会出错。布拉德福的市议会一开始就驳回了汉金斯先生的投诉，汉金斯先生以打官司相威胁，市议会才礼貌性地承认错误并道歉。这不由得使人想起一个老笑话：人非圣贤孰能无过，但人类犯错很多情况下还有救，高科技犯错可能就没救了。
就在汉金斯先生的汽车被拍照的同一天，谷歌公布了一个中枢网络系统，可以识别由谷歌街景车拍摄的门牌照片。谷歌的研究小组称，该系统只需一个小时便可以读取法国每个门牌号的信息，准确率96％，这令人啧啧称奇。然而4％可不是一个小数字，法国有2500万户家庭，换句话说，一小时内错误识别的门牌号高达百万户。
换个角度想，4％的错误率也有一定积极作用，这意味着人们不敢百分之百仰赖高科技和自动化物流巨头UPS（联合包裹速递服务公司）和联邦快递公司绝不会希望25个包裹当中就有一个送到了错误地址，这会砸了它们的金字招牌。如果警察经常因为错误判断而吓到战战兢兢的无辜者，那么警务督察就会严肃对待来自无辜市民的投诉。要是警务督察发现某位警察参与的每25个案件中就有一件被搞砸，这位警察就必须出席听证会为自己辩护。
要是谷歌中枢网络系统的准确率提高到百万分之四呢？如此一来，法国2500万户家庭的门牌号，就只会出现一个识别错误。从百分之四到百万分之四，随着准确率提高了一百万倍，人们对高科技的信任也达到了百分之百。系统出错的可能性越小，比如飞机上的电传操纵系统，我们处理突发情况的能力就越弱。计算机怎么会错呢？所以当有人指出计算机出了错，旁人会认为是那个人搞错了或者他在撒谎。除非我们自己成为高科技的受害者，否则我们会一直把高科技奉为真理。假如购物中心的电脑将你误认成了惯偷，保安因此把你赶了出去，你还会相信高科技吗？（这种技术已经存在，不过仍在调试修改中。它能为商场识别常客，以便为他们提供特别优惠。）一旦你上了购物中心的黑名单，要自证清白可不是一件容易的事。
自动化系统本来可以很美好，但如果人们过分信任它、依赖它，我们当中的一些人就会遭殃。39岁的拉辛纳易卜拉辛（ Rahimah Ibrahim）是一名大学讲师，同时也是一名建筑师，正在美国斯坦福大学攻读博士学位。2005年1月2日，她打算从旧金山飞往夏威夷去参加一个学术研讨会。当时拉辛纳刚做完手术，身体还没恢复，必须坐在轮椅上，这趟旅途注定艰难，然而后来发生的事却把她带进深渊。易卜拉辛刚办理完登机，警方当着她未成年女儿的面逮捕了她，给她戴上了手铐，把她押到一个拘留室。几小时之后，警方才告知易卜拉辛可以坐次日的航班离开。
两个月后，在家乡马来西亚探亲完毕的易卜拉辛打算回美国，却在机场被告知其美国学生签证在没有任何通知的情况下被撤销了。尽管易卜拉辛的女儿是美国公民，她却永远回不了美国了维克多汉克斯先生用官司相威胁，就让布拉德福议会撤销了停车罚单。易卜拉辛却花了9年时间和价值400万美元的法律援助。直到美国地方法官威廉阿尔苏普（ Wiliam Alsup）宣判之前，美国政府一直在不断地干涉诉讼程序。原来，易卜拉辛被错误地列入了禁飞名单，原因可能是伊斯兰祈祷团与马来西亚雅马哈伊斯兰教英文名称极其相似，前者（英文名 Jemaah Islamiyah）是一个恐怖组织，2002年在巴厘岛用汽车炸弹致死202人，后者（英文名 Jemaah IslahMalaysia）则是马来西亚海外留学生的专业协会，易卜拉辛加入了马来西亚海外留学生协会，而非恐怖组织。
一旦错误的数据被录入电脑数据库，它便成了铁律，因为人们倾向于认为计算机是不会出错的正如主审易卜拉辛一案的法官所写的那样：“一旦诽谤信息被录入TSDB（恐怖主义数据库），它便通过政府的连锁数据库广泛传播，像一个永不消失的不良信用记录。”初始的错误像病毒一样传播开来，却没有官方机构愿意去纠正它。
世界是一个凌乱的存在。那个数字到底是1还是7，那个字母是小写的L还是大写的i？一辆不动的汽车，到底是乱停乱放还是只是因为堵车？那个人是小偷还是小偷的孪生弟兄？是恐怖组织还是留学生协会？在一个凌乱的世界里，错误在所难免。自动化系统却要一切井然有序。一旦计算机程序或者数据库将你置于特定的分类中，非黑即白的数据便会否定任何外界质疑和不确定。你是小偷；你的车停在了公交车站；你在禁飞名单里一反正电脑是这么说的，这也成了多年以来政府捍卫自己权威的武器。计算机也好，政府也罢，谁也不会承认错误。
这是一个前所未有的名单时代，我们的名字出现在各种名单上：嫌犯名单、土豪名单、经常在加利福尼亚州圣莱安德罗附近出没的司机名单，甚至强奸幸存者名单。计算机将这些原本待在文件柜里的一摞摞的文件，转换成了可以即时搜索、即时生效的数据。这样的数据库还在不断扩大，进入这些名单的人不仅没有被事先告知，甚至根本不知道名单的存在。因此，一旦名单出错，受牵连者根本没有机会提出质疑，错误就一直存在。
尽管这些高科技数据库功能强大、着实有用，但我们恐怕没有意识到，整洁有序的数据库很难反映出这个世界的本来面目一凌乱。我们同样没有意识到，在电脑的准确率比人脑高一百倍、工作效率高一百万倍的同时，它出错的概率也在成倍增加。这令人想到贝克曼的“科学造林”—我们小看了这些科技的威力，它哪里只是将世界分门别类，它分明是在改变这个世界。
但这并不是说我们就该彻底摈弃高科技。一方面，我们都能理解卡茨拉卡比先生，他的车子和孩子无缘无故被拍了100多次，换了我们也不乐意；另一方面，我们也不得不承认高科技在执法过程中扮演的重要角色，比如调查嫌疑犯，指挥交通和阻止恐怖分子登机。但不管怎么说，科技应该帮助人类做出更好的决定，而不是代替人类做决定。飞机自动驾驶系统应该给飞行员提供支持和帮助，而不是代替飞行员驾驶飞机。如果我们总是依赖电脑，就等着大祸临头吧。
科技失灵带来的无奈有时让人哭笑不得。2012年3月，三名在澳大利亚旅游的日本学生用GPS（全球定位系统）导航开车到北斯特拉布鲁克观光。不知为什么，GPS没有检测出行驶路线被太平洋的海水淹没了14.5千米。旅行途中有意外发生也是常情，不过三名学生的反应却非常滑稽。他们沿着已经失灵的GPS导航的路线，把车开到了海边，跨过一片泥滩，朝着大海开去。海浪拍打着他们驾驶的“现代”汽车，情况不妙。终于，他们尴尬地发现自己被困了。路过的渡船上，乘客们惊讶地看着伫立在水中的车和人。学生们弃车上岸。车是报废了。“我们还想再来一次澳大利亚，”一名学生说，“这里的人都很友好，即便是今天。
这几个人的经历的确好笑。但值得思考的是，三个具有行为思考能力的人，怎么可能跟着GPS的荒诞指示开进太平洋？自动化系统往往使我们陷入被动，我们不经大脑地接受任何指示。举例来说，在有些国家，器官捐赠是默认的，也就是说，每个人都是初始的器官捐献者，除非他们在注册表单上打钩，选择退出，于是几乎所有人都默认了这一设定。而在另一些国家，公民则须通过在注册表单上打钩来选择成为器官捐赠者，所以登记率要低得多。规定不同，我们的决定就会完全不同，公司养老金政策也是同样的道理。有时候这些决定至关重要，甚至能够改变我们的生活。
一旦计算机给出相应的建议，人们便会不假思索地接受，心理学家将这种现象称为“自动化偏差”。不管是布拉德福的移动执法车，还是美国的禁飞名单，都存在自动化偏差。
把汽车开进海里是自动化偏差的一个极端例子，而大多数GPS使用者是通过更加温和的方式感受到自身存在的自动化偏差。第一次使用GPS的时候，你会小心谨慎。你会检查地图，可能还会将行驶路线打印出来，上路之前会尽量了解地形，估算着旅程需要多长时间。不过，有了几次成功出行的经历，你就被GPS降服了。既然GPS能找到更迅捷、可靠的路线，自己还费那么大劲干吗呢。
GPS很少让用户失望，但是一旦让你失望了，那必定是刻骨铭心的。这种悲剧第一次发生在我身上的时候，我正驱车前往约克市中心的一个酒店。约克市是一个美丽的中世纪风格的城市，它被古老的城墙包围，因此交通流量受到了管制。我到达的时候已是深夜，然后发现前方道路因为施工禁行了。GPS没有得到实时更新，指示我继续往前开。幸运的是，我没有听从GPS的指示，朝一辆向我驶来的蒸汽压路机开过去。在那一刻，我意识到：我太依赖GPS了，连一个备用计划也没准备。我既不知道自己在哪儿，也不知道酒店在哪儿，我感到自己走投无路。那时候还没有智能手机，我也没带地图。最后，我只好漫无目的地驾驶，希望GPS能重新规划出一条新路线。
后来经过了几次顺畅的旅行，GPS又重新获得了我的信任。连续几年它都不负所望，出色地完成了任务，直到最近，就在我打算去乡下参加一场婚礼的时候，它又伤了我的心。我不知道目的地的具体位置，只知道大致方向和邮编。可当我把邮编输入GPS系统，它没有任何反应。就这样，GPS又一次辜负了我。我不知道它究竟出了什么问题，也无法预测何时它会再次失灵。从事直觉决策研究的心理学家加里克莱因（ Gary Kein）总结道：“当计算机程序为你做出决策时，人们往往拒绝思考，不会想怎么去改善它。但GPS之类的计算机程序很难进行自我诊断，也就是说很难找到自己失误的原因。随着人们对它的依赖程度越来越大，人们自身的判断力就会减弱，这反过来又加强了他们的依赖性。这个过程形成了一个恶性循环。如果总是计算机程序来做决定，人就会变得被动，不再怀疑，失去警惕。
克莱因等研究决策的专家们认为，许多软件工程师开发的应用程序总是想代替我们做决定，这让问题进一步恶化。如果我们打开软件的目的只是希望得到一些信息和帮助，我们就得费一番功夫阻止应用程序为我们做决定。什么意思呢？例如，我们不想被导航牵着鼻子走，想自己寻找最佳路线，于是我们打开导航软件，想查看一下地图或者看看有哪些路线可供选择。但是这些功能藏得太深，要花费一番工夫才能找到。相反，“开始导航”的字样却总是那么显眼，迫不及待地想替我们做决定，想牵着我们的鼻子走。
类似的软件随处可见。我们担心未来某一天机器人会抢走我们的饭碗，却没有意识到机器人已经在一步一步抢走我们的决定权。在如今的经济环境下，超级大仓库已经很常见。在那里，工人必须快速地将货品从货架上取走，搬到包装和发货的地方。他们头戴一种特殊的头盔，头盔里装有软件，通过头盔他们可以接收一位名叫“詹妮弗”的虚拟指挥官的指令。詹妮弗会告诉他们去哪里，做什么詹妮弗掌管着仓库的一切，再微不足道的细节也不放过。詹妮弗能将一个大的指令分成若干个更小的，以便尽量减少失误。比如，如果工人需要从货架上取下18本书，詹妮弗会指挥工人分4次完成：5本、5本、5本、3本。在这样的条件下工作，工人沦为了长着肉身的机器。詹妮弗剥夺了工人的思考权，在它眼里，工人只不过是一双双廉价且麻利的手。
2007—2008年那场使世界经济陷入衰退的金融危机，其实就好比一位心不在焉的司机将车开进了太平洋。危机爆发的原因之一是一种叫作债务抵押债券（CDO）的金融产品。这种金融产品结构复杂，其价值和美国房地产市场的健康程度成正比。华尔街的金融天才在金融风暴来临之前，或许已经看到房价飞涨背后的房地产泡沫，即使美国历史上还没有出现过全国范围内的同步崩溃。要是这些金融天才能够将自己的预测告诉电脑，也许电脑就能近一步估算房地产泡沫破裂对CDO价值造成的灾难性影响，不过这一切都只是事后的幻想罢了。电脑并没有这些天才所独有的金融智慧，它不知道金融风暴即将席卷全球。
如何合理利用计算机程序，同时降低它出错的风险呢？心理学家丽贝卡·普里西克（ Rebecca Pliske）发现，经验丰富的气象学家会在分析数据、做出专业预测后，再对比计算机的预测，看看自己是否有什么疏忽。（通常情况下，气象学家和电脑的预测一样。）与空客A330的飞行员不一样这些资深的气象学家更愿意利用自己的专业知识预测天气，而不是全部依靠电脑，所以他们能一直保持高水准。但是，年青一代的气象学家和老一辈不同，他们更相信电脑而不是自己。一旦老一辈退休，人类将永远失去其在专业领域的宝贵经验，电脑出错时也将束手无策。
我们已经讨论过汽车的GPS系统和飞机的自动驾驶系统存在的问题，将这两点考虑在一起，你就会明白自动驾驶汽车的缺点。
克里斯·厄姆森（ Chris Urmson）是谷歌自动驾驶汽车的项目负责人，他希望自动驾驶汽车能尽快批量生产，这样他的儿子就不用考驾照了。2020年，他的大儿子就满16岁了，厄姆森觉得不能再等了。和飞机的自动驾驶系统不同，自动驾驶汽车不需要驾驶员。这种汽车没有方向盘，不少人担心如果哪一天它们也往海里跑，可得找个方法及时从车里跳出去啊！
自动驾驶汽车遭遇的反对声音不少，小厄姆森想开上自动驾驶汽车恐怕还得等一段时间。卡内基梅隆大学的自动驾驶专家拉杰拉杰库马尔（ Raj Rajkumar）认为，要研发出可靠的自动驾驶汽车至少还要一二十年。在此之前，我们可以尝试让自动驾驶程序负责简单的路况，而复杂的路况还是交给司机吧。
自动驾驶程序会不断改进，能够处理的路况也会越来越复杂，直到有一天完全不需要司机。最后一步将是一个由量变到质变的微小飞跃，它的出现几乎很难察觉。”拉杰库马尔在一个广播节目中说，“即便如此，意外还是有可能发生。”这听上去可不怎么吉利，却在情理之中。当路况变得复杂时，汽车便将驾驶权交给司机。乍一听，没毛病啊！可是，如果我们期待汽车能够判断何时交出控制权，就等于说，我们期待它能清楚地判断自己的局限，知道自己什么时候搞得定，什么时候搞不定这些问题即便是人类自己都弄不清楚，你还指望电脑！
退一步讲，即便电脑准确判断出何时交出驾驶权，这时候驾驶员又该如何处理呢？连法航训练有素的飞行员在自动驾驶系统关闭时都不能正确应对突发情况，更别说普通人了。密歇根大学的安·普拉丹（ Anuj K. Pradhan）说：“人类还没有习惯自动驾驶汽车，需要我们上的时候，可能真反应不过来。
当自动驾驶系统把控制权交给司机的时候，多半是在极具挑战的突发情况下。当空客A330的自动驾驶系统关闭时，三名法航的飞行员只有两到三分钟的时间来弄清楚他们应该如何应对。想象一下，我们坐在自动驾驶汽车里玩手机，突然汽车发出“自动驾驶模式退出”的警报，我们立刻丢下手机准备接手，却看见一辆公交车迎面开来，越来越近、越来越近。
安普拉丹提出只有那些已有多年驾驶经验的司机，才有资格驾驶自动汽车。不过，这很难从根本上解决问题。无论驾驶员有多少年的经验，一旦退居二线让电脑接手，他的技能就会逐渐退化。普拉丹的提议细想起来让人不寒而栗：我们先让新手在其最容易发生事故的阶段驾驶手动车，等他们积累了一定的驾驶经验，再把他们放进自动驾驶汽车，然后过不了多久，疏于练习的他们又会退化成新手。
厄尔维纳说：“电子设备解决了小麻烦却制造了大麻烦。”了解了飞机的自动驾驶系统和谷歌的自动驾驶汽车之后，我们还可以补充说：正是因为电子设备逐一排除了所有小错误，反而给大错误可乘之机。为何如此？科技在解放双手的同时，剥夺了我们练习专业技能的机会，一旦真正的危机到来，我们便会因为专业技能的退化而无计可施。
维纳清楚地权衡了自动化的利弊。有了GPS，我不需要在旅行前规划驾驶路线，确实节省了一些时间。但是，对GPS的依赖也让我付出了代价，就比如那次乡村婚礼，当我最终赶到教堂的时候，新郎已经入场正在等候新娘，我满是歉意。“GPS给我节省的时间真的能弥补它给我造成的失望吗？我问自己。鉴于后来我又开始信任GPS，我当时的答案应该是肯定的。
数据库的使用同样涉及利弊的权衡。虽然它能帮助交警查处违规停车，帮助警察阻止潜在恐怖分子登机，但是它也会“诬陷”好人，被误会的受害者还得努力证明自己的清白：“我没有违规停车当时正在堵车。”“这不是一个恐怖组织，这只是一个留学生校友会。”而他们的解释却显得那么苍白、没有可信度。自动化给大多数人带来的便利能弥补它给少数人制造的麻烦吗？这个问题虽然没有简单的答案，但它至少可以提醒我们去倾听这少部分受害者，同时找到改进办法。
