读人工智能时代与人类未来笔记14_管控人工智能.png

1. 管控人工智能

1.1. 历史上的战场进一步推进到与数字网络相连的所有地方

1.2. 数字程序现在控制着一个由众多实体系统构成的庞大且仍在不断增长的领域，而且越来越多的此类系统已实现网络化

1.2.1. 在某些情况下甚至连门锁和冰箱都实现了网络化

1.2.2. 这催生出一个极其复杂、广泛和脆弱的系统

1.3. 对人工智能强国来说，追求某种形式的彼此理解和相互制约至关重要

1.3.1. 在相应系统和能力可以通过计算机代码的变化而轻易改变且相对难以察觉的情况下，各大政府可能倾向于认为，其对手在战略敏感的人工智能研究、开发和部署方面的步调会比它们公开承认甚至私下承诺的更进一步

1.3.2. 让人工智能参与侦察、锁定目标或是展开致命性自主行动并不难，这使得寻求建立一套相互制约和验证的体系变得既困难又刻不容缓

1.4. 一旦被释放到世界上，人工智能驱动的网络武器能够适应和学习的程度可能远远超过预期目标

1.4.1. 武器的能力可能会随着人工智能对环境的反应而改变

1.4.2. 如果武器能够以某种方式改变，而且改变的范围或性质与其创造者所预期或威胁实现的不同，那么对于威慑和升级的设想就可能变得扑朔迷离

1.4.3. 为了避免意外的和潜在的灾难性后果，这种限制必须是相互的

1.5. 限制人工智能和网络能力相当困难，遏制其扩散也很难

1.5.1. 那些主要大国开发和使用人工智能和网络的能力有可能落入恐怖分子和流氓帮派手中

1.5.2. 那些没有核武器、常规武器军力也有限的小国，也可以通过投资尖端的人工智能和网络武器，发挥出巨大的影响力

1.6. 各国不可避免地会把非连续性的、非致命性的任务委托给人工智能算法

1.6.1. 包括执行检测和防止网络空间入侵的防御功能

1.6.2. 一个高度网络化和数字化的社会“受攻击面”太大，人类操作者无法仅凭手动实现防御

1.6.3. 随着人类生活的许多方面转移到网上，经济也持续数字化，一个流氓网络人工智能就可能破坏整个行业

1.7. 国家、公司甚至个人都应该着手构建某种失效保护体系，以防患于未然

1.7.1. 包括切断网络连接并使系统离线

1.7.2. 对国家来说，离线可能是终极的防御形式

1.7.3. 如果不使用这种极端的措施，那就只有人工智能能够执行某些至关重要的网络防御功能，原因之一是网络空间浩瀚无垠，在这一空间内可能采取的行动选项几乎无穷无尽

1.7.4. 除了少数几个国家，这一领域内最重要的防御能力可能是其他国家力所不及的

1.8. 人工智能的引入增加了为抢占先机而将某种武器仓促投入使用，并由此演变为冲突的内在风险

1.8.1. 为了防止冲突意外升级，大国应该在一个可验证的限制框架内进行竞争

1.8.2. 谈判不应该只专注于缓和军备竞赛，还应该确保双方大体上都了解对方的动向

1.8.3. 对方会对自己最具敏感性的秘密有所保留

1.8.3.1. 国家间永远不会有完全的信任，但这并不意味着无法达成某种程度的谅解，正如冷战期间的核武器谈判所表明的那样

1.9. 界定核时代的条约（以及随之而来的沟通、执行和核查机制）给我们带来了各方面的收益，但它们并不是历史的必然产物，而是人类能动性的产物，是共同承担危机和责任的产物

1.10. 为了管控人工智能，战略家必须考虑如何将其纳入负责任的国际关系模式

1.10.1. 负责任地使用策略，再辅以制约原则，将是必不可少的举措

1.10.2. 一个显见的出发点就是以传统强制方式对能力加以制约

1.11. 无论是限制人工智能的潜在能力，还是限制人工智能的数量，都不能完全符合这种技术在民用领域的广泛应用和持续发展态势

1.11.1. 我们必须研究新的限制因素，重点是人工智能的学习和目标锁定能力

1.12. 在19世纪和20世纪，各国逐渐对某些形式的战争进行了限制，例如使用化学武器以及大量针对平民的行为

1.12.1. 鉴于人工智能武器使大量新类别的军事活动成为可能，或使旧形式的军事活动重获新生，世界各国亟须对何种军事行为不会背离固有的人性尊严和道德责任等问题做出决断

1.13. 与人工智能相关的武器技术带来的困境在于：对技术的持续研发对国家至关重要，没有它，我们将失去商业竞争力和与世界的关联性

1.13.1. 新技术所固有的扩散天性迄今为止使通过谈判做出限制的一切努力付诸东流，甚至连概念也未能形成

2. 致命自主武器系统

2.1. 该系统一旦被激活就可以在没有进一步人类干预的情况下选择和打击目标

2.2. 这类武器的关键问题是人类对其进行监督和及时干预的能力

2.3. 一个自主系统可能需要有一个人“在指令环路上”被动地监控它的活动，或者“在其指令环路中”的某些行动需要人类授权

2.4. 除非受到可遵守和可证实的相互协议的限制，后一种形式的武器系统最终可能涵盖全部战略和目标

2.4.1. 保卫边境或实现针对敌人的特定结果，并且不需要大量人力参与

3. 对民用和军事技术的影响

3.1. 传统上有三个技术特性促成了军事和民用领域的分野

3.1.1. 技术差异

3.1.1.1. 是指专门军用或专门民用的技术是有别的

3.1.2. 集中控制

3.1.2.1. 是指与容易传播、规避政府控制的技术相反，有些技术可以轻易被政府管控

3.1.3. 影响规模

3.1.3.1. 是指一项技术的破坏性潜力

3.2. 纵观历史，许多技术都是军民两用的

3.2.1. 一些很容易广泛传播，另一些则具有巨大的破坏力

3.3. 迄今为止，还没有一种技术同时具备以下三种特性：军民两用、易于传播和潜在的巨大破坏性

3.3.1. 运送货物到市场的铁路和运送士兵到战场的铁路是一样的，铁路不具有破坏性潜力

3.3.2. 核技术通常是军民两用的，且破坏性巨大，但核设施很复杂，这使政府能够相对安全地控制核技术

3.3.3. 猎枪可能被广泛使用，同时具有军民用途，但其有限的能力使持枪者无法在战略层面造成破坏

3.3.4. 人工智能打破了这种范式

3.4. 人工智能

3.4.1. 可以军民两用

3.4.2. 很容易传播，只要几行代码就可以

3.4.2.1. 大多数算法（有一些明显例外）可以在单个计算机或小型网络上运行，这意味着政府很难通过控制基础设施来控制这种技术

3.4.3. 人工智能的应用具有巨大的破坏性潜力

3.4.4. 这种独一无二的特性组合，加上广泛的利益相关者，产生了具有全新复杂性的战略挑战

3.5. 一个国家可能来不及评估即将到来的攻击，就要立即对此类威胁进行响应，否则将面临被对方解除武装的风险

3.5.1. 构建一个人工智能系统来预警攻击并赋予其反击的能力

3.5.2. 这一系统的存在以及它可以毫无预警地实施行动，可能会刺激另一方投入更多建设和规划，包括开发并行技术或基于不同算法的技术

3.5.3. 如果人类也参与了这些决定，那么除非各方谨慎地发展出一个共同的限制理念，否则先发制人的冲动可能会压倒谋定后动的需要，就像20世纪初的情况一样

3.6. 技术优势所需的专业知识不再完全集中于政府方面

3.6.1. 从传统的政府承包商到个人发明家、企业家、初创企业和私人研究实验室，各种各样的行为体和机构都参与到对这一具有战略意义的技术的塑造过程中

3.6.2. 并不是所有参与者都认为其使命应与联邦政府所界定的国家目标保持内在一致

3.6.3. 工业界、学术界和政府之间的相互教育过程可以帮助弥合这一鸿沟，并确保各方在一个共同的概念框架内理解人工智能战略意义的关键原则

3.7. 局面

3.7.1. 其遭遇的战略和技术挑战如此复杂

3.7.2. 对该挑战的性质乃至讨论其所需的词汇却鲜有共识

3.8. 核时代

3.8.1. 尚未解决的挑战是：人类发展了一种技术，战略家们却找不到可行的军事行动理论

3.8.2. 即使经过半个世纪的努力，如今对核武器的管控仍然是支离破碎的

3.8.3. 评估核平衡其实相对简单

3.9. 人工智能时代的困境将与之不同，典型技术将被广泛获取、掌握和应用

3.9.1. 无论是在理论概念上还是在实践操作中，实现相互间的战略克制，甚至是实现对“克制”的共同定义，都将比以往任何时候更加困难

3.9.2. 与核武器不同的是，人工智能很难被追查：一旦经过训练，它们可以很容易地被复制，并在相对较小的机器上运行

3.9.3. 以目前的技术，无论是要检测其存在还是证实其不存在，都是极其困难甚至无法实现的

3.9.4. 在这个时代，威慑可能来自一种复杂性

3.9.4.1. 来自人工智能攻击能够借助载体的多样性，也来自潜在的人工智能反应速度

3.10. 由于大多数人工智能技术具有军民两用特性，我们有责任在这场技术研发竞赛中保持领先

3.10.1. 同样迫使我们去理解它的局限性

3.10.2. 等到危机来临才开始讨论这些问题就为时已晚了

3.10.3. 一旦在军事冲突中使用，人工智能技术的响应速度之快，几乎注定它将以比外交手段更快的速度产生结果

3.11. 要在最具破坏性的能力上实现相互制约，绝不能等到悲剧发生再去亡羊补牢

3.11.1. 当人类开始在创造新的、不断演化的、拥有智能的武器方面展开竞争时，历史不会原谅任何对此设限的失败

3.11.2. 在人工智能时代，对国家优势的持久追求，仍须以捍卫人类伦理为前提

4. 股票市场

4.1. 一些复杂的所谓量化公司认识到，人工智能算法可以发现市场模式，并以超过最佳操盘手的速度做出反应

4.2. 公司已将其证券交易方面的某些控制权委托给这些算法

4.3. 在多数情况下，这些算法系统可以实现大幅超过人类操盘的利润

4.3.1. 它们偶尔会严重误判，程度可能远超最糟糕的人为错误

4.4. 在战略领域，一次类似“闪电崩盘”的算法故障造成的后果可能是灾难性的

4.4.1. 如果一方在此类计算或行动上出错，就可能在不经意间触发升级模式

5. 人工智能赋能武器

5.1. 使人类指挥的战争更精确、更致命、更有效

5.2. 美国已宣布其目标是将人工智能使用限制在此类别中，并谋求建立一个任何国家，包括美国自身都不拥有人工智能武器的世界

5.3. 技术的学习和演进能力也可能导致对某些特定能力的限制不足

5.4. 对人工智能赋能武器的制约性质和制约方式进行界定，并确保约束是相互的，是关键所在

6. 人工智能武器

6.1. 能脱离人类操作者自主做出致命的决定

7. 新世界中的古老追求

7.1. 无论中美两国竞争的新阶段可能会出现何种形式的竞赛，两国仍应该寻求达成一项共识，即不会同对方打一场前沿技术战争

7.2. 这两个大国互相对峙而拒不进行对话的时间越长，发生意外的可能性就越大

7.3. 一旦发生意外，双方都会被其技术和部署预案所驱使，陷入双方都不愿意看到的危机，甚至可能发生全球规模的军事冲突

7.4. 国际体系的矛盾之处在于，每个大国都被驱使采取行动，也必须采取行动，从而最大限度地保障自身的安全

7.5. 在人工智能时代，我们应该对长期以来的战略逻辑进行调整

7.5.1. 我们必须防止运行速度比人类决策者更快的人工智能做出一些具有战略后果的、不可挽回的行为

7.5.2. 防御力量的自动化，必须在不放弃人类控制的基本前提下去实施

7.5.3. 该领域固有的模糊性，再加上人工智能的动态性、突出性及其传播的便利性，将使评估复杂化

7.5.4. 人工智能技术的扩散可能会导致更多的行为体必须承担类似的使命

8. 控制武器装备的六大任务

8.1. 对抗和敌对国家的领导人必须准备定期开展相互对话，讨论他们都想要避免的战争形式，就像他们的前任在冷战期间所做的那样

8.2. 必须对核战略的未解难题给予新的关注，并认识到其本质正是人类在战略、技术和道德方面遭遇的巨大挑战之一

8.3. 网络与人工智能技术的领先大国应该努力界定其理论和限制（即使其所有方面均未被公开），并找出自身理论与竞争大国之间的关联点

8.3.1. 如果我们的意图是威慑而非使用，是和平而非冲突，是有限冲突而非普遍冲突，就需要以反映网络和人工智能独特层面的措辞来重新理解和定义这些术语

8.4. 拥核国家应承诺对其指挥控制系统和早期预警系统进行内部检查

8.4.1. 检查还应包括排除对核指挥控制系统或早期预警系统相关设施的网络攻击的选项

8.5. 世界各国，特别是技术强国，应制定强有力和可接受的方法，在紧张局势加剧和极端情况下尽量延长决策时间

8.5.1. 可以将控制不稳定性和建立共同安全所需的步骤（既有当前的，也有长期的）联系起来

8.5.2. 在危机中，人类必须对是否使用先进武器承担最终责任

8.6. 主要的人工智能大国应该考虑如何限制军事化人工智能的继续扩散，或者依靠外交手段与武力威胁，开展系统性的防扩散工作

8.6.1. 老牌的核大国探索过这种防核扩散概念，结果成败参半

8.6.2. 如果一种具有颠覆性和潜在破坏性的新技术被用于武装世界上怀有最强烈敌意或道德上最不受约束的政府的军队，那么战略均势可能难以实现，冲突也可能无法控制