AI专题1：启蒙运动以来未有之大变局
1.AI感受到了人类既不能用理性认知，也感受不到的规律。而且它可以用这个规律做事。人类已经不是世界规律唯一的发现者和感知者。
2.现在有三种最流行的神经网络算法，监督学习、无监督学习和强化学习。
ChatGPT让2023年成了AI之年。正如iPhone在2007年开启了智能手机时代，我们现在正式进入了人工智能时代。借助四本新书，讲讲对这个时代的最新理解和思考、聊聊应用场景和应对方法。
先从2021年出的一本书讲起，书名叫《AI时代：以及人类的未来》（The Age of AI: And Our Human Future）。
这本书的三个作者很厉害，分别是无需介绍的亨利·基辛格，Google前CEO埃里克·施密特，麻省理工学院苏世民计算机学院的院长丹尼尔·胡滕洛赫尔（Daniel Huttenlocher）。
作者咖位这么高，但这并不一本献礼式、应景式的书，这书里有真思想，有关于这个时代的高观点。
✵
2020年，麻省理工学院宣布发现了一种新的抗生素，叫Halicin。这是一种广谱抗生素，能杀死那些对市面上现有的抗生素已经产生耐药性的细菌，而且它自己还不会让细菌产生耐药性。
这个幸运的发现，是用AI完成的。研究者先搞了一个由两千个性能已知的分子组成的训练集，这些分子都被标记好了是不是可以抑制细菌生长，用它们去训练AI。AI自己学习这些分子都有什么特点，总结了一套“什么样的分子能抗菌”的规律。
AI模型训练好之后，研究者用它一个个考察美国FDA已经批准的药物和天然产品库中的61000个分子，要求AI按照三个标准从中选择一种抗生素：1）它具备抗菌效果；2）它看起来不像已知的抗生素；3）它必须是无毒的。
结果AI最后只找到一个符合所有要求的分子，这就是Halicin。然后研究者做实验证明，它真的非常好使。它大概很快就会用于临床，造福人类。
用传统的研究方法，这件事是绝对做不成的：你不可能测试61000个分子，那成本太高了。这只是当代AI众多的应用案例中的一个，它很幸运但是它并不特殊。
之所以先讲这个例子，是因为它带给我们一个清晰的认知震撼——
Halicin可以作为抗生素的化学特征，是人类科学家所不理解的。
关于什么样的分子可以做抗生素，科学家以前是有些说法的，比如原子量和化学键应该具有某些特征——可是AI这个发现用的不是那些特征。AI在用那两千个分子训练的过程中，找到了一些不为科学家所知的特征，然后用那些特征发现了新的抗生素。
那些是什么特征呢？不知道。整个训练模型只是一大堆——也许几万到几十万个——参数，人类无法从那些参数中读出理论。
这可不是特例。AlphaZero完全不用人类棋手的棋谱，通过自己跟自己对弈学会了下国际象棋和围棋，然后轻松就能打败人类。然后你看看它的走法，它经常会走一些人类棋手匪夷所思、没有考虑过的走法。比如在国际象棋里它看似很随便就可以放弃皇后这样的重要棋子……有时候你事后能想明白它为啥那样走，有时候你想不明白。
这个关键在于，AI的思路，不同于人类的理性套路。
当代AI最厉害之处并不在于自动化，更不在于它像人，而在于它*不像*人：它能找到人类理解范围之外的解决方案。
✵
这不是汽车取代马的发明，也不仅仅是时代的进步。这是哲学上的跨越。
人类从古希腊、古罗马时代就在追求「理性」。到了启蒙运动，人们更是设想世界应该是由一些像牛顿定律这样的明确规则确定的，康德以后人们甚至想把道德也给规则化。我们设想世界的规律应该像法律条文一样可以一条条写下来。科学家一直都在把万事万物分门别类，划分成各个学科，各自总结自己的规律，打算最好能把所有知识编写进一本百科全书。
然而进入20世纪，哲学家维特根斯坦提出了一个新的观点。他说你们这种按学科分类写条文的做法根本不可能穷尽所有的知识。事物之间总有些相似性是模糊的、不明确的、难以用语言说明的。想要丁是丁卯是卯全都理性化，根本做不到。
现在AI找到的，恰恰就是一些难以被人所理解，不能用明确的规则定义的智慧。这是柏拉图理性的失败，是维特根斯坦的胜利。
其实不用AI你也能想明白这个道理。比如说，什么是“猫”？你很难精确定义猫到底是什么东西，但是当你看到一只猫的时候，你知道那是猫。这种认知不同于启蒙运动以来人们说的规则式的理性，但是你可以说这是一种「感觉」。
一种难以明说、无法告诉另一个人的感觉。我们对猫的认识很大程度上是感性的。
而现在AI有这种感觉。当然，人一直都有这种感觉，这本来没什么，康德也承认感性认知是不可缺的。问题是，AI通过这样的感觉，已经认识到了一些人类无法理解的规律。康德原本认为只有理性认知才能掌握世界的普遍规律。
AI感受到了人类既不能用理性认知，也感受不到的规律。而且它可以用这个规律做事。
人类已经不是世界规律唯一的发现者和感知者。
你说这是不是启蒙运动以来未有之大变局。
✵
现在有些人谈论AI是把AI当做了一种“超级智能”，仿佛神灵一般，说能把人类如何如何——那种讨论没什么意义。如果神灵都已经降临人间了我们还在这聊什么？不要高推圣境。
现在的AI不是什么通用人工智能（AGI），而是一种非常特殊的智能，也就是通过机器学习训练的神经网络系统。
上世纪八十年代以前，科学家还在尝试用启蒙运动理性的思路，把解决问题的规则输入给计算机执行。后来发现那条路走不通，因为规则太多了，根本弄不过来。这才有了神经网络。现在是我们根本不用告诉AI任何规则，也就是把学习世界的过程都委托给机器，有什么规则你自己学去吧。
这个思路受到了人脑神经网络的启发，但是并不完全一样。AI神经网络的基本概念 ，它分为输入层、很多中间层和输出层，一般的深度学习网络大概要有10层。
使用AI神经网络分为「训练（training）」和「推理（inference）」两部分。一个未经训练的AI是没用的，它只有搭建好的网路结构和几万甚至几千亿个参数。你需要把大量的素材喂给它进行训练，每个素材进来，网络过一遍，各个参数的权重就会进行一遍调整。这个过程也就是机器学习。等到训练得差不多了，就可以把所有参数都固定下来，模型就炼制完成了。你就可以用它对各种新的局面进行推理，形成输出。
GPT-3.5有超过一千亿个参数，以后会更多。AI模型参数的增长速度已经超出了摩尔定律。搞神经网络非常消耗算力。
✵
现在有三种最流行的神经网络算法，监督学习、无监督学习和强化学习。
那个发现新抗生素的AI就是「监督学习（supervised learning）」的典型例子。给一个有两千个分子的训练数据集，你必须提前标记好其中哪些分子有抗菌效果，哪些没有，让神经网络在训练过程中有的放矢。图像识别也是监督学习，你得先花费大量人工把每一张训练图里都有什么内容标记好，再喂给AI训练。
那如果要学习的数据量特别大，根本标记不过来，就需要「无监督学习（unsupervised learning）」。你不用标记每个数据是什么，AI看得多了会自动发现其中的规律和联系。
比如淘宝给你推荐商品的算法就是无监督学习。AI不关心你买*什么样的*商品，它只是发现了买了你买的那些商品的顾客也会买别的什么商品。
「强化学习（reinforcement learning）」，是在动态的环境中，AI每执行一步都要获得反馈的学习。比如AlphaZero下棋，它每走一步棋都要评估这步棋是提高了比赛的胜率，还是降低胜率，获得一个即时的奖励或惩罚，不断调整自己。
自动驾驶也是强化学习。AI不是静态地看很多汽车驾驶录像，它是直接上手，在实时环境中自己做动作，直接考察自己每个动作导致什么结果，获得及时的反馈。
打个简单的比方——
* 监督学习就好像是学校里老师对学生的教学，对错分明有标准答案，但是可以不给讲是什么原理；
* 无监督学习就好像一个学者，自己调研了大量的内容，看多了就会了；
* 强化学习则是训练运动员，哪个动作出错了立即给你纠正。
✵
机器翻译本来是典型的监督学习。比如你要做英译中，就把英文的原文和中文翻译一起输入给神经网络，让它学习其中的对应关系。但是这种学法太慢了，毕竟很多英文作品没有翻译版……后来有人发明了一个特别高级的办法，叫「平行语料库（parallel corpora）」。
先用对照翻译版来一段时间的监督学习，作为「预训练」。模型差不多找到感觉之后，你就可以把一大堆同一个主题的英文也好、中文也好，别管是文章还是书籍，不需要互相是翻译关系，各种材料都直接扔给机器，让它自学。这一步就是无监督学习了，AI进行一段沉浸式的学习，就能猜出来哪段英文应该对应哪段中文。这样训练不是那么精确，但是因为可用的数据量要大得多，训练效果好得多。
像这种处理自然语言的AI现在都用上了一个新技术叫「transformer」。它能更好地发现词语跟词语之间的关系，而且允许改变前后顺序。比如“猫”和“喜欢”是主语跟谓语的关系，“猫”和“玩具”则是两个名词之间的“使用”关系，它都可以自行发现。
还有一种流行技术叫「生成性神经网络（generative neural networks）」，特点是能根据你的输入生成一个什么东西，比如一幅画、一篇文章或者一首诗。生成性神经网络的训练方法是用两个具有互补学习目标的网络相互对抗：一个叫生成器，负责生成内容，一个叫判别器，负责判断内容的质量，二者随着训练互相提高。
GPT的全称是「生成式预训练变换器（Generative Pre-trained Transformer）」，就是基于transformer架构的、经过预训练的、生成性的模型。
✵
当前所有AI都是大数据训练的结果，它们的知识原则上取决于训练素材的质量和数量。但是，因为现在有各种高级的算法，AI已经非常智能了，不仅能预测一个词汇出现的频率，更能理解词与词之间的关系，有相当不错的判断力。
但是AI最不可思议的优势，是它能发现人的理性无法理解的规律，并且据此做出判断。
AI基本上就是一个黑盒子，吞食一大堆材料之后突然说，“我会了”。你一测试发现它真的很会，可是你不知道它会的究竟是什么。
因为神经网络本质上只是一大堆参数，不可理解性可以说是AI的本质特征。事实是连OpenAI的研究者也搞不清ChatGPT为什么这么好用。
要这么说的话，可以说我们正在目睹一个新智慧形态的觉醒。
AI专题2：危险的法宝
1.AI对人类有一定的危险：AI全面接管科研就在眼前，它可能会接管社会的道德和法律问题，它对人类社会具有统治力，以及可能的破坏力。
2.我们正处于历史的大转折点上，这绝对是启蒙运动级别的思想和社会转折，工业革命级别的生产和生活转折——只是这一次转折的速度会非常非常快。
OpenAI发布了一则声明，叫“对AGI及以后的规划（Planning for AGI and beyond）”。AGI不是我们现在用的这些科研、画画或者导航的AI，而是「通用人工智能（artificial general intelligence）」，是不但至少要有人的水平，而且什么任务都可以干的智能。
AGI在以往只存在于科幻小说之中。但OpenAI已经规划好了路线图。OpenAI的下一代语言模型，GPT-4，已经训练完毕。现在正在训练的是GPT-5，它被认为肯定可以通过图灵测试。
所以这绝对是一个历史时刻。但是请注意，OpenAI这个声明是个很特殊的文件。你从来没见过任何一家科技公司是这样说自家技术的：整个文件的重点不是吹嘘，而是一种忧患意识——它忧患的既不是自家公司，也不是AGI技术，它忧患的是人类怎么接受AGI。
OpenAI说：“AGI有可能给每个人带来令人难以置信的新能力；我们可以想象一个世界，我们所有人都可以获得几乎任何认知任务的帮助，为人类的智慧和创造力提供一个巨大的力量倍增器。”然后文件并没有继续说AGI有多厉害，而是反复强调要「逐渐过渡」：“让人们、政策制定者和机构有时间了解正在发生的事情，亲自体验这些系统的好处和坏处，调整我们的经济，并将监管落实到位。”并且说它部署新模型会「比许多用户希望的更谨慎」。
这等于是说，通往AGI的技术已经具备，但是为了让人类有个适应过程，OpenAI正在刻意压着，尽量慢点出。
人类需要一个适应过程。
想象你有个特别厉害的助手，名叫龙傲天。他方方面面都比你强，你连思维都跟他不在一个层面。你常常不理解他为什么要那样决定，但是事实证明他替你做的每一个决定都比你自己原本想的更好。久而久之，你就习惯了，你事事都依赖他。
龙傲天所有的表现都证明，他对你是忠诚的……但是请问刘波，你真的完全信任他吗？
✵
其实我们已经在用AI很长时间了。像淘宝、滴滴、抖音这些互联网平台都有几亿甚至几十亿的用户，用人力管理这么多用户是不可能的，它们都在用AI。给用户推荐商品、安排外卖骑手接单、对拥挤时段打车进行加价，包括对不当发言删帖，这些决定已经要么全部、要么主要是AI做的。
而问题随之而来。如果是某公司的某个员工的操作伤害了你的利益，你大可抗议，要求他负责；可如果你感到受到了伤害，公司却说那是AI做的，连我们自己都不理解，你同意吗？
现在AI的智慧是难以用人的理性解释的。为什么抖音向你推荐了这条视频，你质问抖音，抖音自己都不知道。也许抖音设定的价值观影响了AI的算法，也许抖音根本就不可能完全设定AI的价值观。
政府和人民都要求对AI算法进行审查，可是怎么审查？这些问题都在探索之中。
✵
就在我们连简单应用都没想明白的同时，AI正在各个新领域突飞猛进。凭借AlphaGo出名的DeepMind已经被Google收购，它在过去几年内又取得了如下成就——
* 推出AlphaStar，在《星际争霸II》这样一个规则复杂的、开放式的游戏环境中，打到了最高水平；
* 推出AlphaFold，能够预测蛋白质的形状，改写了领域内生物学的研究方式；
* 医学方面，用AI识别X射线图片帮助诊断乳腺癌，把对急性肾脏损伤的诊断比主流方法提前了48小时，对老年人眼睛里的老年性黄斑变异做出了提前好几个月的预测；
* 推出两个天气预报模型，一个叫DGMR，用于预测一个地区90分钟会不会下雨，一个叫GraphCast，预测十天内的天气，精确度都显著高于现有的天气预报；
* 它还用AI给谷歌的数据中心重新设计了一套冷却系统，能节省30%的能源……
等等等。这些成就的最可怕之处不是DeepMind一出手就颠覆了传统做法，而在于它们不是集中在某个特定领域，是大杀四方：到底还有什么领域是DeepMind不能颠覆的？
这些还只是DeepMind能做的事情中的一小部分，而DeepMind只是Google的一个部门。
AI全面接管科研就在眼前。
如果什么科研项目都能交给AI暴力破解，那人类所谓的科学精神、什么创造性，又怎么体现呢？
如果AI做出来的科研结果不但人类做不出来，而且连理解都无法理解，我们又何以自处呢？
✵
会不会被AI抢工作那些都是小事儿了。现在的大问题是AI对人类社会的统治力——以及可能的破坏力。
华尔街搞量化交易的公司已经在用AI直接做股票交易，效果很好。可是AI交易是以高频进行，在没有任何人意识到之前，就有可能形成一个湍流，乃至于引发市场崩溃。这是人类交易员犯不出来的错误。
美军在测试中用AI操控战斗机，表现已经超过了人类飞行员。如果你的对手用AI，你就不得不用AI。那如果大家都用AI操控武器，乃至于进行战术级的指挥，出了事儿算谁的呢？
再进一步，如果我们把司法判决权完全交给AI，社会绝对会比现在公正。大多数人会服气，但是有些人输了官司会要求一个解释。如果AI说只是我的算法判断你再次犯罪的概率有点高，我也说不清具体因为啥高，你能接受吗？
理性人需要解释。有解释才有意义，有说法才有正义。如果没有解释，也许……以后我们都习惯于不再要求解释。
我们可能会把AI的决定当做命运的安排。
小李说：我没被大学录取。我的高考成绩比小王高，可是小王被录取了。一定是AI认为我的综合素质不够高……我不抱怨，因为AI自有安排！
老李说：是的孩子，继续努力！我听人说了，AI爱笨小孩！
你能接受这样的社会吗？
✵
AI到底是个什么东西？现阶段，它已经不是一个普通工具，而是一个法宝。你需要像修仙小说里一样，耗费巨量的资源去炼制它。
据摩根斯坦利分析，正在训练之中的GPT-5，用了25000块英伟达最新的GPU。这种GPU每块价值一万美元，这就是2.5亿了。再考虑研发、电费、喂语料的费用，这不是每家公司都玩得起的游戏。那如果将来训练AGI，又要投入多少？
但只要你把它训练好，你就得到了一个法宝。AI做推理不像训练那么消耗资源，但是用的人多了也很费钱，据说ChatGPT回答一次提问消耗的算力是一次Google搜索的十倍……不过有了它，你就有了一件人人想用的神兵利器。
而只要AGI出来，它就不再是一个工具了。它会成为你的助理。今天出生的孩子都是AI时代的原住民，AI将是他们的保姆、老师、顾问和朋友。比如孩子要学语言，直接跟AI互动交流比跟老师、跟家长学都会快得多、也方便得多。
我们会习惯于依赖于AI。我们可能会把AI给人格化，或者我们可能会认为人没有AI好。
那么再进一步，你可以想见，很多人会把AI当成神灵。AI什么都知道，AI的判断几乎总是比人类正确……那你说人们会不会从强烈*相信*AI，变成*信仰*AI？
AI可能会接管社会的道德和法律问题。
你猜这像什么？这就像是中世纪的基督教。
✵
在中世纪，所有人都相信上帝和教会，有什么事儿不是自己判断，而是去教堂问神父。那时候书籍都是昂贵的手抄本，普通人是不读书的，知识主要是通过跟神父的对话传承。
是印刷术出现以后，每个人可以自己读书了，直接就能获得智慧，不用迷信教会了，这才开启了讲究理性的启蒙运动。
启蒙运动对社会的改变是全方位的：封建等级制度、教会的崇高地位、王权，都不复存在。启蒙运动孕育了一系列政治哲学家，像霍布斯、洛克、卢梭等等，通过这些人的思考，人们才知道那个时代是怎么回事儿，以后的日子该怎么过。
抛开上帝拥抱理性，启蒙运动是给普通人赋能的时代。
而今天我们又开启了一个新的时代。我们发现人的理性有达不到的地方，可是AI可以达到，AI比人强。如果人人都相信AI，有什么事儿不是自己判断，而是打开ChatGPT问AI，知识主要是通过跟AI的对话学习……
再考虑到AI还可以轻易地向你推荐一些最适合你吸收的内容，对你进行定点宣传，你舒舒服服地接受了……
这不就是神又回来了吗？
再想一步。假设很快就有公司炼制成功了AGI，而AGI的技术特别难、炼制特别昂贵，以至于是其他人难以模仿的。那如果这些掌握AGI的公司成立一个组织，这个组织因为可以用AGI自行编码设计新的AGI，迭代越来越快，水平越来越高，领先优势越来越大，以至于任何人想要接触最高智能都必须通过他们……请问这是一个什么组织？
这个组织难道不就是新时代的教会吗？
✵
这就是为什么基辛格等人要写书呼吁，我们不应该把什么任务都交给AI，不能让AI自动管理社会。他们建议，任何情况下，真正的决策权应该掌握在人的手里。为了确保民主制度，投票和选举都必须得由人来执行，人的言论自由不能被AI取代或者歪曲。
这也是为什么OpenAI在声明中说：“我们希望就三个关键问题进行全球对话：如何管理这些系统，如何公平分配它们产生的利益，以及如何公平分享使用权。”
通过这一讲，你会理解他们的忧患。我们正处于历史的大转折点上，这绝对是启蒙运动级别的思想和社会转折，工业革命级别的生产和生活转折——只是这一次转折的速度会非常非常快。
回头看，转折带来的不一定都是好事儿。启蒙运动导致过打着理性旗号的、最血腥的革命和战争；工业革命把农业人口大规模地变成了城市人口，而马克思那个时代的工人并不是很幸福。转折引发过各种动乱，但是最后社会还是接受了那些变化。AI又会引发什么样的动乱？将来社会又会有什么样的变化？我们会怎样接受？
基辛格等人认为，现在的关键问题——也就是“元问题”——是我们现在缺少AI时代的哲学。我们需要自己的笛卡尔和康德来解释这一切……
AI专题3：语言模型的开悟时刻
1.AI能力的三个境界——
第一境界是「积土成山，风雨兴焉」。参数足够多，训练达到一定的积累，你就可以做一些事情。
第二境界是「积水成渊，蛟龙生焉」。模型再大到一定程度，就会涌现出一些让人意想不到的神奇功能。
第三境界是「积善成德，而神明自得，圣心备焉」。它产生了自我意识，甚至有了道德感。
2.因为开悟和涌现，AI现在已经获得了包括推理、类比、少样本学习等等思考能力。
现在最流行的几个生成性AI，包括ChatGPT和画画的AI，背后都是「大型语言模型（Large Language Models，简称LLM）」。这大约也是通往AGI的技术路线。大型语言模型为什么这么厉害。
先举个例子。我问ChatGPT：棒球棒能被藏进人的耳朵里吗？它说不能，因为人的耳朵是非常小的，棒球棒的大小和形状超出了耳朵所能容纳的范围……很有条理。
又问它：为什么金箍棒能被藏进孙悟空的耳朵里？它回答说因为那是虚构的故事，金箍棒的形状和大小可以随意改变……
你仔细想想的话，这两个回答非常了不起。很多人说语言模型都是基于经验的，只能根据词汇之间的相关性输出答案，根本没有思考能力……但是从这两个问答来看，ChatGPT是有思考能力的。
谁会写一篇文章讨论棒球棒能否被藏进人的耳朵里呢？ChatGPT之所以能给出答案，肯定不是因为它之前听过这样的议论，而是因为它能进行一定的推理。它考虑到并且知道棒球棒和耳朵的相对大小，它还知道金箍棒和孙悟空是虚构的。
它这些思维是怎么来的呢？
你可能没想到，这些能力，并不是研发人员设计的。
研发人员并没有要求语言模型去了解每种物体的大小，也没有设定让它们知道哪些内容是虚构的。像这样的规则是列举不完的，那是一条死胡同。
ChatGPT背后的语言模型，GPT-3.5，是完全通过自学，摸到了这些思考能力。以及别的能力——你列举都列举不出来的能力。连开发者都说不清楚它到底会多少种思考能力。
语言模型之所以有这样的神奇能力，主要是因为它们足够大。
✵
GPT-3有1750亿个参数。Meta刚刚发布了一个新语言模型叫LLaMA，有650亿个参数。Google在2022年4月推出一个语言模型叫PaLM，有5400亿个参数；之前Google还出过有1.6万亿个参数的语言模型。据OpenAI的CEO山姆·阿尔特曼（Sam Altman）说，GPT-4的参数并不会比GPT-3多很多；但大家猜测，GPT-5的参数将会是GPT-3的100倍。
这是只有在今天才能做到的事情。以前不用说算力，光是存储训练模型的语料的花费都是天文数字。1981年，1GB的存储成本是10万美元，1990年下降到9000美元，而现在也就几分钱。要说今天的AI科学跟过去相比有什么进步，计算机硬件条件是最大的进步。
今天我们做的是「大」模型。
大就是不一样。当然语言模型有很多高妙的设计，特别是transformer就是一个最关键的架构技术，但主要区别还是在于大。当你的模型足够大，用于训练的语料足够多，训练的时间足够长，就会发生一些神奇的现象。
2021年，OpenAI的几个研究者在训练神经网络过程中有一个意外发现。
给你打个比方，比如说你在教一个学生即兴演讲。他什么都不会，所以你找了很多现成的素材让他模仿。在训练初期，他连模仿这些素材都模仿不好，磕磕巴巴说不成句子。随着训练加深，他可以很好地模仿现有的演讲了，很少犯错误。可是如果你给他出个没练过的题目，他还是说不好。于是你就让他继续练。
继续训练好像没什么意义，因为现在只要是模仿他就都能说得很好，只要是真的即兴发挥他就不会。但你不为所动，还是让他练。
就这样练啊练，突然有一天，你惊奇地发现，他会即兴演讲了！给他一个什么题目，他都能现编现讲，发挥得很好！
这个过程就是下面这张图——
红色曲线代表训练，绿色曲线代表生成性发挥。训练到一千步乃至一万步，模型对训练题的表现已经非常好了，但是对生成性题目几乎没有能力。练到10万步，模型做训练题的成绩已经很完美，对生成题也开始有表现了。练到100万步，模型对生成性题目居然达到了接近100%的精确度。
这就是量变产生质变。研究者把这个现象称为「开悟（Grokking）」。
✵
开悟，到底是发生了什么呢？
再举个例子。ChatGPT有个很关键的能力叫做「少样本学习（Few-Shot Learning）」，就是你给它一两个例子，它就能学会你的意思并且提供相似的输出。
比如让ChatGPT模仿我给出的例题，再出几道小学数学题。例题是“小明有3个苹果，妈妈又给了他2个苹果，现在他有几个苹果？”ChatGPT马上就出了五道题，全是这个风格——比如“小李有5支笔，他送出了3支笔，还剩下几支笔？”
简直就跟对对联一样。少样本学习是个关键能力，你可以利用这个能力让ChatGPT帮你做很多事情。那这个能力是怎么出来的呢？
来自更多的参数和训练。看下面这张图——
图中说的是GPT-2和GPT-3模型的演化。参数越多，少样本学习的能力就越强。
而少样本学习只是其中一项能力。还有很多别的能力也是如此：大了，它们就出来了。
✵
这个现象，其实就是科学家之前一直说的「涌现（Emergence）」。涌现的意思是当一个复杂系统复杂到一定的程度，就会发生超越系统元素简单叠加的、自组织的现象。比如单个蚂蚁很笨，可是蚁群非常聪明；每个消费者都是自由的，可是整个市场好像是有序的；每个神经元都是简单的，可是大脑产生了意识……
万幸的是，大型语言模型，也会涌现出各种意想不到的能力。
2022年8月，谷歌大脑研究者发布一篇论文，专门讲了大型语言模型的一些涌现能力，包括少样本学习、突然学会做加减法、突然之间能做大规模、多任务的语言理解、学会分类等等……而这些能力只有当模型参数超过1000亿才会出现——
再强调一遍：研究者并没有刻意给模型植入这些能力，这些能力是模型自己摸索出来的。
就如同孩子长大往往会出乎家长的预料。
✵
当然你也得先把模型设计好才行。Transformer架构非常关键，它允许模型发现词与词之间的关系——不管是什么关系，而且不怕距离远。但是当初发明transformer的研究者，可没想到它能带来这么多新能力。
事后分析，涌现新能力的关键机制，叫做「思维链（Chain-of-Thought）」。
简单说，思维链就是当模型听到一个东西之后，它会嘟嘟囔囔自说自话地，把它知道的有关这个东西的各种事情一个个说出来。
比如你让模型描写一下“夏天”，它会说：“夏天是个阳光明媚的季节，人们可以去海滩游泳，可以在户外野餐……”等等。
思维链是如何让语言模型有了思考能力的呢？也许是这样的。比如前面说的那个棒球棒问题。模型一听说棒球棒，它就自己跟自己叙述了棒球棒的各个方面，其中就包括大小；那既然你的问题中包括“放进耳朵”，大小就是一个值得标记出来的性质；然后对耳朵也是如此……它把两者大小的性质拿出来对比，发现是相反的，于是判断放不进去。
只要思考过程可以用语言描写，语言模型就有这个思考能力。
再看下面这个实验——
给模型看一张图片——皮克斯电影《机器人总动员》的一张剧照——问它是哪个制片厂创造了图中的角色。如果没有思维链，模型会给出错误的回答。
怎么用思维链呢？可以先要求模型自己把图片详细描述一番，它说“图中有个机器人手里拿了一个魔方，这张照片是从《机器人总动员》里面来的，那个电影是皮克斯制作的……”。这时候你简单重复它刚说的内容，再问它那个角色是哪个制片厂创造的，它就答对了。
既然如此，只要我们设置好让模型每次都先思考一番再回答问题，它就能自动使用思维链，它就有了思考能力。
有人分析，思维链很有可能是对模型进行编程训练的一个副产品。我们知道现在GPT-3是可以帮程序员编程的。在还没有接受过编程训练的时候，它没有思维链。也许编程训练要求模型必须得从头到尾跟踪一个功能是如何实现的，得能把两个比较远的东西联系在一起——这样的训练，让模型自发地产生了思维链。
✵
微软公司发布了一篇论文，描写了微软自己的一个新的语言模型，叫做「多模态大型语言模型（multimodal large language model，MLLM）」，代号是KOSMOS-1。
什么叫多模态呢？ChatGPT是你只能给它输入文字；多模态是你可以给它输入图片、声音和视频。它的原理大概是先把一切媒体都转化成语言，再用语言模型处理。多模态模型可以做像下面这样的“看图片找规律”的智商测验题——
前面那个《机器人总动员》剧照的例子就来自这篇论文，演示了看图说话的思维链。论文里有这样一个例子，在我看来相当惊人 ——
给模型看一张图既像鸭子又像兔子的图，问它这是什么。它回答说这是个鸭子。你说这不是鸭子，再猜是什么？它说这像个兔子。你问它为什么，它会告诉你，因为图案中有兔子耳朵。
这个思维过程岂不是跟人一模一样吗？
✵
《荀子·劝学篇》中的一段话，正好可以用来描写AI能力的三个境界——
第一境界是「积土成山，风雨兴焉」。参数足够多，训练达到一定的积累，你就可以做一些事情。比如AlphaGo下围棋。
第二境界是「积水成渊，蛟龙生焉」。模型再大到一定程度，就会涌现出一些让人意想不到的神奇功能。比如AlphaZero不按人类套路下围棋、大型语言模型的思维链。
第三境界是「积善成德，而神明自得，圣心备焉」。这就是AGI了，它产生了自我意识，甚至有了道德感……
古往今来那么多人读《劝学》，也不知有几人真按照荀子的要求去学了……但是我们现在知道，AI肯定听进去了。你给它学习材料，它是真学。
总而言之，因为开悟和涌现，AI现在已经获得了包括推理、类比、少样本学习等等思考能力。
我们不得不重新思考以前对AI做出的各种假设——什么AI做事全靠经验、AI不会真的思考、AI没有创造力，包括“AI会的都是用语言可以表达的东西”这一条，现在我也不敢肯定了。
如果AI通过思维链能达到这样的思考水平，那人又是怎么思考的？我们的大脑是不是也有意无意也在使用了思维链呢？如果是这样，人脑跟AI到底有什么本质区别？
这些问题都在呼唤全新的答案。
