自回归大模型能否理解意义：核心主张、前提假设与后续分析

“大语言模型无法形成真正的理解”这一判断并不是单一命题，而是好几条相互独立、强度不一的论证并置在一起之后给人的总体印象。在这些论证当中，有一种最容易被误当成严格的形式化证明，那就是杨立昆反复陈述的误差指数累积论证。它常被表述为“证明”，可是它的地位与 Bender 和 Koller 的语义学论证、Merrill 和 Sabharwal 的复杂性论证完全不同：后两者是定理，前者只是一个建模选择。

先说杨立昆这一方的主张。它要成立，必须同时给出一个否定性判断和一条支撑它的机制，这个否定性判断是：以预测下一个词元为唯一目标的自回归大语言模型，无法形成对意义的真正理解，原因是它的误差随序列长度指数累积并最终发散。

支撑这一判断的依据有三条，强度依次递减。

最容易被当成证明的是误差的指数式累积，其依据来自概率论，杨立昆在 2023 年的公开陈述中给出了它[1]。其次是一条关于符号基础的判断：语言是低带宽的投影，纯文本训练无法与现实世界完全接合，这一线索可以追溯到 Harnad 1990 年的符号接地问题[2]，并被 Browning 与杨立昆 2022 年的文章再次提出[3]。最弱的一条其实已经不是对自回归模型的论证，而是一种范式取舍：预测应当发生在抽象表征空间而不是输入空间，这正是 JEPA 的立场[4]，它属于纲领性主张，本身并不包含任何针对自回归模型的证明。

真正的核心论证写出来并不复杂。按链式法则，一段长度为 n 的序列的概率等于各步条件概率的连乘，写成公式就是

P(w_1,\dots,w_n)=\prod_t P(w_t\mid w_{<t})

如果设单步偏离正确答案集合的概率恒为 e，那么整段序列落在正确集合里的概率就是

P(\text{correct})=(1-e)^n \xrightarrow{\;n\to\infty\;} 0

代数上这一步无可挑剔，但它之所以能得到这个结论，靠的是三条同时成立的前提：

  1. 恒定性：每一步的错误率 e 相同且与位置无关；
  2. 独立性：各步误差彼此独立；
  3. 不可恢复性：一旦偏离就再也回不到正确集合。

这三条都不是从 Transformer 架构或大模型的一般行为特征里推导出来的，也没有被论证过，它们是被直接设定下来的，说是一种先验甚至超验约定都可以。换言之，这个结论的力量完全来自约定，而不来自任何关于大模型的事实。事实上，这三条前提对大语言模型是否成立从未被证明，对人类是否一定不成立也从未被证明。

既然论证的承重点在这三条前提上，分析就该从它自身的结构开始。

整个论证可以分为三层。

代数层只是伯努利过程的一个平凡推论，它不含任何关于大模型或 Transformer 的信息。建模层才是全部争议所在，问题不在于代数，而在于把生成过程等同于一个恒定、独立、不可恢复的伯努利过程是否恰当。推论层所说的“大模型无法自我纠错”“自回归必然发散”，并不是被证明出来的结论，而是前提三的直接翻译。

这一翻译暴露出论证带有循环性：e 被定义为把一个序列带出正确集合的概率，定义里只有“出”，没有“回”，于是“错误不可恢复”这个前提自然就推出了“模型不能从错误中恢复”。这是同义反复，并不具备可证伪性，因为任何自我纠错的现象都可以被解释成 e 恰好没有在那一位置发生。第三方评述把这一点概括为一句话：假设本身就是实验[5]。

循环性只是逻辑层面的问题，更要紧的是这三条前提在经验上是否站得住。

第一条关于错误率恒定的前提并不成立。只有大约百分之五到百分之十的词元，也就是所谓关键 token，真正依赖长程上下文，其余词元在上下文充分时错误率趋近于零。据此修正后的模型是双速率模型，形如

(1-e_{\text{key}})^{k(n)}\,(1-e_{\text{non-key}})^{n-k(n)}

由于 k(n) 随 n 次线性增长，衰减就从指数退化为幂律乃至出现平台期[6]。

当然，这里其实还暗藏了一个更为实质的要点：原公式把指数定在词元粒度上，而一项任务成败所取决的决策粒度要粗得多，用词元数当指数会把衰减人为地夸大。

第二条关于误差独立的前提同样不成立。误差是成簇出现的，关键 token 一旦出错，后续 token 会持续与这个错误保持一致，于是生成出一段连贯但错误的延续[6]。这里的方向值得留意：相关性让衰减更快，但同时让偏离更容易被诊断出来，所以这条假设很大程度上是为了可算性而设。同时，反过来这也说明：一旦绕开了一个错误，那么与之成簇的错误都可以以极高的概率被避开，这从另一个侧面也说明了上面恒定性那一条是不成立的。

第三条关于错误不可恢复的前提则与架构事实直接冲突。注意力机制可以直接访问任意一个已经生成出来的词元，也就是所谓的回顾性纠错[7]；对序列中误差概率的实测显示它并不单调，可以在中途修正时下降；表征空间的分层流形结构使得微小扰动仍然留在同一个语义邻域里；多样本采样与树搜索带来的两位数百分点增益则说明，正确答案更像一个吸引子，而不是等概率路径中的一条[6]。

事实上，CoT 策略（也即输出之前先进行内部思维链过程）中的 Aha 时刻很多时候就是发生在自我纠错的时刻。因此说 LLM 这类自回归大语言模型的错误不可恢复，这点显然不成立。

既然原公式的承重点所依赖的前提约定存在诸多不合理之处，一个自然的追问就浮出了水面：能不能换一个可证伪的模型来替代它。

一个可与杨立昆竞争的理论模型，可恢复的马尔可夫模型：两个状态构成的链，带一个非零的恢复概率 p_{\text{rec}}，它允许轨迹回到正确路径上。

两者的取舍并不靠立场，而有一个可测量的判据，就是用成功率随输出长度变化的真实曲线去拟合，看哪一个拟合得更好[5]。如果可恢复模型更优，那么原公式的错误就不是代数错误，而是它作为实际运行系统的模型错了。

与此相应，对这项论证的三种流行评价需要分开处理。“先预设不利假设再证明无法自纠错”这一条在逻辑结构上成立，因为结论确实就是前提；“假设武断、为结论量身定做”这一条不成立，它是有历史语境依据的最坏情形一阶近似，并且得到部分独立工作的支持；“该假设普遍成立，故大模型注定失败”这一条也不成立，因为三条前提各自都有反例。

归结起来，杨立昆的发言并不是关于大语言模型的定理，而是关于一类假想系统的渐近陈述，把条件命题当作无条件判决来使用，就构成了过度外推。

可是“大模型无法理解意义”这个判断背后并不只有杨立昆的论证，真正具备证明地位的支撑同样存在，需要单独看清它们各自证明了什么。

Merrill 和 Sabharwal 证明，不带 CoT 的 Transformer 落在 TC0 之内，也就是说单次前向计算存在硬上界[8]。同一组作者随后给出思维链的步数阶梯：步数为对数级时只能略微突破这个上界，步数与输入成正比时可以覆盖正则语言，多项式步数则精确对应 P[9]。这条阶梯的意义是双向的，它一方面说明自回归生成确实能够突破上界，“必然无能”在计算理论层面被否证；另一方面也说明代价所在，突破需要步数与输入成比例地增长。

Dziri 等人的实证工作显示，组合推理会退化为训练集子图上的局部模式匹配，并随深度阶梯式崩溃[10]，这说明误差确实会级联，模型缺乏通用的组合泛化能力。

Bachmann 和 Nagarajan 则指出，仅仅以预测下一个词元为损失，会迫使模型去学局部捷径，即便在分布之内也会失败[11]，这是从训练目标出发推导出来的、比杨立昆的表述更严格的版本。

Bender 和 Koller 的章鱼测试论证的是意义不能仅从形式中习得[12]，仅从 P(E) 出发无法唯一确定形式与指涉之间的映射。但必须注意的是，这一条本身是极具争议的，McAllester 就给出过反驳[13]。

以上这些结论里，来自 Dziri 等人和 Bachmann 与 Nagarajan 的两项还需要按 2024 年之后的实证加以限定：它们都是在没有外部验证器的配置下得到的，前者考察纯前向的组合推理，后者考察单纯的下一词元预测训练目标，而在 2026 年 Lean 闭环与大规模智能体搜索下取得的开放问题成果表明，这些上界在接上外部验证通道之后可以被显著突破。它们刻画的是特定约束配置下的极限，而不是整个范式的天花板。

把机器这一侧看清楚之后，人与机器的对照才有意义。

一种流行的分界方式是看输出是否可逆，但这条线其实划错了。人说出的话、写下的文字都已经传出去，听者读者已经记住，后果已经发生，记忆也已经形成；大语言模型的词元则已经写入键值缓存。两者都是追加式的记录，输出是否可逆并不是分界线。

但真正承重的问题并不在此，而是另一个：错误一旦进入记录，它是不是也就进入了唯一用于生成下一步的状态。

人类可以先把构思和分析放在大脑里完成，再通过语言和文字输出，从而绕开误差不可恢复这一条，带 CoT 的大语言模型同样能做到这一点。甚至于，Transformer 机制决定了 LLM 可以在发现一个观点（即一组 Token）是错误的情况下，将其在整个注意力机制中的权重降低，从而对后继 Token 的影响被压低——当然，无法压低为零，可同样的，人类也无法将自己记忆中已经出现的错误观念真正彻底抹除，而只能是将其标记为错误。我们当然可以争辩人类的将一个观点标记为错误与注意力机制将一段 Token 的权重压低是否是一回事，但至少在理论上这表明将错误从记忆中彻底移除、将思考轨迹恢复到正确方向上，LLM 在理论上可以达到和人类相似甚至相近的水平，且人类和 LLM 一样无法彻底做到将错误的历史遗忘。

因此，差别显然并不在是否可以进行“内省式思考”与“纠正错误思考”之上，而在一个更加直接的地方：怎么知道一个想法、一段 Token 是错误的应该被压低权重？或者，更加形式化来说就是：纠错信号从何而来？

人的纠错来自世界不按预测走，来自实验失败或者对方反驳，信号是外生的；大语言模型所谓的发现错误，则要么来自对自身输出的统计一致性检查，要么来自省式的思考，但都不来自现实世界。尤其是前者，其来自产生错误的同一个分布，所以检测这一步本身就带着错误率；而后者在最优情况下也只能来自形式化系统，和现实世界是严重脱节的。事实上，实测非常支持这一判断：没有外部反馈时，模型的内在自纠错经常失效，甚至会把本来正确的答案改错[14]。

因此，LLM 的瓶颈就在找错而不在改错，一旦告知错误位置，模型往往能够改对，甚至比人类更高效更准[15]。一旦接上工具，大语言模型立刻获得了人类式的不可逆性，邮件收不回、订单撤不掉，它在坏的那个意义上更像人了。

沿着这个方向还有一种值得设想的改进方式：让多个带思维链的大语言模型协作。第一个模型先思考，一旦发现自己的思考出现错误就立刻更正，然后把阶段性总结与后续安排交给第二个模型继续，这样错误就只保留在已经被抛弃的第一个模型里。但这样的多层多级架构会遇到新的问题，交接文本中的信息偏差甚至错误结论都可能被传递给后继模型，从而使前一级的修正失效。不过这种设想至少表明了一件事：误差无法被恢复这个假设，对大语言模型来说未必是必然成立的真命题，而只是一种不加研判的预设而已。

当然，我们还需要从反方向下来做一个校准，避免让人误以为这是一道 AI 独有的门槛。

在缺少纠错通道的情况下，人类同样会失败，而且一点不比 LLM 的情况好：虚构症、信念固着、认知失调之下的自我合理化，都说明“认下一个错误并生成连贯但错误的延续”这个描述本来讲的就是人类，所以这只是程度之别，不是有无之别。

另一方面，人类的记录其实比 KV Cache 更可塑：记忆被提取之后会重新进入不稳定状态，需要重新稳定才能巩固[16]，也就是说旧记忆本身可以被改写，这既是纠错能力的来源，也是自我欺骗的来源。所以，人类并不是靠能改写过去来纠错的。

因此，分界可以收拢成这么一条判据：是否存在一个信号不来源于错误本身的通道，能够检测偏离并把轨迹拉回来。

人类默认是拥有这样的通道的，那就是周围的物理世界。但纯文本的大语言模型一般可以认为是没有的，而这正是杨立昆的论证在朴素设定下有效的原因[14]，也提供了佐证。而在配上 Lean 内核、测试用例、执行结果这样的外部验证器之后，这个通道就出现了，误差不可恢复这条前提随之失效[5,15]。2024 至 2026 年的数学实践，是这条分界最干净的一次工程实证。

杨立昆、Harnad[2] 与 Bender 和 Koller[12] 关于纯文本无法理解意义的指责，还有一部分建立在经验现实这个前提之上：概念的指涉物在符号之外，必须由感官与物理因果闭环来完成映射。这个前提对于经验概念是成立的，但不能不加区分地推广到形式系统，因为形式世界与经验世界在本体论上并不相同。在纯形式系统当中，比如公理化数学、逻辑、形式语言和程序代码，符号即本体，概念不是物理实体的投影，而是由公理与推理规则直接定义的。群的意义就是封闭、结合、幺元、逆元这四条公理本身，它不需要接地到任何一块石头上去。理解的标准也相应地是系统内自洽，也就是合式性推演、类型检查、有效证明的构造与验证。柯里与霍华德同构把这一标准精确化了：命题即类型，证明即程序，A 可证等价于存在一个类型为 A 的项[17]。在这样的封闭系统之内，纯符号演算足以支撑完整的系统内理解；反过来，强求数学理解去感官接地，在认识论上属于范畴错误[13]。

因此，在纯形式系统中，LLM 可以对形式对象的“形式意义”做到理解，但对这些形式对象在我们所处的物理现实中的“现实意义”却是无能为力的。也因此，大部分语言学家一般不认为形式化系统中的“形式意义”是真正的意义，对此态度这里不做过多评论。

在根据现实意义的现实层面，物理因果链、时空连续直觉与常识经验必须依赖感知与运动的闭环，无法仅从文本共现中无损地习得，这点相性是所有人都不会否认的共识。模型可以完整掌握牛顿力学的公式作为二阶常微分方程的形式演算，求导、积分、守恒律推导都可以正确，却缺乏把它对应到现实物理的建模直觉：什么时候可以忽略摩擦力，什么时候质点近似会失效，它说不上来，就所说上来也基本是照本宣科，它“自己”对此并没有“真实的感受”。这方面的实证支持来自 PhysBench，该基准在 75 个有代表性的视觉语言模型上评测物理世界理解，结论是这些模型在常识推理上表现良好，却在理解物理世界上明显不足，论文把原因归于训练数据中缺少物理知识、模型也没有内嵌物理先验[19]。

真正需要留意的位置在两者的交界面上，那里有两道缺口，而且都可以测量。

第一道缺口是，形式内部的理解不等于形式与现实的建模对应。AlphaProof 的证明能力来自纯文本预训练，它用了约 3000 亿词元的代码与数学文本，目标是赋予网络对逻辑结构、编程语法与数学语言的广泛理解[18]，这一半完全落在文本之内；但它的正确性由 Lean 内核逐句外部校验来保证[18]，也就是说形式世界自带验证器，这正是使不可恢复前提失效的那个外部通道[5,15]，而自然语言到 Lean 这一步并不自足：AlphaProof 的自动形式化在 50 道有代表性的 IMO 题目上 pass@1 只有百分之六十，组合数学一项只有百分之三十三点三，Putnam 题目为百分之六十四[18]。形式与现实的接口本身就有约四成的失败率。

第二道缺口是，形式系统的内部极限并不构成人类的例外。足够强的一致形式系统不能在内部证明自身一致性，Penrose 据此主张数学洞察不可算法化，但这一推论在逻辑学界并没有被接受，Putnam、Shapiro、Feferman 等都给出过反驳[20,21]。所以上面这条结论并不依赖它，而这恰好是它的优点：纯文本足以支撑形式理解，无需引入任何非算法的洞察。

把这些线索合到一起看 2024 至 2026 年的实证，可以发现突破全部是经由外部验证器实现的。

比如在 IMO 竞赛上，就有这清晰的三档跃迁。2024 年，AlphaProof 与 AlphaGeometry 2 得到 28 比 42 的成绩，拿到银牌，而且还需要专家先把题目译成 Lean，部分题目耗时数天[18]。2025 年，Gemini Deep Think 以自然语言端到端的方式，在四个半小时的时限内解出六题中的五题，合计 35 比 42，经 IMO 官方评卷认证为金牌[22]。2026 年第 67 届 IMO 在上海举行，小红书 dots-note-3.0 与华为小艺都经 IMO 官方评阅取得 42 比 42 的满分[23]，另有第三方横评显示多个前沿模型在自主作答下同样达到满分[23]。三年之间走完了银牌、金牌、满分三档。

而在科研领域，情况也大致是相同的：一批悬置数十年的开放问题在同一年内被攻克。2026 年 5 月 20 日，Erdős 单位距离猜想被推翻，这个问题 1946 年提出，悬置了 80 年，结果由外部数学家团队核验并撰写了配套论文[24]。5 月 21 日，AlphaProof Nexus 在 353 个开放 Erdős 问题中自主解决了 9 个，其中 2 个悬置 56 年，并证明了 492 个 OEIS 猜想中的 44 个，单题成本数百美元，验证方式是 Lean 内核逐步机械校验，过程中由 Gemini 3.1 Pro 给出证明草图，Lean 的报错反馈驱动迭代[25]。7 月 20 日，三维雅可比猜想出现反例，这个问题 1939 年提出，悬置了 87 年，二维情形至今仍然开放，结果由多位数学家独立复算，另有 Lean 4 与 Isabelle/HOL 两套独立的形式化[26]。9 月 8 日，纳维—斯托克斯方程存在性与光滑性这一千禧年难题的处理方案公布，动用了约 1 万个并行智能体、运行 88 小时，验证方式是论文加 Lean 形式化，同时给出了无外力 Euler 方程的正则性反例[27]。10 月 6 日，一次性公开 722 篇手稿，归入 372 个成果族，涉及约 4000 个开放问题，其中部分结果附有 Lean 形式化，其余等待后续补充[28]。

这套成绩的意义不在于人工智能变强了，而在于它印证了前面那条分界：所有取得硬成果的系统都不是纯文本自回归，而是大语言模型加外部验证器。以 AlphaProof Nexus 为例，模型提出证明草图，Lean 编译器判定每一步是否合法，报错反馈驱动下一轮修改，这本身就是那条通道的字面实现，也正是 p_{\text{rec}}>0 的工程实现，而它恰恰是杨立昆公式的前提三所排除的东西。反过来也成立：这些成果的可信度完全取决于外部校验器的覆盖范围，而不取决于模型规模，没有附上形式化的结果只能算候选。当然，反过来看，2025 至 2026 年的数学实践等于用工程结果给“不可恢复”这个假设投了反对票。

不过有两点反面事实也必须同时记下。

首先，解出并不等于理解。2026 年 9 月 11 日，包括陶哲轩、邓煜、Peter Scholze 在内的 25 位菲尔兹奖得主联署声明《人工智能在数学中的严重错位》[29]，反对人工智能公司把攻克重大难题当作模型能力的跑分基准。他们的论点与杨立昆、Bender 和 Koller 属于同一个结论谱系，理由却不同：不是缺少感官接地，而是产出可验证的证明与获得概念性理解不是同一件事，数学的目标是理解与传承，证明只是手段。

其次，成果的可信度仍然依赖外部审查。上述结果大多尚未经过传统的同行评议，部分还涉及是否使用了他人未发表研究的争议[27,29]。

现在，我们可以得出一个阶段式的判断了：杨立昆的观点所依赖的三条假设，即误差的恒定性、独立性与不可恢复性，基本上都不成立，因此其观点的地基是不成立的；而杨立昆关于当前的 LLM 无法真正理解意义的判断，在必须与现实接地的层面是显然成立的，可在只需存在于形式世界的抽象概念的理解，这一结论就显得过于草率了，虽然我们必须深刻牢记：对形式概念的抽象理解与对形式概念背后物理世界的真正意义的理解之间，往往没有一毛钱关系。

最后 PS 一下：在互联网和娱乐业如此昌盛的现代，一个年轻人对世界的理解真的是建立在对物理现实的理解之上的么？我对此深表怀疑。

参考文献

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

友情链接更多精彩内容