过去几年，提升大模型推理能力的一条主线，是让模型把中间步骤写出来，也就是思维链（CoT）。这种方法直观有效，但代价同样很高：模型必须一个词元一个词元地生成推理过程，简单题与难题消耗相似，写错一步还可能把后续推导全部带偏。
Loop Transformer与潜空间推理分别从不同方向回应这一问题：前者让同一批参数被反复调用，用“循环深度”换取更强计算；后者让模型在连续隐藏状态中思考，减少对人类可读文字的依赖。两者结合，正在形成一种新的推理范式。
一、什么是Loop Transformer
传统Transformer可以看作一条单向流水线：输入表示依次经过第1层、第2层直到最后一层，每层只处理一次。想增加计算深度，通常就要增加层数和参数量。
Loop Transformer则把其中一部分层或整个模型块做成“可重复使用的计算单元”，让隐藏状态在同一套参数上循环多轮。
可以用一个简单类比理解：传统模型像把工件依次交给一排工人，每个人只加工一次；循环模型则像把工件反复送回同一组工人，让他们不断检查、修正和细化。这样，模型的“有效深度”不再完全等于物理层数。即使参数没有同比增加，也能通过多次迭代完成更复杂的变换。
Loopie、SMELT等工作，说明循环并不只是理论上的节省参数。Loopie采用逐层循环，在实测训练步时匹配的条件下超过了同算力的前馈基线；SMELT进一步同时对齐FLOPs、非嵌入参数量和KV Cache，发现中间层循环2次是较优配置，并可节省约6.8%—18.0%的训练算力。换言之，循环深度可以成为一种独立于“加层、加宽”的效率维度。
二、什么是潜空间推理
潜空间是模型内部由高维连续向量构成的表示空间。词语、句法、语义和上下文关系，都会在模型内部被编码成隐藏状态。潜空间推理的核心想法是：中间推理不一定要写成文字，模型可以直接在这些隐藏状态上继续计算，最后再输出答案。
显式CoT是在离散语言空间中推理。它可读、易检查，但每个词元承载的信息有限，而且大量文字只是为了保持语法通顺。材料中给出一个直观比较：显式CoT中每个token大约携带15 bits，而潜在推理的一步可对应约40960 bits，带宽提升了2700多倍。连续向量还可以同时保留多个候选方向，近似形成“叠加态”，让模型先并行探索，再延迟决策。
COCONUT是这一方向的典型代表。它把模型最后一层隐藏状态直接反馈为下一步输入，并通过特殊标记在“语言模式”和“隐空间模式”之间切换。训练时先使用标准CoT，再逐步用连续思维向量替换文本推理步骤，最终让模型完成静默思考。其价值不只是少输出一些文字，而是有机会避免显式CoT中“前面选错、后面无法回头”的问题。
三、相对传统Transformer和CoT的优势
相对于传统Transformer，Loop Transformer的主要优势是参数复用和深度可控。增加层数会同时增加参数、存储和部分推理开销；循环结构则用同一套参数进行多轮加工，让模型在较小参数规模下获得更深的计算路径。更重要的是，循环次数原则上可以调节：简单样本少循环，困难样本多循环，从而把算力花在真正需要的地方。
相对于显式CoT，潜空间推理的优势首先体现在效率。显式CoT若有N个推理词元，通常需要N次自回归解码；潜空间方法可以把多个中间步骤压缩到少量连续表示中，再由循环结构反复细化。
其次，它减少了“为给人看而生成”的语言负担，模型不必把每个模糊、不确定的中间状态都强行写成一个词。最后，连续表示能够保留多条候选路径，尤其适合需要规划、回溯和多分支比较的任务。
不过，这些优势是有代价的。显式CoT虽然慢，却天然具有可读性；潜空间推理虽然紧凑，却难以直接审查。Loop Transformer虽然节省参数，却引入了训练稳定性和停机策略等新问题。因此，两者更适合被看作对现有范式的补充，而不是简单替代。
四、两者结合为什么更有潜力
Loop Transformer解决的是“算力如何重复利用”，潜空间推理解决的是“中间信息放在哪里”。把它们组合起来，就相当于给模型提供一个高密度、可反复加工的内在工作台：连续向量负责承载尚未决定的推理状态，循环模块负责一轮轮打磨这些状态。
LOTUS可以说明这种结合方式。它在问题和答案之间插入K个隐式块，每个块包含若干可学习的latent token，并用特殊标记界定思考区域。训练时先对问题做一次前向并复用KV Cache，再对隐式块循环R次；一方面让循环后的隐状态对齐标准CoT步骤，另一方面仍然用答案预测约束最终输出。这样，模型不需要把每一步都说出来，却仍然能从显式推理数据中学习“应该怎样想”。
结合后的收益是多方面的。第一，潜空间减少了串行解码长度，循环结构提供必要的计算深度。第二，参数共享降低了模型规模压力，连续状态又保留了比单个词元更丰富的信息。第三，循环次数和潜在token数量都可以成为“计算预算”的调节旋钮。材料中LOTUS在Llama-3.2-3B上把隐式推理与显式CoT的差距压缩到很小，并显著减少思考阶段的串行前向次数，正体现了这种互补性。
此外，混合路线可能更接近实际应用。LT-Tuning通过置信度判断何时插入潜在token，SeLaR则只在高不确定性的位置启用软嵌入。这提示我们：未来的模型未必完全沉默，而可能在简单处直接回答，在困难处进入潜空间循环，必要时再输出一段可读的显式解释。
五、训练中的关键技术难点
第一是监督信号不足。显式CoT有文字可以作为目标，潜在思考却没有天然标准答案。若只用最终答案训练，模型可能学会“猜对”，却无法保证中间循环真的在推理。LOTUS用标准CoT步骤监督隐状态，LoopMTP则利用未来token的嵌入为每一轮循环提供软监督；这些方法的共同目的，都是把监督从最终答案下沉到中间过程。
第二是训练稳定性。循环结构多次访问同一组参数，梯度也会在多次访问之间累积。DeepLoop指出，传统深度归一化中适用于独立层的残差缩放规则，在循环模型中可能失效，需要把缩放指数从1/4提高到1/2。也就是说，循环模型不能简单照搬普通Transformer的训练配方。
第三是“循环遗忘”。如果每一轮只把最新隐藏状态传给下一轮，早先迭代得到的中间结论可能被覆盖。RecurTrace引入沿循环时间轴的注意力，让当前轮次可以回看历史状态；LoopMTP使用门控聚合保留各轮有用信息。它们都在解决同一个问题：循环不仅要算得多，还要记得住。
第四是算力分配。固定循环次数会造成简单题过度思考，也可能让难题思考不足。随机深度训练、逐token不动点检测、Oracle停机头等方法，都是为了让模型学会“何时停止”。这也是循环架构走向实用的关键：没有自适应停机，参数节省可能被无差别循环抵消。
第五是可解释性与评估。潜在向量不能直接读成自然语言，出错时更难定位原因；即使能通过LM头把隐状态投影回文本，也不能完全证明该文本就是模型真实的内部过程。同时，许多结果仍集中在数学或逻辑任务，隐块数量、块宽和循环次数等超参数往往固定，跨任务泛化仍需进一步验证。
结语
Loop Transformer与潜空间推理共同指向一个方向：把推理从“逐字展开”转向“内部计算”。前者提供可重复、可调节的计算深度，后者提供高密度、低冗余的中间表示。二者结合，有望在保持答案质量的同时降低推理成本，并为多模态、工具调用和智能体任务提供更灵活的内部工作台。
但它还不会立刻取代传统Transformer和显式CoT。可读性、稳定训练、动态停机、中间过程监督以及统一评测，仍是必须解决的问题。更可能的路径是混合式架构：模型在语言空间中与人交流，在潜空间中完成高带宽思考，并根据任务难度决定循环多深、解释多少。
