来自查佩尔山、Google Cloud AI Research 和 Google DeepMind 的研究人员推出了一项名为逆向增强思维（REVTINK）的创新框架。这项技术的独特之处在于它首次将反向推理直接嵌入到了大型语言模型（LLMs）的训练过程中，而不是仅仅作为事后验证工具。这一进展有望显著提升AI系统的推理能力，使之更强大、更高效地处理复杂问题。对于关注AI领域的人来说，这无疑是一个激动人心的消息。
什么是逆向增强思维（REVTINK）
REVTINK的核心理念是通过让机器学习算法同时掌握正向和反向推理技巧，从而提高其解决问题的能力。传统的AI系统通常只专注于从给定的信息中得出结论（即正向推理），而忽略了如何从目标出发倒推所需条件（即反向推理）。但是，在许多实际应用场景中，反向推理同样重要，例如在法律分析、数学证明以及策略规划等领域。
REVTINK的工作原理
为了实现这一点，研究团队设计了一种特殊的训练机制，使得LLMs能够在每次迭代时既进行正向预测也进行反向验证。这意味着当模型尝试根据输入生成输出时，它也会考虑“如果我希望得到这个特定的结果，那么前提条件应该是什么？”这样的问题。通过这种方式，LLMs学会了更加全面地思考，并能更好地应对那些需要双向逻辑推理的任务。
这种新型的训练方法可能会对未来的人工智能发展产生深远影响。首先，它提高了AI系统的灵活性和适应性，使其能够处理更加多样化的问题类型。其次，由于REVTINK强调了理解和应用因果关系的重要性，因此可以预见，未来的AI将会变得更加可靠且具有更强的解释性。这对于医疗诊断、金融风险评估等高度依赖准确性和透明度的应用场景尤为重要。
REVTINK框架具体通过以下两个主要阶段实现：
1. 数据增强：首先，使用一个更大的、更有能力的教学模型来增强数据集。通常，推理基准数据包括问题和答案。REVTINK通过少量提示从教学模型生成（1）正向推理，（2）反向问题，和（3）反向推理，从而扩展了这些数据。
2. 学生模型学习：在数据增强之后，REVTINK提出了三个关键的学习目标来训练一个更小的学生模型。具体来说，学生模型学习（1）从问题生成正确的正向推理，（2）从原始问题生成反向问题，以及（3）从反向问题生成反向推理。
这种方法的动机是三方面的：首先，从问题生成正确的推理是知识蒸馏的标准方法；其次，产生反向问题鼓励学生模型“思考”如何反转问题并确定要问的正确问题；最后，解决反向问题加强了学生模型的反向推理能力。
在测试时，学生模型被提示问题，并仅生成正向推理，类似于标准的零样本推理。本质上，REVTINK在训练期间内化了反向推理的能力，同时保持了测试时计算的高效性，与零样本方法一样。
实验结果表明，REVTINK在涵盖常识、数学和逻辑推理的12个数据集上平均提高了学生模型零样本性能的13.53%，并且比最强的知识蒸馏基线提高了6.84%。此外，该方法展示了样本效率——仅使用训练数据中10%的正确正向推理，它就超过了在10倍多的正向推理上训练的标准微调方法。
REVTINK还展示了对分布外的保留数据集的强大泛化能力。
这个框架的目标是创建一个更强大、更高效的推理过程，可以用于为各种任务生成答案。通过整合正向和反向推理，REVTINK旨在提高大型语言模型的推理能力，使其在处理复杂问题时更加有效和准确。
