当我们在使用编程AI工具时，是否曾经思考过，AI究竟是如何生成这些代码的？这不仅仅是一个技术问题，更是关于如何让机器真正理解人类意图的一种深刻思考。在AI集成开发环境（IDE）领域，Cursor显然处于领先地位。尽管我们知道Cursor正在训练自己的小型模型，但背后究竟蕴含着怎样的设计与思考，一直是个谜。
最近，Cursor团队发布了一个近1小时的内部讨论视频，详细分析了他们的技术应用与思考，给我们提供了一个宝贵的机会，深入了解他们如何塑造编程AI的未来。视频中的讨论揭示了当前编程AI领域最前沿的挑战与突破方向。Cursor团队正在攻克的技术难题，比我们想象的要复杂得多，涉及从强化学习的稀疏奖励到长上下文的处理、从多步骤工具调用到实时用户反馈等各个方面。通过他们的对话，我们不难发现，AI编程能力正在经历质变的临界点。
训练编程AI的复杂性
首先，我们要认识到，训练编程AI所面临的挑战，远比我们想象的要复杂。Cursor团队指出，编程领域的强化学习与其他领域（如数学推理或写作）有着根本性的差异。在数学推理中，答案通常较短，推理过程可以帮助模型逐步接近正确答案。但在编程中，推理本身就嵌入在代码中——代码不仅是思考过程的一部分，还是最终结果。
更为复杂的是，编程任务往往需要多个步骤的工具调用。例如，编程任务不像简单的生成任务那样直接输出结果，而是需要生成一部分代码，调用工具获取响应，之后可能需要多次迭代。这种多步骤的任务使得强化学习的应用发生了根本性变化，必须优化整个多步骤的工具调用过程，而不仅仅是单一的输出。
无明确反馈信号的强化学习
在传统的强化学习中，模型通过明确的奖励信号进行训练。然而，编程领域的问题常常没有直接的反馈信号。例如，尽管数学问题有标准答案，编程问题也可以通过测试验证，但实际应用中，用户往往并不会直接告诉系统某个解决方案是否有效。这种缺乏明确反馈的情况，增加了强化学习的难度。
Cursor团队提出了一个有趣的想法——在编程中，为什么要让模型预测下一个词，而不直接预测整个章节的内容？如果模型能够根据当前章节来预测下一章节，并且通过相似性度量评估预测与真实章节的相似度，那么就能将传统的“下一个词预测”问题转化为更长序列的预测，并借助语义奖励进行优化。
编程与写作的本质差异
编程与写作之间存在关键的差异。在写作中，质量的评价往往因人而异，即使是经验丰富的专家，也可能对同一篇文章有完全不同的评价。但在编程中，代码质量有相对客观的标准，尤其是在功能正确性上。通过测试验证代码能否正确运行，虽然能保证基本功能，但要进一步提升代码质量就变得非常困难，因为测试标准无法捕捉到为了通过测试而采取的具体方法。
强化学习与测试的结合
对于测试作为奖励信号的使用，Cursor团队表示既认可又谨慎。测试的优势显而易见，特别是在测试覆盖全面的情况下，可以提供可靠的反馈信号。然而，测试并无法捕捉到所有重要的方面，因此，团队探索了其他奖励机制，比如使用真实变更的对比数据（例如，某个功能变更的真实diff）。这种信号虽然不完美，
但是可以作为验证信号的有用信息。团队还提到了一个有趣的现象，那就是模型实际上看到的不是原始奖励，而是优势值，也就是相对奖励。通常情况下，如果任务太困难模型只能在一千次尝试中成功一次；那么稀疏奖励就会成为真正的问题。如果成功率能达到百分之一或者稍高一些，那么这个信号就是可以使用的，而对于大任务的分解：比如完整的 Pull Request，除非投入大量的计算资源，否则会非常困难而且稀疏。因为以目前模型的能力水平很少能够通过完整PR的所有测试。但是如果能够将完整的 PR 分解为更小的部分，并且对每个部分进行测试，可能就会减少奖励稀疏，从而给模型带来显著的性能改进。
工具选择与强化学习的适配
在谈到工具选择时，Cursor团队提到，不同的实验室会根据不同的需求选择不同的工具集。比如，OpenAI的o3模型主要优化了终端命令工具，简化了开发过程，而Claude模型则偏向于围绕搜索和编辑设计。Cursor团队选择终端工具的主要原因是其简单性，使用者只需要提供shell的访问权限，就能高效地完成任务。
然而，团队也指出，在核心工具集的基础上，工具的选择和使用还可以做得更好。例如，Linter工具能够提供丰富的信号，但它的使用需要运行语言服务器，这对资源的要求较高。幸运的是，Cursor预装了语言服务器扩展，可以让用户轻松地获取像Linter这样的工具信号。
长上下文与跨文档注意力
Cursor团队还深入探讨了长上下文处理的挑战。他们指出，虽然当前大多数模型都将上下文限制在8K tokens以内，但随着模型的发展，长上下文窗口将成为未来的重要趋势。为了更好地处理长上下文，他们提到了一种新颖的“文档级注意力”方法（也称为“章鱼注意力”），它允许每个文档独立关注自己，并在全局范围内进行整合。这种方法不仅提高了推理效率，还能够帮助模型在处理大规模文档时提高性能。
真实世界与强化学习
在讨论真实世界应用时，Cursor团队强调了当前强化学习方法的一个局限性：大多数强化学习模型仅仅关注测试用例，而忽视了模型在真实世界应用中的表现。为了获得更加真实的奖励信号，团队提出通过观察用户实际的编辑行为来训练奖励模型。这种方法能够帮助模型更好地理解人类需求，并为其提供更为精确的训练信号。
未来展望：AI辅助编程的新时代
总的来说，Cursor团队的讨论为我们勾画了一个更加智能的编程AI未来图景。未来的编程AI不仅能够理解当前的任务需求，还能够从历史经验中学习，并逐步建立对代码库的深入理解。随着技术的进步，AI将能够高效地重用之前的知识，并帮助开发者专注于更高层次的设计与创意工作，而将具体的实现细节交给AI来处理。
我们正站在编程范式转型的临界点上，逐步从手动编写每一行代码、不断调试和反复测试的模式，过渡到AI辅助的协作编程模式。在这种新模式下，AI将成为开发者的得力助手，帮助他们提高生产力，专注于更具创造性的工作。未来的编程AI将会变得更聪明，能理解上下文、学习代码偏好并持续改进。
这是我们每个开发者所期待的编程新时代吗？
