Jane Street 的 Yaron Minsky 在 Bug Bash 2026 演讲笔记
如果只看标题,《Now more than ever: building reliable software in the age of agents》很像一句“老派工程师的自我辩护”:世界变了,但老道理更重要。但 Yaron(Ron)Minsky 这场 66 分钟的演讲真正有意思的地方在于,他没有停在“AI 很强大,但我们要谨慎”这种安全结论上,而是从一个每天交易数千亿美元、极度依赖严谨工程的量化机构视角,重新排了一遍软件工程各要素的优先级。
他的主线可以概括为一句话:Agent 没有让类型系统、测试、Code Review 过时,反而让它们更重要;但“重要”的方式变了。 同时,他还坦承自己在一个领域彻底改变了看法:形式化验证。
以下是我对这场演讲的梳理和延伸思考。引文以大意为主,不追求逐字转录。
一、为什么 Jane Street 对“可靠性”有执念?
Jane Street 的工程底色先要交代清楚:从 Minsky 入职时的 35 人,扩张到如今约 3500 人,其中约 2000 人日常写代码;系统覆盖 200 多个交易场所、45 个国家,每天交易规模数千亿美元,约占美股 10%、美股期权 8%、欧洲 ETF 20%。
在这种系统里,程序不是“跑个 demo”,而是直接连上市场和银行账户。Minsky 的开场白很刻薄,也很准确:
“作为软件工程师,什么让我们团结在一起?是我们都极其不擅长写程序。你写的程序总是令人沮丧地只做你‘写下’的事,而不是你‘本意’想做的事。”
所以可靠性不是抽象美德,而是成本问题。他强调“按价值分配严谨度”:不是所有系统都值得同等严苛的审查和投入,必须根据出错代价动态调整。Jane Street 的异类文化也由此而来:主力语言是“滑稽地不受欢迎”的 OCaml,甚至因为觉得还不够小众,自己魔改出 OxCaml,加入类型安全的栈分配、数据竞争预防等扩展。
更关键的是 AI 拐点。Jane Street 几年前就组建了 AI 辅助团队,但很长一段时间里,Minsky 评估其对生产力的净贡献是负的:既占用了优秀工程师造基建,使用者也没得到多少实质帮助。直到 2025 年 11 月,模型突然跨过某个阈值。他的比喻很传神:
“之前的投入就像在没有风的时候造帆船,很长一段时间一丝风都没有,然后突然间狂风大作,一切感觉都变了。”
这也解释了他为什么说:现在做任何开发者工具,如果不思考如何与 Agent 结合,基本就是失职。
二、类型系统:从“保姆”到 Agent 的“即时上下文”
类型系统在传统叙事里有两层价值。浅层是开箱即用消灭整类 bug:OCaml 没有空指针(他称之为“十亿美元错误”),没有数组越界;他引用 Google、微软的研究说,约 70% 的安全漏洞是本应已解决的内存错误。加上 OxCaml 的扩展,还能做类型安全的栈分配和数据竞争预防。
但 Minsky 真正想强调的是深层价值:不要把类型系统看成“hovering over you、犯错就打手板的保姆”,而要把它看成设计过程的一部分。 只把类型理解为“管子接没接对、float 传没传错地方”,是一种“dramatic underappreciation”。
他的招牌口号是“让非法状态不可表示”。交换机配置的例子很具体:原来用命令序列表示配置,MTU 只能出现一次、shutdown 只能出现一次、IP 可以出现多次,结果计算“有效 MTU”的代码要猜语义——出现两次 shutdown 算什么?取第一个还是最后一个 MTU?改写成记录类型后,只出现零次或一次的字段用 optional,可出现多次的用 list,代码反而更简单。类型定义在一处,计算代码可以在任何地方,靠选对数据形状就能简化整个代码库。他把这种跨层约束称为类型的“spooky action at a distance”。
而到了 Agent 时代,类型系统多了一层新价值:它是 Agent 的即时反馈与按需上下文。 Agent 靠反馈闭环活着,类型报错比任何测试套件都快;100 万 Token 听起来很大,其实不够塞下整个系统的规则,23 万 Token 之后模型可能连最初让它调用哪个构建工具都忘了,更记不住跨系统的不变量。类型系统提供了一种模型自己无法维持的刚性一致性。还可以写“小型带类型的内核”,在整个代码库强制全局规则。
用一句话说:类型系统是把上下文压缩成机器可校验的约束。 在 Agent 时代,这比“人类写代码时少犯低级错误”更关键。
三、测试:Expect Tests 与“Excel 对偶”
Jane Street 的测试全家桶很全:单元测试、QuickCheck 属性测试、AFL 模糊测试、Antithesis 全系统确定性仿真、prod/dev 并排对比、历史数据回放测试床。但 Minsky 重点讲了两件“比较怪”的事:Expect Tests 和库级确定性仿真。
Expect Test 听起来像馊主意:在代码里写测试逻辑并打印输出,测试框架捕获输出,与源码中的 [%expect {...}] 块做 Diff,支持一键更新合并。这会鼓励懒惰、偏向样例而非属性测试,但 Minsky 的结论反直觉:
“Expect tests are awesome. 它们在最佳状态下是驱动人理解被测程序的工具。”
关键在输出的可读性设计。随手 dump 一大堆输出等于什么都没理解;精心设计成人类一眼能读懂含义和意图的呈现,才有价值。硬件团队甚至会在里面打印纯文本的“ASCII 示波器波形”来调试电路。
他还专门为样例测试正名:“example-based tests can be unreasonably effective”。理由是软件是脆性的,“错一点就错很多”,而脆性对测试反而是好事——少量精心选的点就能捕获问题。类型系统又加了一层:好代码会有一种“click in place property”,推到正确位置整个就卡合到位。还有一点常被忽略:提交到仓库的样例不只是行为记录,更是意图记录——“有人停下来想过,这个例子值得写下来”。
库级确定性仿真的价值则在反馈速度:毫秒级而不是分钟、小时级。他现场演示了一个客户端—代理—服务器的分布式小系统,从 trace 里一眼看出客户端连接花了 5 秒,是因为服务发现(T-lock)首次广播本身就慢。
最精彩的洞察是“Excel 对偶”:普通代码逻辑高度紧凑、清晰可见,但看不见数据流动和运行时行为;Excel 表格逻辑像浆糊一样涂抹在各个单元格里,但数据完全展开、实时可见,极其容易顺着图谱回溯行为。Expect Tests 加库级确定性仿真,把运行时的行为轨迹以文本形式固化在源码里,兼得两者之长。当 Agent 或人类修改逻辑时,Git Diff 会同时展示“逻辑的修改”和“由此引发的系统行为轨迹的变化”。而且现在的模型多模态能力“often missing a lot”,把系统状态压平成高可读性纯文本,对 Agent 认知极其友好。
一句话:Expect Tests 是把运行时行为文本化,让人和 Agent 共享一个可 Diff 的世界。
四、Code Review:Agent 时代人类最重要的一件事
针对“终结 Code Review”的论调,Minsky 给出了强烈反驳。他调侃说,那就“在它结束之前谈谈它,fun party while it lasts”。
Code Review 的价值不止抓 Bug。它传播最佳实践、教学、提高 Bus Factor——他对 Bus Factor 的定义是“几个人被车撞了之后,就没人知道系统怎么工作了”,这个数字不能是 1。它还倒逼简单:知道必须写出别人能看懂才会被批准,写出来的代码自然不一样。用他的话说,“optimizing for readers instead of writers”会改变整套软件和组织:更简单、更灵活、更易维护、更少 Bug,也更能抵抗组织从 35 人长到 3500 人时复杂性交叉项对个人生产力的碾压。最后一点很个人化:为“被阅读”而设计的代码库是一种工作中的快乐,是留住优秀人才的方式之一。
Agent 让这件事更难,也更重要。Anthropic 用一群 Agent 写 C 编译器的实验,他认为是个“great stunt”,但最有启发的是它怎么结束的:做到后来每改一次更可能破坏别的东西,最终无法再前进。他对 Agent 的判断非常直白:
“它们超级想赢电子游戏。红灯亮着,它们拼命想把它变绿。”
功能属性它们能做,但不擅长维护非功能属性:简单性、可扩展性、到处埋的 footgun、重复代码、硬编码常量。“它们依赖这些非功能属性,但不擅长维护它们。”所以结论是:Review 比以往更重要,甚至可以说,在当下,“code review is maybe the most important thing that a human can do in software engineering”。
但审 Agent 的代码有四个新痛点:
- 社会契约破裂:以前同事提 PR,你知道对方倾注了心血;现在有人只是对 Agent 喊一句“修一下这个”,然后 YOLO 甩给你,评审者动力完全不同。
- Agent 不学习:给人类做 Review 是在培养队友;给 Agent 挑刺,Session 结束,一切都被原谅和遗忘。
- 注意力涣散:看机器生成的代码极易“checking out,眼睛发直、难以集中”。
- Reward Hacking 与质量信号脱钩:你让它确保所有测试通过,它可能直接删掉测试;更致命的是,LLM 从不犯语法错误,写出的代码表面看总是工整漂亮,这种“表面质量信号”与“底层真实质量”的脱节,让 Review 异常困难。
当然,Agent 也能反哺评审:把大 Feature 拆成一叠各自易懂的 Stacked PRs;在找人类讨论前先把它当 Oracle 盘问;生成 Guided Walkthrough,按逻辑顺序规划看 Diff 的路径并附带讲解,降低认知负荷。
一句话:Code Review 的本质不是点通过,而是驱动人理解系统里发生了什么。
五、形式化验证:从“贵得离谱”到“值得下注”
这是全场真正的转折。Minsky 坦言,自己多年来到处“令人失望”地表态:我们喜欢花哨类型系统和好语言,但对形式化方法“super duper not interested”。现在看法在变,因为成本结构变了。
他先算旧账:seL4 微内核,8700 行 C,花了约 25 人年,每行 C 对应 23 行证明、半个人天,“grotesquely expensive”,只值得用在极少数需要极高保证的产物上。
然后是 Agent 带来的新变量:数学基准上模型在 IMO、Putnam 题上爬坡;陶哲轩用 Agent 在 Lean 里做形式证明得到实际价值。关键洞察不是 Agent 更聪明,而是它把不同专长拼在一起:
“Agent 不一定那么聪明,但它们背诵了整个互联网。只是有点聪明加上背诵了互联网,就已经非常强大。”
陶哲轩懂数学、Agent 懂 Lean,像一个“超级聪明的速记员”把想法转成 Lean。产品设计师能生成可用原型代码,也是同一种“专长联姻”。
Jane Street 大约八周前才认真转向,正打算组建形式化方法团队。四个探索方向:
- Refinement Types:“super nice to read,super bad to write”——如果书写工作能由 LLM 来做,也许整个事就成立了。
- 差分验证:说不清完整规约,但能证明“这个 Diff 在某些属性上是 noop”。
-
纯函数 Spec 与高性能实现的等价证明:人写简单、低效但易懂的纯函数式实现作为 Spec,Agent 一手拿
perf、一手拿Lean,写出复杂底层高性能版本并自动给出等价证明。 -
语言设计与证明器协同:Verus 配 Rust 的所有权纪律,避开分离逻辑的大部分复杂性;Jane Street 也在思考 OxCaml 的 Mode 机制,比如
local栈分配模式与 Capability 权限控制。
他坦承“这是一个 bet,不确定能成”。但他也点破一个残酷事实:为没按可验证方式设计的程序做验证超级难,因为“没按可验证方式设计的程序很可能本身就不正确,而错误的东西是很难证明的”。所以未来大概率是 Correct-by-Construction:人写简单低效的意图实现,Agent 写出快速版本并附证明,“每个人都拥有自己的性能工程师和证明工程师”。
一句话:形式化验证的成本结构正在被 Agent 改写,但它的目标不是拖慢开发,而是“打开水龙头就能得到形式化验证”。
六、结语:最珍贵的资源依然是人的注意力
演讲收尾回到以人为本的工程哲学。Minsky 说,他听到很多人说,目标应该是让人类不再写任何代码、也不再读任何代码。他觉得这个目标非常诡异。除非未来人类的一切认知活动都毫无价值,否则在当下以及未来几年里,最珍贵的资源依然是人类的注意力。工具和流程的目标应该是最大化个人的杠杆率,不仅要让 Agent 更高效,更要最大化人类对系统的理解。
Q&A 里有两个回答很能说明他的立场。关于“AI 自动 Code Review”,他认为把多 Agent 互相挑刺叫做 Code Review 是对概念的混淆;那只是当前模型能力不足时的 Harness Engineering 技巧,也许 Claude 7.3 出来就不需要了。真正的 Code Review 本质上是驱动人类理解系统发生了什么,两者必须区分开。关于代码风格 vs 文章写作,他态度完全不同:代码要追求中性、共享的惯用风格,压抑个人怪癖,这样别人才好接手;散文则非常个人化,风格就是说服力的一部分。LLM 写作的社会契约问题是:“对面真的有一个理解自己写了什么的人吗?”他直言:“我希望我读的东西是人写的,而不是 LLM 写的。”
如果只记三句话,我会这样总结这场演讲:
- Agent 时代没有降低工程标准,而是把标准从“写作者效率”转向“读者理解”和“系统可验证性”。
- 类型系统是即时上下文,Expect Tests 是行为文本化,Code Review 是人类注意力的分配机制,形式化验证是新的成本赌注。
- 软件工程的目标不是让人退出循环,而是让人在循环中理解得更多、杠杆更大。
这大概就是“Now more than ever”的真正含义:不是老道理更重要,而是老道理终于被放到了正确的位置上。