摘要
AI 把「写代码」的边际成本压到近乎为零,却没有提升人阅读、消化、接纳代码的速度。当实现产出持续超过人的理解带宽,代码就从事物变成了黑盒:没人看、看不完、也不敢改。本文提出「饱和式测试」——不再按成本精选少量测试,而是让 AI 海量生成单元、集成、用例与 E2E/UI 测试,用行为的稠密可观测性,替代对实现的可理解性。其灵感来自芯片质检:数十亿晶体管无需被人「看懂」,仅靠外部激励与响应比对即可完成验收。核心机制是「测试用例 ↔ E2E/UI 脚本」一对一绑定,人守住规格意图,机器负责穷举与自愈。
一、问题的起点:写变便宜了,懂没有
传统软件质量有一组默认前提:代码由人写、量级在人可审阅的范围内、因此 code review 能兜住语义偏差、业务规则活在开发者脑子里。AI 辅助研发把第一条打破了。
研发阶段的代码产出速度陡增,而人的理解能力、业务接受能力是生物带宽,基本没变。于是出现一个结构性错配:
生成速率 ↑↑ ≫ 理解速率 → 未被阅读的代码持续堆积 → 系统退化为黑盒
此时的风险不再主要是「写错」,而是「写出来了,但没人知道它到底做了什么、为什么这么做、改一处会塌哪里」。质量的瓶颈从实现能力转移到了认知带宽。继续要求「人把代码看一遍」,既不经济,也已经不现实。
真正该问的不是「怎么让人看得更快」,而是:如果注定不看代码,还能不能判定它是对的?
二、芯片给的启示:不打开黑盒,也能验收黑盒
买芯片时我们常听说某批次有缺陷、某型号被筛掉。可一片指甲盖大小的硅片里是数十亿晶体管、多层布线,没有人靠「看版图、读逻辑」来质检。它靠的是扫描链、内建自测试、边界扫描、自动测试设备施加的测试向量、故障模型与覆盖率收敛——施加激励 → 采集响应 → 与规格比对。
整个过程不依赖对内部结构的理解,只依赖两样东西:规格是明确的,外部是可观测的。
把这套思路平移到软件,会得到一次视角反转:
| 旧范式 | 饱和式测试 |
|---|---|
| 人读懂代码 → 判断正确性 | 人守住规格 → 机器比对行为 |
| 测试是验证的附属环节 | 测试是系统的可观测界面 |
| 覆盖率衡量「代码走过多少」 | 覆盖率衡量「规格被断言了多少」 |
| 理解是质量的前提 | 可观测性替代可理解性 |
代码可以是黑盒。规格不能是。
三、定义与三条公理
饱和式测试:在 AI 使测试的生成与维护成本趋近于零的前提下,放弃「按性价比精选用例」,改为按覆盖饱和度持续增殖测试,直到系统行为被用例稠密包裹;每一个逃逸缺陷都被强制转化为新的覆盖,而非一次性修复。
它包含三个维度的饱和:
- 层次饱和——单元、集成、契约、E2E、UI 全层都写,不因顶层昂贵就跳过。
- 用例饱和——正常流、边界、异常、状态迁移、组合路径、同构变体批量铺开。
- 反馈饱和——漏一个,补一片;缺陷是覆盖缺口的报告,不是待办事项。
支撑它的三条公理:
公理一 · 可观测性替代可理解性
只要能施加输入并比对输出与规格,就不必理解内部实现。
公理二 · 意图优先于实现
测试用例是「源」,自动化脚本是「派生」。人裁决意图,机器修改实现。
公理三 · 意图锁
AI 可以改脚本,不得自动改写预期。若让生成方顺手把预期改成当前行为,测试便退化为自证,绿灯失去全部意义。用例段的变更必须经人确认。
第三条是整套体系的生死线,后面第五节会看到它如何落地。
关于「最贵的 E2E/UI 也能大量覆盖」
这看似违背测试金字塔,其实是约束条件变了。金字塔是编写成本约束下的最优解:E2E 由人写、人维护、脆弱易碎,所以顶层必须稀缺。AI 改变的是成本结构——脚本的生成与修复变便宜了,真正剩下的成本是运行时(浏览器、环境、时长)。于是策略不再是「少写顶层」,而是「大量生成顶层 + 分层调度执行」:单元与集成全量高频,E2E/UI 按变更影响面增量触发、定时全量兜底,用并行、分片、环境池摊薄执行开销。
不是推翻金字塔,是把被成本压扁的顶层重新填满。
形式化速写
设规格点集合为 ,测试集合为
,
为被行为断言覆盖的规格点。定义区域饱和为:新增
带来的新增缺陷发现趋于 0,且
收敛。缺陷逃逸
必须满足映射
——没有补测试的修复,不算修复完成。
四、缺陷驱动的闭环:把「为什么会漏」变成第一反应
出问题时,传统反射是「人去读代码、定位、改掉」,补测试常常排在最后,甚至被跳过。饱和式测试要求把反射顺序整个倒过来,先让 AI 回答四问:
- 为什么会出来? —— 根因归类,是规格缺失、实现偏差,还是环境/状态问题。
- 哪一层本该拦住却没拦住? —— 防线定位:单元没断言?集成没覆盖组合?E2E 没走这条流?
- 有没有类似的? —— 同构模式搜索,批量排查同类路径,而不是只修这一个点。
- 要补哪些用例与脚本? —— 增殖,并把结果回灌到绑定文件。
于是每个缺陷都被当作一份覆盖缺口报告。收敛判据也随之改变:
- 同类缺陷不再复现 → 该区域饱和度提升;
- 同类缺陷反复出现 → 说明覆盖有洞,或意图锁被绕过(预期被悄悄改成了现状)。
度量上,行覆盖率退居次要,主指标换成:规格点覆盖率、缺陷逃逸率、缺陷→测试转化率、同构复发率、用例-脚本绑定率、脚本自愈成功率。
五、核心机制:用例与 E2E/UI 脚本一对一绑定
这是整套理论最关键的工程装置。最昂贵的资产不能是一堆没人知道为何而写的选择器,它必须挂在一个可解释的锚点上。
同一文件、同一 ID、同一生命周期:
【TC-ORDER-017】已取消订单不可再次支付
规则来源:订单状态机 v3 / 业务确认 2026-10
前置:订单处于 CANCELLED,用户已登录
步骤:进入订单详情 → 点击「去支付」
预期:支付按钮不可用;直接调用支付接口返回 409 + STATE_CONFLICT
断言点:按钮态 / 接口态(双观测)
── 对应 E2E / UI 脚本 ──
test('TC-ORDER-017', async ({ page, request }) => {
await seedOrder({ id: 'O-17', status: 'CANCELLED' });
await page.goto('/orders/O-17');
await expect(page.getByRole('button', { name: '去支付' })).toBeDisabled();
const res = await request.post('/api/pay', { data: { orderId: 'O-17' } });
expect(res.status()).toBe(409);
expect(await res.json()).toMatchObject({ code: 'STATE_CONFLICT' });
});
前半段是意图,后半段是意图的可执行契约。这样绑定带来三件事:
- 消除「用例文档」与「自动化脚本」两张皮:不再有脚本漂移、不再有「这脚本测的是哪条需求」的考古。
- 变更时方向明确:流程一变 → 让 LLM 读用例、改脚本。它依据的是业务规则,不是从 DOM 结构反推业务,也不是去啃黑盒代码。
- 意图锁天然可实施:脚本段对 AI 可写,用例段为只读;只有人能改「预期」。AI 若发现脚本与预期对不上,正确动作是报冲突,不是把预期抹平。
由此得到全文最重要的一句话:人放弃对实现的阅读,保留对意图的裁决权。人的有限带宽不再消耗在「这几千行到底干了啥」,而是全部押在「系统应该怎样」上——这恰恰是机器最不该替人决定的部分。
六、实现路径
1 · 规格层|固化唯一真相源
把业务需求整理成结构化用例:ID、规则来源、前置、步骤、预期、断言点。这一步必须由人/业务确认,是整套体系里唯一不可自动化的输入。
2 · 生成层|由用例派生全层测试
AI 从同一份用例批量派生单元测试、集成测试、契约测试与 E2E/UI 脚本,全部回写进同一文件、同一 ID。禁止「先写脚本、后补文档」的反向生成。
3 · 执行层|按成本分层调度
单元/集成全量高频;E2E/UI 按变更影响面增量执行 + 定时全量。饱和度体现在资产数量,不体现在每次全跑——贵的是执行,不是拥有。
4 · 维护层|以意图为准自愈
流程或 UI 变更 → LLM 读取用例段 → 只改脚本段 → 差异评审聚焦「预期有没有被动过」。选择器重构、等待策略、路径调整全部交给机器。
5 · 逃逸层|四问闭环
缺陷 → 四问 → 补用例 + 补脚本 + 同构扫描 → 回归。缺陷单不闭环,除非关联的 已合入。
6 · 度量层|盯饱和而非盯行数
用规格点覆盖、逃逸率、转化率、同构复发率、绑定率判断体系是否健康;某个区域 不再带来新发现时,停止增殖,把算力挪到稀疏区。
七、边界与代价
一套理论要站得住,得先说清自己管不了什么。
- 测不出没被写进规格的东西。未知需求、体验优劣、价值判断、审美与取舍,仍然只能由人承担。饱和式测试覆盖的是「已知意图」,不是「应该有的意图」。
- Oracle 问题不会消失。若预期由生成代码的同一个模型顺手产出,就会形成自证循环。公理三的意图锁是对它的唯一防线,不能省。
- 运行时成本真实存在。大量覆盖 ≠ 每次全量;靠调度、增量、并行来消化,而不是靠事后删用例。
- 测试自身也会变成新的黑盒。海量生成物同样没人读,所以需要元约束:用例可审查、绑定率强制为 1、脚本自愈留差异记录、定期对测试集本身做同构扫描。
- 饱和不等于无限。它是收敛判据,不是数量军备竞赛;边际发现归零即止。
八、结语
芯片从不靠人看懂晶体管来完成质检,它靠的是把规格变成可施加、可观测、可反复比对的向量。AI 时代的软件正走到同一个位置:实现已经快到无法阅读,那就让意图慢下来,让测试密起来。
饱和式测试的本质,不是「多写测试」这么简单。它是一次锚点迁移——把质量保障从「人理解代码」,搬到「人守住规格、机器穷举行为」上。代码可以安心地成为黑盒;只要规格仍由人握着,黑盒就依然可被信任。
不必读懂它,只需不断问它:你该是这样吗?
问得足够密,答案就足够可靠。