Harness Engineering 实践全景 2026H2 | 20260904

• 从"模型是关键"到"Harness 是关键"的共识已形成，但 2026H2 的实践开始回答"Harness 具体怎么搭"
• 腾讯 TAB/WeTV、百度网盘、阿里云无岳/Yousa 博阳等一线案例提供了可量化的实践数据
• 2026.08 新增证据链: Token 成本经济学 (Pi+DeepSeek 99.93% 缓存命中) + Skill 路由 (SkillWeaver token 降 99%) + Cloudflare Code Mode (182 工具收敛为 2 个元工具)
• 2026.09 新增: Harness 选型轴沉淀 (DSH/OpenCode/Pi 三范式) + DeepSeek Harness 心脏 Cordis + Uber 软件工厂成本方程
• 核心结论: Harness 不是理论框架，是可工程化交付的资产体系，它决定模型对世界的认知边界，且开始决定 Token 成本面

一、Harness 的 15 个月演进: 从 1.0 到 3.0 的补偿面迁移

Yousa 博阳在腾讯云开发者发表的 Harness Engineering 全景综述，梳理了从 2024.12 到 2026.03 的演进脉络:

最关键的洞察: 补偿面迁移 — Opus 4.5/4.6 后 Anthropic 主动拆掉了 Context Reset、Sprint Contract、Evaluator 改为末轮 QA。每个 Harness 组件都编码了一个"模型自己做不到什么"的假设，模型进步后需要重新压力测试。

Claude Code v2.1.88 泄漏的 51.2 万行源码验证了上述所有工程实践: 六层记忆体系、autoDream、Coordinator Mode、Team Mode、Verification Agent、44 feature flags。壳从 Harness 向 Infra 蔓延，新维度包括 KAIROS（主动判断时机）、YOLO Classifier（自适应权限）、Hooks（8 节点开放平台）。

二、腾讯 TAB: 大仓 AI 工程化的六层资产体系

腾讯 TAB（A/B 实验平台）团队在大仓（30+ 微服务, 10+ 前端微应用）环境下的实践，是目前公开最完整的 Harness 工程化案例。

六层 Harness 资产

实证数据

• 50+ 真实需求验证
• 端到端 30-75 分钟
• 人工介入 2-3 次
• 集成测试一次通过率 ~70%
• 代码审查阻塞率 ~25%

Team Mode 撞墙复盘

TAB 团队最大的教训是 Team Mode 的"复杂度自给自足"陷阱: 一个机制的存在主要是为了 fix 它自己引入的副作用时，80% 概率应删掉。移除 Team Mode 后主 Agent 代码减少 200+ 行。

两层项目级索引

• 仓库代码导航地图（26KB, 开发 Agent 自维护）
• 任务看板（CheckPoint 文件）
• 团队共识落仓库而非 Memory

三、腾讯 WeTV: 契约化多端架构

WeTV（腾讯视频海外平台）Web 团队的实践，核心创新是用 JSON 领域模型作为 AI 与业务的契约。

四层领域模型

Page → UI Module → API → Data

每层通过 _DETECTION_HINTS 自动映射到各端具体实现、_PLATFORM_SPECIFIC 处理多端差异。AI 不扒源码直接读契约，解决上下文腐化。

Command/Skill/Agent 三层角色分离

• Command: 确定性操作（wpc CLI）
• Skill: 封装操作步骤
• Agent: 多步推理和决策

子 Agent 不交互只执行，避免了死锁坑。

L0-L4 五层质量门禁

≥70 分通过。

四、Karpathy 700 次 Loop 实验: Harness 决定性能的量化证据

Hugging Face Joel Niklaus 的实验提供了 Harness 价值的最直接量化证据:

同一模型，不同 Harness，性能波动 76 分

DeepSeek-v4-pro 在 5 种 Harness 下 pooled score 从 3.5% 到 80.1%。0 分原因竟是模型输出存错文件名——这不是模型问题，是 Harness 没管好文件写入。

22 轮 Harness 自动迭代

• 优化后追平 Claude Sonnet 4.6
• 成本仅 1/7
• Harness 可跨模型迁移（同族小模型 +14.4 分）

Karpathy AutoResearch

Agent 自动发现 20 项作者忽略的代码改进（如注意力标量乘数遗漏）。外层循环优化内层搜索逻辑，5x 性能提升。

Loop 的隐性代价

• 理解债: 代码与开发者理解差距
• 认知让渡: 人停止思考

五、百度网盘 AICR: CI/CD 流水线的 AI 代码审查

百度网盘主端 FE 团队在 AI 生成代码占比 55.87% 后，将 AI CR 嵌入 CI/CD 流水线。

多 Agent 协同审查架构

3 路并行审查 → 聚合去重 → 核实 Agent 反向验证 → 复核 Agent 二次校验 → 安全检查 → 报告

模型等级与规则权重

原则: 越高阶的模型，规则可以越轻。

关键设计

• 5 分钟甜点时间: 分阶段控时（下载→分析→审查→核实→复核→安全检查→生成报告）
• 纠错本机制: 沉淀高频误报与业务规则，后续自动纠错
• CI/CD vs Pre-commit 选择: CI/CD 作为团队级准入先行方案，Pre-commit 作为补充

六、无岳水流理论: 从控制论视角重新理解 Harness

阿里云开发者无岳从 LLM 两个底层事实（概率生成器、上下文宝贵）推导出的方法论。

水流理论

模型像水一样顺着上下文地形自行推进。人的角色不是控制水的每一滴流向，而是:

• 堤坝式边界: 定义允许范围
• 水闸式 Checkpoint: 关键节点检查
• 安全通道: 异常时的降级路径

区分"漫溢"（允许）和"溃堤"（必须转向）。

Checkpoint 6 种动作（实测分布）

最高频动作是加料而非放行——说明 Harness 的核心价值是"提供正确上下文"而非"拦截错误"。

转向三条硬规则

• Spec 冲突
• 越界
• 连续验证失败

触发即必须打断。

代码廉价化四个层级

现象层（代码可抛弃）→ 工作方式层（高速迭代）→ 实践姿态层（不看代码看证据）→ 身份层（工程师价值迁移）

七、跨案例模式总结

模式一: 资产分层是共识

核心规律: 能脚本化的不写 Rule，能 Rule 的不写 Prompt。

模式二: 验证闭环从 Agent 手里挪到 Harness 手里

模式三: 补偿面迁移——Harness 需要持续做减法

Yousa 的 15 个月演进揭示了 Harness 自身也需要迭代:

• 模型变强后，某些 Harness 组件可以拆掉
• 每个组件都编码了一个假设，模型进步后需要重新验证
• 好的 Harness 不只是会加控制，还要知道什么时候删控制

模式四: 量化数据驱动 Harness 设计

八、Token 成本经济学: Harness 决定推理账单 (2026.08 新增)

本期新增的证据把 Harness 的价值从"性能/质量"延伸到"成本面": 同一个模型, 不同的 Harness 缓存友好度, 可以把 Token 成本差出两个数量级。

8.1 缓存命中率: 99.93% 与 132→2.65 美元

8 月 11 日, Pi Harness 创始人 Mario Zechner 转发实测数据: 开发者 0xEvan 用 Pi 调用 DeepSeek V4 Flash, 处理近 10 亿输入 Token, 缓存命中率 99.93%, 只花了 2.65 美元; 若无缓存同等用量约需 132 美元。另一开发者 Shantanu Goel 称 DeepSeek V4 Flash 在其他 Harness 中命中率通常 94%-97%, 到 Pi 中持续 99%+。

8.2 Composio 对比: 同一模型, 成功率差 20 个百分点

Composio 用同一模型 DeepSeek V4 Flash 跑 8 种 Harness、30 项高难任务:

• 仅换 Harness, 成功率 46.7% → 66.7%
• 成本差距: Pi 每成功任务 0.028 美元, Claude Code 0.195 美元 (约 7 倍)
• 这印证 Karpathy 实验结论 (3.5%→80.1%), 且成本面差距比性能面更大

8.3 反直觉: 极简默认安装 > 重量级配置

Pi 用默认安装、只接入测试所需 MCP 就通过最多任务。而 Prime Agent 产生最庞大会话 (部分达 350 万 Token, 33 次工具调用), 6 次运行因超时/无记录未计分, 通过任务数仅与 Hermes 相当、耗时近 Pi 两倍。

每增加一层, 智能体就多一个可能迷路的地方; 每增加一个工具, 就多一项需要做出的选择; 每增加一份庞大的指令文件, 行动前就要阅读更多噪声。

8.4 缓存友好型 Harness 的设计原则 (Reasonix + pi-deepseek-cache)

DeepSeek 是前缀缓存: 请求开头 Token 序列与上次一致才命中, 前缀越早变化, 后面被"连坐"失效的 Token 越多。缓存友好设计核心是保持上下文前端稳定、追加而非修改、变更成本最低:

• P0 冻结动态前缀: Agent 启动时冻结日期/工作目录, 杜绝 Current date: YYYY-MM-DD 等动态内容导致缓存失效
• P2 前缀诊断: SHA-256 哈希追踪前缀何时变化, 快速定位缓存失效根因
• P3 确定性摘要: 对话历史过长时用 temperature=0 确定性摘要 + 哈希缓存, 保证相同历史输入复用字节一致的摘要
• 工具 Schema 契约化: 内置工具定义变更做回归审查, 因工具描述调整会静默破坏缓存且表面看不出异常
• 双模型隔离会话: 执行/规划模型各自独立、缓存稳定的会话, 避免交错进同一上下文破坏前缀
• 清理过时工具输出: 二十轮前的 cat 大结果不留在提示词前缀中, 触发压缩前截断清理

降本效果 (deepseek-v4-flash): 输入 Token 成本从每百万 0.14 美元降至 0.003 美元 (降 98%); v4-pro 从 3.00 降至 0.025 美元 (降 99%)。

8.5 对团队的含义

• Harness 选型必须纳入成本维度: "性能差异普遍 <10%, 但缓存友好度差异可达 50 倍" — 成本是新的决策变量
• 官方 Harness 红利: DeepSeek 官方 Harness 已于 8 月中旬开源 (watchlist 已达成), 原生适配可让模型针对 Harness 调用模式协同优化, 这是第三方逆向优化做不到的
• 成本可观测: 把缓存命中率、每任务成本做成 Harness 的运营指标

九、Skill 路由: 从暴力塞入到组合式路由 (2026.08 新增)

Harness 的上下文是稀缺资源, 2026.08 三个独立来源 (Cloudflare Code Mode / 阿里 SkillWeaver / Google Agent Skills) 都指向同一解法: 工具定义不能再全量塞入上下文, 要按需路由。

9.1 Cloudflare Code Mode: 182 个工具收敛为 2 个元工具

Cloudflare 内部 MCP Portal 统一 13 个生产 MCP 服务器、182+ 工具 (Backstage/GitLab/Jira/Sentry/ES/Prometheus)。但每个工具 Schema 定义都吃上下文 Token: 仅 GitLab MCP 的 34 个工具描述就要约 1.5 万 Token, 占 20 万窗口的 7.5%。

解法是 Code Mode: 不把每个上游工具定义塞给客户端, 统一收敛为 2 个 Portal 级工具 (portal_codemode_search / portal_codemode_execute), 模型用写代码的方式发现并调用具体工具。客户端看到的工具数恒定, 上下文占用不随工具数线性增长, 可横向扩展。

9.2 阿里 SkillWeaver: 分解-检索-组合, Token 降 99%

2209 个真实 MCP 技能基准: Token 从 884,000 降至约 1,160 (降 99%), 准确率从 21.1% 大幅提升。

• 暴力塞入的死胡同: 2209 技能 × ~400 Token/描述 ≈ 884K Token; Qwen-Max 在 2209 工具前正确检索率仅 21.1%; 上下文直接溢出
• 三阶段架构: Decompose (拆原子子任务) → Retrieve (语义检索 Top-K) → Compose (生成 DAG 执行图)
• SAD 反馈环路 (核心创新): 生成-检索-回注-重写, 让 LLM 学会用"工具的语言" — 对齐 > 算力, 7B + SAD 胜过裸奔 14B; 分解准确率 Qwen2.5-7B 51%→67.7%, Qwen-Max 达 92%
• 反直觉: 更大的模型可能更差 — 无 SAD 时 14B 分解准确率低于 7B (过度分解陷阱: 拆得过细, 微观步骤在技能库中找不到对应工具)
• ReAct 范式缺陷: 在 CompSkillBench 上分解准确率 0% — 多工具组合场景需要规划式而非反应式
• 未解决问题: 错误恢复缺失 (超时/格式异常/鉴权失败时无 fallback/重试/降级), 生产需自建错误恢复层
• 可复现: all-MiniLM-L6-v2 + FAISS, <100 行 Python 复现核心; 建库 15 秒, 检索 <15ms

9.3 Google Agent Skills: 标准化 + 自动化把关 + 持续评测

Google 开源 Skills 项目 (1.5 万星) 的工程化治理:

• 标准化目录结构: 统一文件命名/层级, 人机皆可读
• 优先远程 MCP: MCP 自带鉴权与 IAM 治理, 兜底才是 CLI/API
• 上线前三重关卡: Linter (frontmatter/命名/目录) + 链接检查 (清幻觉链接) + AI 辅助结构校验
• 持续评测: 提交时评测 + 每周例行评测; 从准确率和效率两维度打分, 2x2 矩阵判断是否真提升; 多 Agent 框架交叉验证
• 治理哲学: Skill 是"活产品"不是一次性文档, 设 Repo Maintainer + Skill Owner 两级责任人

9.4 对团队的含义

• 工具索引层将从可选变刚需: MCP 工具持续膨胀, 语义索引/按需路由成为必需基础设施
• 从"配置越多越强"到"上下文越干净越强": 与 TAB 的"注意力管理而非能力增强"同构
• Skill 质量三件套: 标准化目录 + 自动化把关 + Owner 负责制, 可直接迁移到团队 Skill 治理

十、Harness 选型轴: DSH / OpenCode / Pi 三范式 (2026.09 新增)

2026.08.13 DeepSeek 开源 Harness (dsh) 后, "模型之外那层软件该长什么样"出现三种分岔。横向对比不再是"哪个好用", 而是 harness 控制权放哪 + 谁有权改 agent 行为两维度 ([[concepts/agent-harness-selection]]):

• dsh: 一切皆插件, loop 可替换。模型适配/会话存储/沙箱/UI/主循环全是插件槽, 给造工具的人用; 预置四 profile (标准/极简/PTC 多步编译/profiles创作)。代价: developer preview 破坏性变更 + 十个核心概念
• OpenCode: 固定 loop, 边缘可扩展。Plan-Build 双模式/LSP/75+ 模型商/AGENTS.md /init 随码入库。上限由作者设计直觉决定, 核心循环等官方发版
• Pi: 最小内核 (read/write/edit/bash) + 运行时 hook。系统提示 <1000 token, 25+ TS hook + 树状会话分支; 把"不做什么"做成宣言。代价: 安全边界自担

五步循环中模型只接触文本, 真碰文件系统的是 harness → harness 决定模型对世界的认知边界。三家生态互渗 (dsh-import-agents 导入各工具会话 / opencode-pi 在 Pi 用 OpenCode 通道)。独立评测互有胜负但任务集/成本口径不同, 参考价值有限。

选型三问 (映射到平台研发部: 默认 opencode = OpenCode 范式, 稳定版节奏 + 6 个月消融治理可依赖):

• 想尽快干完活 → OpenCode (生产级/默认权限/AGENTS.md 生态当天切入)
• 面向团队做 agent 基础设施 → dsh (不用 fork 代码库接任何模型/存储/内部工具)
• 个人想真正拥有 agent → Pi (运行时层面重塑行为, 愿意读懂自己工具链的人)

评审加一问"harness 可替换性需求": 只接不同模型/换工具 opencode 够; 要改 agent loop/深度定制才评估 dsh/Pi。相关 [[concepts/aicoding-agent-star-trend-2026]] (star-scale 三档, 互补)。

十一、DeepSeek Harness 的心脏: Cordis 可逆副作用运行时 (2026.09 新增)

dsh "一切皆插件" 的地基是 Cordis —— Shigma 为 Koishi 聊天机器人写的插件元框架 (Koishi 生产四年 4000+ 插件), 被 dsh vendor 作 Agent 运行时。真正值得研究的不是写得不错, 而是它把"安全装卸组件"从纪律升成结构保证:

• ctx.effect = 唯一原语: ctx.effect(fn) 主体加载执行, 返回的 disposer 卸载执行, "任何操作自动可追踪可恢复"是结构事实 (非口号)。ctx.on/ctx.plugin/服务注册全是 effect 特例 → 热重载/故障恢复/测试隔离免费获得
• ctx.on('event') 自动移除: 事件监听、服务、自插件随 fiber 级联卸载, 不泄漏
• inject 响应式依赖: 消费方只声明服务名不 import 实现, PENDING 等依赖就绪; 假设"服务可随时出现/消失" (Agent 常态: LLM 限流/MCP 崩溃/watcher 被杀), 依赖方无需写重连
• waterfall 中间件决策链: not next 否决短路 / next 放行, 多个不相识插件组成决策链; DSH tools/pre-execute→execute→post-execute 即此链
• Schema 配置即程序: 配置热重载局部替换无需重启, Loader 增量对账不怕顺序
• Service Definition/Provider/Consumer 三角色: 每项能力是 seam (接缝), Provider 可独立替换 (换沙箱执行改一行), 两侧独立演进

Cordis 用 effect/coeffect 沿时间维 (卸载逆转副作用) + 空间维 (依赖解析) 双轴做形式化证明。ctx.isolate 隔离分身, ctx.intercept 约束提供方不改组件 (沙箱策略给 shell 附元数据)。

自指工具集 dsh-tool-cordis 让 Agent 现场检视 (cordis_inspect 各种 fiber 状态/服务) 并改装自己运行的框架 (cordis_define/run/stop 在 node:vm 沙箱跑动态插件, 不用装 npm 包不重启进程) → "可进化 Agent" 雏形。动态包与 bash 同权, 沙箱隔离全局但不构成安全边界。

理论落点: 北大+DeepSeek 88 页论文《A Programming Paradigm for Spatiotemporal Composability》点名 self-evolving agent harnesses 为未来方向 —— AI 少人监督下持续生成替换自己组件, 需时间维"快速替换的完整恢复保证"+ 空间维"频繁拓扑变化的依赖协调"。对团队的含义: 配置治理自动化 ([[concepts/aicoding-config-ablation]] harness-scan) 是比"能热改插件"更落地半步的第一步, 但 dsh 提供了一条"配置跟随代码进版本库"之外的运行时可审计路线。

十二、Uber 软件工厂: 调度智能体而非写代码 (2026.09 新增)

Uber 2026 愿景: AI 使用分四层, 从交互式工程师会话转向完全托管智能体 (代码审查/自愈 CI/视觉 E2E/分诊告警/调试 bug), 70%+ PR 归因智能体、3600+ 技能、日执行 3 万次。总支出自 4 月稳定, 固定模型的 1000 请求成本降 ~34%(每会话降 52%), WAU 7 倍/请求 9.4 倍 —— 证明遏制成本是可工程化问题, 靠消除无用 token 而非降单价。

六项成本方程 (前两项 = 采用×参与, 想增长; 中三项 = 智能体自己额外做的工作, 主要优化空间)。关键杠杆 (与 [[concepts/token-cost-reduction]] 相关但偏大规模托管度量):

• 基准驱动模型路由: uber 用带 bug 真实 PR 建 uReview 基准 (F1/成本/延迟), 内测 SWE Benchmark 选帕累托模型
• 子智能体默认弱模型: 主模型拆解评估, 子代理执行明确任务用更弱更省的模型, 允许覆盖
• token 压缩: 40 万 token 自动压缩 + 推理强度 Medium (输出 token 费率倍数, 降最高成本类别)
• 缓存 TTL 按生命周期: 交互会话空闲常超 5 分钟 → 默认 1 小时 TTL; 子智能体短生命周期留 5 分钟 (呼应 ch8 缓存友好设计)
• CLI/代码模式取代 MCP schema: 100+ 工具预载 = 5-7 万 token schema 开销; 用 shell 动态解析 + 工具搜索按需加载 + 代码模式 (SQL 轮询 2-5 次→一个 Python 循环), 去 schema 初始化省 50%+, 批量省 90%
• AI Context Graph: 2400 万节点/8000 万边卷 30+ 系统, 结构化定位 (定位到表 38 秒 vs 无图 20 分钟错误结论)

可见性铁律: 状态行实时成本 + 会话分析仪表板标记 16 反模式 (次优模型路由/上下文膨胀/缓存过期/预载膨胀), 每种配财务影响和修复。对团队含义: 把"选型/成本"从个人终端会话提级到托管智能体运营指标层。

十三、Q3 启示

对齐 Q2 报告中 Q3 的"质量可观测/Spec 工程化"方向:

1. Harness 资产标准化: 参考 TAB 六层资产体系，建立团队级 Harness 模板
2. AI CR 覆盖率 80%+: 参考百度网盘多 Agent 协同审查架构
3. 补偿面定期审计: 每季度审查 Harness 组件是否仍必要，做减法
4. 量化基线: 建立 Harness 效果度量（通过率/打回率/人工介入次数）
5. Spec 工程化: 参考 WeTV 领域模型契约 + 无岳水流理论的 spec 持久化
6. 成本面纳入选型: 缓存命中率/每任务成本作为 Harness 效果指标, 参考 Pi+DeepSeek 99.93% 缓存经济
7. Skill 路由与治理: 工具按需路由 (SkillWeaver/Code Mode), Skill 质量三件套 (标准化+把关+Owner), 降低上下文 Token 压力
8. Harness 选型口径落地: 默认 opencode 对应 OpenCode 范式, 评审加一问"harness 可替换性需求", 基建/深度定制才评估 dsh/Pi (三范式选型)
9. Agent 运行时自省/自进化跟踪: Cordis effect/coeffect 的"安全动态装卸/热替换"与 dsh-tool-cordis 自指机制, 是自进化 Agent 的方向信号, 跟踪而非立即采用
10. 托管智能体成本运营: 子智能体默认弱模型 + 代码模式去轮询 + 缓存 TTL 分级 + 会话反模式仪表板, 把成本从个人会话提级到托管智能体运营指标