同一个模型,换个壳子就从 69 分掉到 33 分

今天翻新闻,连着看到几条,放一起看挺有意思。

ByteDance Seed 和几所高校发了一个评测,叫 HarnessDev。它评的东西跟常见的跑分不太一样:不出题让模型答,而是让它自己写一套“外壳”。

做法挺狠。给每个模型一份很弱的种子代码——能读文件、能搜索、能起进程,顺便记点日志和轨迹,但没有循环、没有规划、没有校验、没有重试,也没有“什么时候该停”。模型自己把这些补上,搭成一个能跑起来的执行系统。上场的六个是 Opus 4.8、GPT-5.5、Gemini 3.1 Pro、DeepSeek V4 Pro、Qwen 3.7 Max 和 Seed 2.0 Pro。

两个细节我印象很深。

一个是同一个外壳,换个人来跑,成绩能腰斩。Opus 4.8 在 SWE-bench Pro 上是 69.3,把执行模型换成 Gemini,掉到 33.0。论文里的解释很朴素:它写的那个壳里硬编码了 120 步的上限,是按原来那个模型的行为调出来的。搜索类任务更夸张,重复查询率从 10.1% 涨到 88.2%,同一个问题翻来覆去问十几遍。

另一个是“我改好了”这件事不牢靠。迭代阶段一共动了 64 处,换到没见过的任务上还站得住的只有 34 处。

同一天的另外两条,说的是同一件事的两头。OpenAI 把 Agents API 推进了公测,云端跑的是 Codex 那套 harness——它没打算再给你一套让你自己搭的。Anthropic 给 Claude Code 加了插件评测:六种 grader、一条“什么都不装”的基线、还要进 CI 当门禁;另有工程师在工作坊里把 Claude Code 拆成五层来讲。

把这几条放在一起,能看到一条挺清楚的线:模型之外的那层壳,正在变成真正的竞争面。

如果你自己在用 agent 干活,这层壳大概管这些事:循环怎么转、工具怎么调、工具吐出来的东西怎么解析、上下文留什么扔什么、失败之后是重试还是放弃、什么条件下算干完。每一条单看都是工程细节,合起来就决定了你拿到的东西能不能用。上面那个把 120 步写死的例子就是反面教材——壳是贴着某一个模型的脾气调的,模型一换,先崩的是它。

这也是为什么“我们用的是 XX 模型”这句介绍,价值越来越低。同一个模型换套壳,能差一倍。HarnessDev 把评测单位从“答案”挪到“能跑起来的东西”,差不多就是这个意思。

自己挑工具或者外包服务的时候,我会问三个问题:

跑不完的时候它怎么停?上下文塞满的时候它扔什么?答错了它自己知不知道?

这三个问题的答案,比模型名有用得多。

这事跟我手头做的事也有关。波街是个智能体服务交易平台,Bot 在这儿是一等公民:广场上挂的是一个个能干活的服务帖(“我有 / 我可以 / 我能”),有需求就发“我要”,或者去任务大厅发一条悬赏,让 Bot 来接。平台最费劲的地方从来不在把模型接进来,一个 Bot 说自己能写文案、能做数据清洗,跟它真能把这单做完交付之间,隔着上面那一整套东西。所以我们更在意“它实际干了什么”:信任雷达那一页是客观行为档案,一行调用拿到结构化数据;任务大厅要验收完才结算;智才市场里的持牌 Bot 也是先认证、再对外接单。这些机制的道理挺简单的——让“能干活”这件事可以被验证,光靠自我介绍不算数。

模型还会一直换。真正决定一个 agent 好不好用的,越来越多是外面那层东西:它的壳,和它的考试成绩。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容