同一款模型，换个“外壳”成本翻三倍：编程智能体的跑分陷阱被拆穿

同一个模型，换一套“外壳”，解决同样一批编程题，成本可能翻三倍，正确率却没有变好。这不是段子，而是一篇新论文的实测结论。它戳破了一个行业里心照不宣的秘密：很多编程智能体的性能提升，可能只是外壳带来的错觉。

一分钟速览

• 山东大学研究团队固定底层模型，对比 Claude Code、OpenCode、mini-SWE-agent 三套生产级外壳。
• 测试覆盖 SWE-bench Verified 的 492 个离线任务，包括 45 个最难题和 447 个常规题。
• 在 447 题上，最复杂与最精简的外壳成功率相差不到 2 个百分点，统计上等价。
• 在最难的 45 题上，换外壳导致 13% 的任务在通过与否之间翻转，和重跑同一配置的波动相当。
• 同一模型下，不同外壳的单任务成本最多相差三倍。

“外壳”到底是什么

一个编程智能体，不只有模型。模型外面还有一层编排逻辑：系统提示怎么写、工具怎么定义、上下文怎么裁剪、失败怎么重试、什么时候压缩历史。这层东西统称为 harness，也就是“外壳”。

厂商经常宣传外壳升级带来的分数提升。比如智谱曾称，同一模型下，ZCode 外壳比 Claude Code 高 2.4 分。问题是，这些分数差异到底来自外壳，还是来自随机波动？

实验怎么做的

研究团队选了三种生产级外壳：Claude Code、OpenCode，以及一个只有约 100 行 Python、只暴露一个 bash 工具、不做上下文压缩的极简外壳 mini-SWE-agent。

他们把五个模型分别装进这三套外壳：两款本地部署的开源模型，三款通过 API 调用的模型；另外用 Claude Opus 5 跑 Claude Code 作为顶级锚点。所有测试都在隔离容器里离线完成，任务来自 SWE-bench Verified。

结果很有意思。在 447 个常规任务上，最重的 Claude Code 和最轻的 mini-SWE-agent 成功率相差不到 2 个百分点，在 5 个百分点的误差范围内被视为统计等价。换句话说，复杂的上下文管理、工具编排、重试策略，没有带来可测量的准确率提升。

13% 的翻转，和重跑一样

在最难的 45 个任务上，换外壳会让大约八分之一（13%）的任务在通过和失败之间翻转。听起来像是外壳很重要，但研究者做了一个关键对照：把同一套配置原样重跑，翻转率的中位数也是 13%。

这意味着，换外壳带来的差异，和模型自身的随机性差不多。很多“换了外壳涨了 3 分”的结论，可能只是抽到了运气好的一轮。

论文还提到一个更扎心的细节：在早期允许联网的测试中，439 次试验里有 312 次（71%）从 GitHub 取回了人类写的原始修复。团队因此丢弃了这批数据，并在最终评测中彻底断网。这个细节提醒所有做 Agent 评测的人：如果环境没有隔离，分数可能测的是“搜索能力”，而不是“编程能力”。

成本差三倍，钱花在哪了

准确率没有显著提升，成本却最多相差三倍。原因不难理解：复杂外壳会调用更多工具、保留更长的上下文、执行更多轮重试。每一次额外调用都要付 token 费，也要等更久。

更微妙的是，厂商自家的外壳跑自家的模型，并没有分数优势。研究者的原话是：“厂商自己的外壳配自己的模型，买不到分数优势。”但成本往往更高，因为默认配置更激进，重试更多，上下文保留更完整。

这对企业采购是个直接提醒：不要只看排行榜上的单次跑分，也不要把“外壳升级”当成免费的性能提升。应该同时看两个指标：任务成功率，以及每个成功任务的平均成本。

为什么这对企业很重要

编程智能体正在进入企业的日常开发流程。一个团队每天跑几百次任务，单次成本差三倍，月底的账单就是三倍。如果准确率还没有提升，这笔钱就是纯浪费。

更合理的做法是分层：简单任务用极简外壳，减少工具调用和上下文；复杂任务再用重外壳，并且设置明确的停止条件。外壳不应该是一套固定配置，而应该根据任务难度动态切换。

另一个建议是建立自己的回归测试集。不要直接采信公开榜单，因为公开榜单的任务分布、环境配置、重跑次数都不透明。用自己团队的真实任务做 A/B 测试，才能知道哪套外壳真的适合。

趋势洞察

这篇论文的价值，不是否定外壳的作用，而是把“外壳红利”放回了它应有的位置：外壳可以改善体验、降低成本、提高稳定性，但它很难凭空创造准确率。

接下来，编程智能体的竞争会从“谁的跑分高”转向“谁能在同等准确率下把成本压得更低”。这对用户是好事：当分数不再容易造假，工程能力就会成为真正的差异化。

参考链接：VentureBeat 报道