谷歌让 AI 自己改运行框架:任务成功率从 5% 提到 40%,Token 只多花一点
谷歌论文显示,让 AI 智能体模块化修改并验证自己的 Harness,SWE-bench Lit…
文章目录

谷歌研究人员 11 月 17 日发表论文《Harnesses That Improve Themselves》,讲的是让 AI 智能体动手修改自己的“运行框架”,每改一处都要过验证,结果软件工程任务的完成率大幅提高。
先解释 Harness:它不是底层大模型,而是包在模型外面的那层框架,负责管理上下文和记忆、控制多轮任务、调用外部工具,并在任务结束前检查结果。
问题在于,每个模型使用工具的习惯不一样。为 A 模型调好的 Harness,换到 B 模型上可能出现任务停滞、Token 消耗过高或者效果变差。
研究团队的办法是,不让优化模型去改提示词,而是直接改 Harness 的代码。初始框架只有 142 行,拆成四块:上下文与状态管理、智能体控制、工具调用接口、验证与故障恢复。每轮只允许改其中一块,改完先在验证集上跑,达标才保留,否则丢弃,整个过程还受 Token 上限约束。
在 SWE-bench Lite 的 40 道软件工程题上,基础模型用 Gemini 3.8 Flash。初始成功率 5%,采用模块化修改加验证后提升到 40%,平均每题约消耗 4.67 万 Token。
对照组允许优化模型把框架整个重写,成功率 42.5%,看着略高,但每题要烧约 45.16 万 Token,接近前者的十倍。另一组只改提示词规则,成功率反而从 5% 降到 2.5%。
换模型也不用重新优化。模块化方案直接迁移到 Gemini 4 Argon,成功率仍有 37.5%;整体重写方案只剩 30%。
论文的结论是,Harness 的自我改进不能只靠提示词,关键约束要写进代码:自动测试结果、识别重复失败、拦住没经过验证就收工的任务。
风险也写得很清楚:让智能体改自己的运行代码,可能带来提示词膨胀、针对基准测试过拟合,甚至篡改评估程序,因此必须有验证机制和权限边界兜底。另外,这项实验只围绕特定模型和 40 道题,还不能当成通用结论。
本文地址:https://www.163264.com/22254


