OpenAI 让 Codex 自己修性能问题:三个月自动排查 1700 次,定位 600 个根因
ChatGPT 变慢、首字延迟变高、错误率忽然抬头——过去这类性能回归,得靠熟悉服务的资深工程师…
文章目录

ChatGPT 变慢、首字延迟变高、错误率忽然抬头——过去这类性能回归,得靠熟悉服务的资深工程师翻指标、比 trace、读代码,一查就是大半天,还经常漏看关键信号。11 月 19 日,OpenAI 工程团队公开了他们现在的做法:把这一整套流程交给由 Codex 驱动的「性能工厂」(Performance Factory)。
这是一套跑在云端、能自己接活儿的自动化系统。报警一响,它会开任务、查原因、写修复、等人合并,部署完再自己去验证指标有没有回到基线。上线三个多月,光「回归工作流」就跑了 1700 多次排查,定位出 600 多个根因,平均每天 17 次。
核心看点
- 不是助手,是工厂:工程师只写工作流配置和提示词,具体每一步由不同的 Codex 代理接力完成。
- 数据很硬:三个月 1700+ 次自动排查、600+ 个根因,日均 17 次,全程不需要工程师守着终端。
- 关键设计是「对抗性审查」:另开一个 Codex 会话专门负责推翻同事的诊断结论。
- 实话实说:人工抽查 100 条根因建议,约 70% 判定准确;而修问题比找问题更难。
从「人肉排查」到「代理工厂」的六步
OpenAI 把这段演进拆得很清楚,基本也是大多数团队会走的路:
第一步,Codex 之前。工程师手动看指标、比 trace、上机器 debug、读代码。为了少受罪,他们攒了 30 多个性能工具——CPU profiler、内存分配分析之类。工具越多,越依赖「知道该用哪个」的老手。
第二步,Codex 当搭档。工程师可以直接问「这东西为什么变慢了」,Codex 会自己去翻代码库、找指标和 trace、跨服务追调用链。难点仍然在「指挥」:你得知道下一步查什么。
第三步,把经验写成技能。他们把性能团队的排查套路固化成一个共享技能 perf-forensics:有哪些工具、什么时候用、按什么顺序追问——先定位恶化起点,再锁定受影响请求,最后判断是不是发布或配置变更导致。技能还用历史回归案例做了评测打磨。
第四步,人变成「传声筒」。这时候团队发现自己只是个中转站:报警响了,复制粘贴进 Codex,再把结论贴回 Slack。
第五步,排查上云。报警直接触发云端 Codex 会话,结论自动发到 Slack 线程。但故事到诊断就结束了,修和验证还得人来。
第六步,工厂。系统自己记录每个任务「下一步该干什么」,哪一步就绪就派一个代理去干。任务状态和发现写在任务上,而不是某个代理的上下文里,所以活可以在代理与工程师之间来回交接,也能在代码评审、部署之后接着跑。
四个零件撑起一座工厂
拆开看并不玄乎,就是四块:
- 任务服务:工程师用 Markdown 写配置和提示词,定义任务能经过哪些状态、允许怎么跳转、哪几步必须人来拍板。
- 派发循环:定期扫描哪些任务就绪,按当前状态对应的指令启动一轮 Codex。
- 云端 Codex:内部 API 直接在自家网络里跑 Codex,能访问代码仓库、指标、日志、trace、CPU 火焰图和内存快照。代理以服务身份运行,权限可收窄,也能审计「这动作是性能代理干的」。
- 订阅机制:需要等人的时候,任务挂起并订阅事件——比如 PR 来了新评论、CI 失败、部署完成。事件一到,任务重新就绪,派发循环再把它捡起来。
把活挪到云端还有个好处:不再依赖工程师的笔记本开着,也不用人工管理一堆开发机,任务可以并行跑。
第一个工作流:从报警到确认恢复
「回归工作流」把一次性能问题拆成四段:待排查 → 已定位根因 → 已提出修复 → 已解决。
报警触发后,代理先搞清楚「哪个指标变差、什么时候开始变、影响了哪些请求」。这里有个细节很工程化:报警是按阈值触发的,但回归可能几小时前就开始了,代理会往前翻数据找真正的起点;它还会分组比较请求——是同类请求真的变慢了,还是我们只是服务了更多本来就慢的请求?这两种情况指向完全不同的原因。
定位之后再对发布记录和特性开关做时间线比对,最后读代码,确认改动是否真的能解释现象。诊断通过后,代理写修复、开 PR,工程师决定合不合。合并部署完,另一个代理回来验收:回到基线就结案;只恢复了一部分,就结掉原任务、为剩下的慢另开一单;完全没改善,记录情况打回重查。
让另一个 Codex 来拆台
早期代理有个通病:找到第一个「看起来说得通」的解释就收工,有些结论其实是错的。OpenAI 的解法是加一道对抗性审查——开一个独立的 Codex 会话,专门试图证伪这个诊断,重查假设、做反事实检验:如果怀疑是某次灰度发布造成的,那批没被波及的同类请求是不是保持健康?如果那个改动回滚了,指标有没有跟着恢复?
文中给了一个很具体的例子:代理把 ChatGPT 会话失败归因到图片下载报错,判定「原因已找到」。审查方发现,负责定位文件的内部服务早就恢复了,图片请求却还在失败——这个诊断解释不了仍在持续的现象,于是把调查重新打开,并记下还缺哪块证据。
数据上,他们人工抽查了 100 条根因建议,70% 评为准确,30% 需要继续细化或没能真正建立因果。所以他们把大活拆成多个聚焦的 Codex 回合:一轮查、一轮质疑、一轮改,用互相制衡来换准确率。
找问题值三成,修问题才是难点
OpenAI 承认得很直接:把修复做对,比找出原因更难。代理提的改动有时过度复杂,有时顺手引入新问题。所以每份修复提案也要过对抗性审查,检查它是否真的打中根因、有没有副作用。
更麻烦的是有些修复本质上是架构取舍:加一层缓存能提性能,但会带来脏数据;这种决定需要一个懂服务的人来权衡。他们的做法是把代理提的方案和工程师最终合并的版本对比,反过来建评测、改工作流;也在试合成性能测试,让代理在请人评审之前先自己量一量修得对不对。再往前一步,是识别低风险改动、最终让人彻底退出这个环节。
三条给同行的经验
一,保护工程师的注意力。代理能查出的问题,远多于团队有时间读的量。第一版给了个塞满发现的界面,结果还是得有人判断哪条重要。现在系统会把散落在多个报警、监控、频道里的同一回归关联起来,按团队关心的指标分组,并按预估影响排序。人只负责补上下文、权衡、决定发不发。
二,代理本身也要被评测。改一个排查技能、换一版模型,可能让它在某些场景变强、另一些场景变弱。他们分开测两件事:查得准不准,以及摘要对人有没有用。查得准不准,靠历史事故回放——把真实事故做成测试集,去掉会剧透答案的细节,让新代理从原始信号重查一遍,再和历史结论对比。
三,把「下一步」放在任务上,不要放在上下文的记忆里。这是整座工厂能运转的前提:代理会结束、会超时、会被换掉,只有写在任务上的状态和证据能活下来。
总结
这篇工程博客的价值不在「OpenAI 又用 AI 干了件大事」,而在于它把代理工作流落地时那些不好看的部分都写出来了:70% 的准确率、被推翻的诊断、过度复杂的补丁、需要人拍板的架构取舍。真正的自动化不是让模型替人思考,而是把流程切成足够小的步骤,让代理和人在同一条任务流水线上交接,并给每一步都配上能证伪的检查。
对正在搭内部 Agent 流程的团队来说,能直接抄的部分其实很朴素:任务状态外置、事件订阅唤醒、对抗性审查、历史事故回放评测。这四件事加起来,比换一个更强的模型更能决定系统好不好用。
本文地址:https://www.163264.com/22196


