跳到文章正文
anthropic-Claude 编辑推荐

Anthropic 公开 Claude Code 验证方法论:90% 的代码 Claude 自己写、自己审,卡住三次才叫人

Claude Code 团队首次系统讲清内部验证流程:90% 代码由 Claude 写并审,E2…

11 月 17 日,Anthropic 的 Claude Code 团队在官方博客上把内部的代码验证流程摊开了讲。开头就是一句让人停一下的数字:在这个团队里,绝大多数代码——大约 90%——是 Claude 自己写、并且由 Claude 自己审的。

这个比例带来的问题很直接:人已经没有时间逐行读了。于是「怎么让 agent 用证据证明自己干得对」,从工程细节变成了核心能力。

Anthropic 公开 Claude Code 验证方法论
图:Anthropic Claude Code 团队的验证流程要点

核心看点

  • 验证闭环决定你能同时跑几个 Claude:没有它,一个人只能带一两个;有了它,几十上百个可以并行。
  • 内部测试显示,用独立的评分员按标准给 Claude 的工作打分,任务成功率比普通提示循环最多高 10 个百分点,越难的任务收益越大。
  • Anthropic 自己仓库 9 月每天合并 3 万多处改动(5 月约 2500 处),实质评论占比从 16% 升到 54%,回滚率 6 月到 9 月下降 40%。
  • 规矩很硬:检查连续失败三次才叫人;改动不能修改评判自己的那份检查。

一、验证不是跑去跑测试,而是真的把程序跑起来

Claude Code 团队的说法有点反直觉:端到端把应用跑一遍,比写一堆单元测试更重要。发 iOS 改动之前你要在模拟器里点一遍,对 Claude 也是同一个标准。

具体做法是把「怎么跑起来」写成技能:在仓库里离相关代码最近的位置建一个 .claude/skills/verify,里面写清楚怎么启动模拟器、怎么拉起服务。Claude 知道在提交前要先用它。团队建议把这份 verify 技能当成冒烟测试台反复打磨——让 Claude 自己去压测它,直到稳定。

「我们几乎所有的改动都是这么测的。」文章写道。给 agent 一双眼睛和一双手,它就会像人一样反复试、快速抓到真正的问题。

二、三种最值得投入的测试

文章先划了三条红线:测试不能飘(否则 agent 学会的是重跑而不是修 bug)、不能太慢(否则批量测试变少,定位问题变难)、重测试放在提交之前。

端到端测试:如果只能选一种,选它。它描述真实用户路径,要么整个功能能用、要么不能,很难被糊弄,还能明确告诉你哪里坏了。配合 CDP、模拟器或 API 测试台,让 agent 直接驱动真实系统。

属性测试(property test):测的是「你以为不会坏的地方」。先写一句你认为绝不可能失败的断言,再用 fast-check、Hypothesis、proptest 这类库生成几千个输入去证伪。往返编解码、余额不能为负、幂等性、优化版与朴素版结果一致,都是典型属性。它的价值在于:这些边界不是写代码的那个 agent 想到的。

差分测试:老系统就是标准答案。新旧两套系统跑同样的输入,结果不一致就是有 bug。适合大规模迁移,输入用随机生成或生产流量采样,注意把空白字符这类无关差异归一化,并维护一份「已批准的变更」清单。

三、Claude Code 团队自己的六条规矩

1. 失败三次转人工。没人能读完每一处改动,所以用失败来决定谁需要看。Claude 自己跑检查、自己修;连续三轮还不过,就停下来找人。

2. 代码的主人自己写检查。谁的代码谁写检查,一直调到「它会像主人一样拦下问题」。检查把 reviewer 拉进来时,必须说明为什么,不能让人自己去 diff 里猜。

3. 可靠性清单按 diff 触发。他们维护一份 39 项的清单,每一项都有可从 diff 读出的触发条件、对应检查和它背后的线上事故。比如「–resume 会加载旧对话记录」:一旦动了会话存储或消息类型,就要问新字段能不能安全加载旧记录。Claude 只检查匹配上的 3 到 10 项,没人需要背下所有事故。

4. 一个 reviewer,多轮。他们不靠叠加更多、更贵的 reviewer 来提升质量,而是调好主 reviewer——用一份 REVIEW.md 说清楚这份代码该重点看什么。多轮之间互相喂上下文和往期失败,比重头再查一遍更便宜,也更能找到问题。

5. 改动不能修改评判自己的检查。如果一处改动能改掉审判它的规则,这个检查就已经失效。Code Review 只从主干或默认分支读 REVIEW.md,绝不从 PR 的改动里读;审查也只针对 commit——审查途中有人推新代码,这次结果就作废。另外,便宜的检查先跑:本地没过测试就推 PR,等于浪费共享的 CI 和审查资源。

6. 新门禁先观察再强制。他们给每个 commit 打上「如何验证」的标记,连「none」也记,方便事后查没验证过的提交。新加的提交门禁分三段:关闭、观察、强制。观察模式只记录「本来会被拦下」的情况,用来排查误报;强制模式才真的拦。同一个会话里已经被拦两次,第三次放行,免得 Claude 卡死。

四、数字背后的东西

文章没把 Code Review 包装成万能药,但给了一组自家仓库的数据:9 月每天合并超过 3 万处改动,5 月还是 2500 左右;拿到实质评论的 PR 比例从 16% 涨到 54%;6 月到 9 月合并量翻倍的同时,回滚率下降了 40%。单次审查一般 6 到 10 分钟,reviewer 打开 PR 时结论已经在那里了。

他们还强调「审查审查者」:跟踪合并后被回滚的比例、被维护者拒绝的比例,以及一组规模匹配、保持干净的改动作为对照。评估时把「原始发现」「验证后」「最终审查」的召回率分开看,否则一个端到端分数会掩盖「系统把自己已经找到的 bug 弄丢了」这种问题。

五、这件事真正重要的地方

过去昂贵的东西——测试、基准、规格、真实端到端跑一遍——现在可以让 agent 自己生产出来,而且生产出来的测试是软件,可以反复跑而不再烧 token。验证成本一变,能授权的范围就变了:从「我得盯着」变成「它能自证」。

这也解释了他们为什么对验证这么上心。同一篇文章里,Claude Code 团队提到正在把漏掉的案例变成规则:从人工评论和 PR 回滚里抽模式,必须在至少两个 PR 里出现、且能从 diff 判断,才可能成为规则,还要三个 agent 去证伪、最后由人批准合并。

总结

这篇博客其实是在回答一个很实际的问题:当 AI 写的代码比你读得快,你怎么知道它是对的?Anthropic 的答案是三层——让它把程序真跑起来、让测试去覆盖你想不到的边界、让检查无法被被检查的东西篡改。剩下的,交给失败次数和人的判断力。对任何在团队里大规模用 coding agent 的人来说,这套流程比模型参数更值得抄。

本文地址:https://www.163264.com/21618