Claude Code 团队公开了他们审查 AI 代码的具体工作流程
原文链接: https://claude.dev/blog/solving-code-review-at-anthropic/ 来源: Anthropic 发现于: 小互 · AI 解读站 · 2026/10/17 说明: 本文由 AIHot 自动聚合,并由 GLM 翻译为中文(保留全部代码与链接)
我们之前说过,Claude 编写了 Claude Code 自身约 90% 的代码。那么,在如此大的产量下,我们如何审查代码?还有人读代码吗?如果出了问题,谁来发现?
本文介绍 Claude Code 团队的代码审查流程及其演变。从 6 月到 9 月,合并进 Claude Code 代码库的 pull request 数量翻了一倍多,而必须被 revert 的比例下降了超过 40%。
我们没有取消审查。但我们确实把大部分阅读工作交给了机器,围绕人类的时间和注意力做优化,并投入大量精力让撤销错误变得快速而简单。
重新思考代码审查的目的
当 Agent 开始写代码,变更数量会快速上升。在 Anthropic 的 monorepo 中,每天落地的变更数量从今年5 月的约 2,500 次增长到 9 月的超过 30,000 次。
Claude Code 位于自己独立的仓库中,与 monorepo 分开,但也面临着很大的压力。当发布速度如此之快时,人工逐行的代码审查即使不是不可能,也极其困难。
代码审查承担两项工作:
- 在发布前发现并修复问题
- 在团队内建立共享上下文和对代码库的共同理解
本文主要聚焦于发现和修复问题,但我们会在接近结尾处回到第二项工作。
我们认为,“有没有人类读过这段代码?”是“这个变更可能出什么问题、哪项检查——自动的还是人工的——才是发现它的正确手段?”这一问题的不精确代理指标。
提出这个问题也改变了审查发生的时机。以前,审查是流程尽头的一道关卡:写代码、开 PR、等同事。
现在,审查持续运行,更像是写作时的拼写检查。大多数变更在被要求人类查看之前,已经由 Claude 审查并修复过至少一次。这能捕获大部分常规错误,把团队的注意力留给更高层级的问题和审视。
稀缺资源:人类的时间与注意力
我们希望把人类的时间和注意力留给只有人类才能解决的问题,并确保其余部分由自动化检查捕获。以我们当前的变更速度,人类仍然有海量工作要做,而且我们团队几乎每天都会遇到新的、前所未有的挑战。
人类时间涵盖审查成本的两面:人们花在审查上的时间,以及他们花在修复坏代码所破坏内容上的时间。如果削减前者的时间只是转移到了后者,那并没有帮助。
因此,目标是让 Claude Code 各仓库(CLI、桌面和 Web 应用,以及移动应用)中的大多数 pull request 在至多一名人类参与的情况下合并——这个人可以是作者本人——同时 revert 率和事故率不上升。为了衡量人类时间,我们跟踪每个 PR 的人类批准数(中位数和第 95 百分位)、人类评论数,以及 PR 等待人类处理的时间。revert 率和事故率是护栏:如果它们上升,说明我们没有省下人类时间,只是把它转移了。
一个变更的生命周期
一个典型的变更,从工程师的笔记本电脑(或 Slack 中的 Claude 会话)出发,要经过多层的代码审查。
一个变更的生命周期一个典型的 Claude Code 变更,从作者的机器到用户手中
FIG A大部分流程是自动化的;人的注意力只投向有风险的地方
逐层拆解
层层设防,而非单道关卡六层检查,底下还有 rollback 兜底
FIG B每一层都会捕获一些问题,也会漏掉另一些。很少有东西能穿过所有层,剩下由 rollback 处理。
1. 在任何人查看之前,工作先经过验证
现在,大部分审查发生在 PR 出现之前。我们给 Claude 一段它能运行的东西——比如测试、一次构建,或一张与设计稿对比的截图——并要求它展示输出,而不是声称完成了。然后由一个 subagent 以全新上下文审查 diff。这两个习惯都来自我们的最佳实践指南。
在打开 PR 之前,我们很多人还会运行几个内部 skills:一个查找 bug,一个简化 diff,还有一个端到端地检查行为。UI 变更也会对照我们的设计规范进行检查。
Claude Code 的创造者 Boris Cherny 曾表示,给 Claude 提供一种验证自身工作的方式,是获得好结果最重要的一件事。他估计这能让最终结果好上两到三倍,并写道:"验证在每个领域看起来都不一样。它可能简单到只需运行一条 bash 命令,或运行一个 test suite,或在浏览器或手机模拟器中测试应用。"
**当自动 reviewer 反复标记同一问题时,我们从源头解决:**在 skill 中,通过一条 lint 规则,或通过更新指引性文件,例如:
CLAUDE.md告诉 Claude 这个项目是什么:技术栈、约定、目标和非目标。每次 review 都会加载它,因此在大型 codebase 中我们保持它简短,并从这里指向其他文档。reviewer 还会标记违反其中约定的代码,以及使其中某条内容过时的改动。REVIEW.md由 code owner 撰写,告诉 reviewer 在他们负责的那部分代码中什么最重要。我们会另行检查 reviewer 是否真的遵循了它。写得好的都很简短。它们会说明在该 repo 中,失败是什么样子(对文档来说是“它撒谎了”,对配置来说是“它路由错了”),限制 nit 的数量,列出应跳过的路径,并要求以文件和行号作为证据,而不是凭名字猜测。它们还要求 summary 以一个数字开头,并在没有需要修复的内容时明确说明。
2. 每个 pull request 上的 AI review
每个 pull request 在有人查看之前都会先经过 Claude review。它会结合整个 repo 和 PR 声明的意图来阅读 diff,并追问:该改动是否解决了它要解决的问题,是否契合整个系统,或者是否会破坏其他东西?
对于 bug 修复,它会寻找根本原因。公开版本 Code Review for Claude Code 现已在 Team 和 Enterprise 计划中正式推出,/code-review 则在本地运行一个更轻量的版本。
当我们发布研究预览版时,获得实质性 review 意见的内部 PR 占比从 16% 升至 54%。大多数超过 1,000 行的 PR 都会得到 findings,而大多数小型 PR 则干净无发现。管理员可以将每个 repo 设置为 Quick、Standard 或 Deep。在漏掉一个 bug 的代价高于额外 review 时间的地方,Deep 是值得的。
**Findings 在由人工 review 之前会先由其他 Agent 验证。**多个 Agent 同时寻找 bug。然后由另一组 Agent 对每个 finding 投票,只有当足够多的 Agent 认定它是真实的,它才会被发布。仅关于 style、diagnostics 或 cleanup 的 findings 会被丢弃。在保留这些过滤器之前,我们先在自己的 PR 上对它们做了 A/B 测试。剩下的会以按严重程度排序的 inline comment 形式呈现。每条都被标记为 Important、Nit 或 Pre-existing,这样 PR 未引入的 bug 就不会显得像是作者的错。
**每个 finding 都必须有回应。**你要么修复它,要么给出理由 resolve 该线程。通常一个 Agent 会在夜间接手修复,因此作者回来时会发现 PR 已经又过了一轮。
3. 可以阻止合并的 security review
安全也有自己的自动化 review。只要 bug review 或 security review 中还有任何未解决的 finding,PR 就无法合并。你要么修复它,要么用一句简短的理由关闭线程——这就是清除误报的方法。
如果后续某个 commit 修复了问题,该 finding 会自动清除。你可以使用开源的 security review GitHub Action 或 /security-review 命令来搭建同样的流程。设置方法在 Claude Code 中的自动化安全审查一文中有所介绍。
4. 可以阻止合并的自动化检查
常规的那套:lint、type check、各平台上的测试,以及一次 build。(我们在这里写过如何为这一体量扩展 CI。)一个典型的 CLI pull request 在有人查看之前可能要跑几十项检查。PR 模板会询问改动是如何测试的,以及如何撤销。Claude 可以填写这些内容,但提出该改动需求的人需要签字确认。
5. 人工审批,按风险分级
文档修复和 auto-updater 改动的风险不同,因此所需的审查也不同。
| 风险 | 示例 | 人工审批 |
|---|---|---|
| 低 | 文档、文案、仅限内部使用的功能、flag 后面的纯增量改动 | 自动化审查和安全检查通过后,无需人工审批 |
| 中 | 普通的产品改动,以及对 caching、auto-updater、system prompts 等敏感区域的改动 | 一人 |
| 高 | 风险最高的代码,外加一小部分始终需要两人审批的路径 | 两人 |
由改动本身决定等级,而非作者。 一个 classifier 会读取改动并判定其风险等级。第二个 classifier 会追问:即便其等级显示不需要,这次特定改动是否仍需要额外的人来审批。有些路径始终需要人工:任何被所有者列为敏感的内容,以及任何 CI workflow 文件。
只有受信任的作者才能走更轻量的路径。 只有在 repo 受信任名单上的作者才能走更轻量的路径,主要是该 repo 的所属团队。其他人则需要第二个人来审批。Agent 的审批也永远不能算作人的审批。自动化审查可以放行低风险改动,但无法顶替要求人工的名额。
谁发起的改动,谁就要为此负责。 在 agent 撰写的 PR 上,指挥 agent 的人算作必需的 reviewer 之一,和代码是他们亲手写的一样。
一次审批只覆盖一个特定 commit。 如果之后落入了系统无法担保的新 commit,比如 agent 的 push,或有人手动解决的 merge,审批就必须重新给出。
6. Merge queue、flag 与渐进式发布
merge queue 会在应用改动后针对 main 重新运行所有检查,这样两个分别通过的 PR 就不会叠加成一个坏掉的 main。新行为通常先隐藏在 flag 后面向 Anthropic 员工发布,我们的高强度使用常常赶在用户之前暴露出回归。公开发布首先进入 latest 渠道,stable 渠道随后跟上。
7. 快速检测,快速回滚
仍会有一些错误漏网,所以最后一层的目标是快速发现它们。Flag 无需 deploy 即可关闭。Claude Code 采用每周轮换的 on-call 制度,事故复盘会追问哪一层本应拦住这个问题。
发现一次糟糕的 merge 仍然依赖作者、on-call,以及 revert 和 incident 看板。我们还没有那种当这些数字变化时就收紧审批的 circuit breaker;这里的工程师希望在更多代码转向零人工 merge 之前,先引入这类机制。
一位同事说,放慢速度确实能降低出错率,但主要是因为你做的所有事情都变少了。我们更愿意在发现和修复问题上变得更快。
我们如何让 reviewer 变得更好
我们的代码审查流程在不断循环改进。
任何事故现在都会变成一个 eval。 团队收集了曾引发事故的历史 PR 及其对应的 fix-forward 和 revert,并让熟悉这些代码的工程师确认每个 bug 及其所在位置。reviewer 每天都会针对这套数据集运行。
我们的事故就是 eval,由过去的事故和 revert 构建,每天运行一次
图 C这个 eval 随每一起事故增长,而 reviewer 的每一次改动都会在这全部数据上打分评估。
我们通过观察人们对评论的处理来衡量噪音。 如果不介意标记大量非 bug,想“捕获更多 bug”很容易,所以我们需要对这一点加以约束。我们按 PR 上的人的回应方式,对 reviewer 留下的每条评论归类:修复了、说评论是错的、说该行为是有意为之,或认为无关紧要。我们还会在已知干净的 PR 上运行 reviewer,统计它多频繁地报告出本可能促使人做出有害改动的内容。我们白纸黑字写下的优先级是:先抓住真 bug,其次减少审查轮数。
当作者是 agent 时,噪音的代价更高。人可以在几秒内挥手打发掉一条 nit,而 agent 会去修它,这意味着又一个 commit,又一轮审查。
审查必须收敛。 一个 agent 作者和一个 agent reviewer 可以让彼此无限地忙碌下去。曾有一个 CLI PR 在一夜之间经历了五十多轮审查与修复,直到其作者叫停。
当我们对 reviewer 反复标记的内容运行 git blame 时,发现其中约 59% 是自 reviewer 第一轮审查起就已存在的代码。reviewer 很少发现新 bug,而是每一轮再多找出几个旧 bug。
这一点我们自己也有责任。我们已经习惯了默认运行多轮审查,因为每一轮总能抓到一些新问题。对高风险变更来说这可能值得,但不必对每个 PR 都这样做。团队现在把 rounds-to-pass 与 recall 放在一起跟踪,并改变了 re-review 的方式:
- 轮数上限。 三轮之后,reviewer 会要求 author 退一步,重新审视整体方案。
- 前几轮之后只进行 Diff-only re-review。
- **标记 bug 的类别,**让 author 修复所有同类实例,而不只是其中一行。
- 不重复已发布过的 findings。
Review Agent 还会在夜间对现有代码运行,帮助我们在旧 bug 蔓延到别处之前将其捕获。
收敛的审查内部 pull request,在收敛性变更前后的对比
FIG D收敛性变更后,每个内部 pull request 的审查轮数更少
人类保持参与决策的环节
为捕捉一个例行错误而把资深工程师从深度工作中拉出来,代价远高于一次自动化审查。在 Anthropic,我们的工作已经从阅读每一个 diff,转向机器不擅长的那些决策:
- 这件事到底该不该做? 方向、品味与范围。一个团队在宣布解决审查瓶颈之后,仍对来自团队外部的变更保留人工审查,这样就会有人问一句:“我们到底该不该做这件事?”
- 高风险代码,例如 billing、auto-updater 和 CI workflows。
- 架构,它设定了其他人会效仿的模式。
- 阅读证据。 测试输出、所执行的命令及其返回结果、截图、reviewer 的发现。如果你说不清这些检查可能漏掉什么,那就要求一次真正的审查,而不是快速批准。
- 对结果负责。 每一个发布的变更都有人对之负责,无论代码是谁敲出来的。
人类在何处决策五项决策留给人类;其余一切由检查覆盖
FIG E人们从阅读每一个 diff,转向机器不擅长的决策
在团队内共享上下文
Code review 的第二项职责,一直是传播对 codebase 的理解。阅读同事的 diff,正是你了解改动了什么、各部分如何契合的途径。如果大部分阅读由机器完成,人们又该如何学习代码?
对此我们并没有正式的流程。团队中没有人能在脑中保持 Claude Code 的完整心智模型,我们也不认为有人需要这样做。当有人想理解 codebase 的某一部分时,他们会请 Claude 专门为那一小块写一份 explainer。这只需几分钟,而且反映的是代码当下的真实状态。

我们中有些人还会更进一步,让 Claude 构建一个小型 artifact,将那部分代码可视化,并以那个人喜欢的学习方式来讲解它。
如果目标是善用人类的注意力,这比逐行阅读琐碎的 diff 更有效。一行文案的变更几乎教不会你什么;而一份针对你即将修改的模块的 explainer 能让你学到很多。我们默认在公开 Slack 频道中工作的文化也有帮助,因为你能在别人开发的同时看到他们在构建什么。
“谁合入,谁负责”
如果你合入了一个中小型改动,之后仍然出了问题,团队惯例通常是由你来修复。有几件事可以避免这种情况变糟:
- **改动都很小,**因此易于评审、调试和回滚。
- **一切都可逆。**借助 flag、revert 和分阶段发布,大多数错误几分钟内就能撤销。
- **影响范围决定标准。**代价高昂的代码会配备更多的人手和更多的检查。
- **回归问题会快速暴露,**这要归功于遥测和内部使用。
- **这不是问责。**负责修复意味着你掌握最完整的上下文;事故复盘审视的是系统本身。
所有权也是共享的。团队大部分工作都在开放频道中进行,任何人都能看到别人在构建什么、接手某个话题,或让 Claude 去补上某个缺口,而且反馈也来自并非代码 owner 的人。正是这种开放性,让质量在没有逐行把关的情况下依然保持在高水准。
当我们改变方向时
Agent 让“开始一件事”变得很便宜,因此有些工作并不值得合入。通常频道里会有人问为什么、指出之前的某个决定,或建议一条更简单的路线,然后作者就会关闭或重塑这个 PR。
既然代码写起来很快,关闭 PR 也不会让人觉得是损失。诀窍在于尽早在线程中提出不同方向,而不是在已完成的 PR 上留下阻塞式评论。
你如何采用这套流程
要在你们团队中实践这套流程,所需的大部分环节今天已经具备。
在 pull request 之前
- 让你的 Agent 拥有可运行的检查,列在一份简短的
CLAUDE.md中,再加上运行格式化工具和 linter 的 hooks。 - 在本地运行
/code-review和/security-review,或使用全新上下文的 subagent 进行评审。 - 添加一个
REVIEW.md,把反复出现的评审意见移进去。
在每个 pull request 上
- 强制要求 CI,并在 PR 模板中加入“测试”、“风险”和“如何回滚”几项。
- 先在一个 repo 中添加 AI 评审者(Code Review for Claude Code,或 Claude Code GitHub Action),花几周时间调整
REVIEW.md,然后再扩大范围。 - 添加自动化安全评审,并要求合并前所有评审线程都已解决。
- 让评审力度与风险匹配:常规改动快速过一遍,漏掉 bug 代价高昂的地方则深入评审(Code Review 中的 Quick、Standard 或 Deep)。
- 限制评审轮数;前几轮之后,只重新评审新增的 diff。
批准
- 把风险分级写下来,依据是改动本身而非作者;先严格,再根据证据逐步放宽。
- 为你信任的作者保留更轻量的批准路径。
- 使用 CODEOWNERS 和分支保护,确保 auth、billing、CI 与发布流程以及安装程序始终需要人工参与。
- 绝不让 bot 的批准取代必需的人工批准;有新提交时撤销已有批准。
合并及之后
- 使用 merge queue、feature flags、内部先行使用、分阶段发布和一步回滚。
- 把事故和 revert 沉淀为 eval set,并在评审者的 prompts、工具或模型发生变化时重新对其评分。
- 度量人工时间,并以 revert 率和事故率作为护栏。
这将走向何方
Code Review 的发布公告指出,批准一个 pull request 仍然由人来决定;该产品只发布发现的问题,而非批准。我们自己的 repo 走得更远,让 owner 决定哪些低风险改动仅凭自动化检查即可合并,而这条线还在不断移动。
当评审漏掉了什么,我们会问模型当时面前缺少了什么信息,并把修复写入 CLAUDE.md、一个 skill 或一条新的检查。目标从未改变:每次改动耗费的人工时间更少,revert 不比以前更多。
如果你的团队让 Agent 来发起 pull request,我们很乐意听到你们自动化了哪些检查、哪些仍需要人工,以及你认为我们有哪些地方做得不对。
感谢 Emma Webb、Michael Segner 和 Amie Rotherham 参与评审。