Claude Code 团队公开了他们审查 AI 代码的具体工作流程

原文链接: https://claude.dev/blog/solving-code-review-at-anthropic/ 来源: Anthropic 发现于: 小互 · AI 解读站 · 2026/10/17 说明: 本文由 AIHot 自动聚合,并由 GLM 翻译为中文(保留全部代码与链接)


我们之前说过,Claude 编写了 Claude Code 自身约 90% 的代码。那么,在如此大的产量下,我们如何审查代码?还有人读代码吗?如果出了问题,谁来发现?

本文介绍 Claude Code 团队的代码审查流程及其演变。从 6 月到 9 月,合并进 Claude Code 代码库的 pull request 数量翻了一倍多,而必须被 revert 的比例下降了超过 40%。

我们没有取消审查。但我们确实把大部分阅读工作交给了机器,围绕人类的时间和注意力做优化,并投入大量精力让撤销错误变得快速而简单。

重新思考代码审查的目的

当 Agent 开始写代码,变更数量会快速上升。在 Anthropic 的 monorepo 中,每天落地的变更数量从今年5 月的约 2,500 次增长到 9 月的超过 30,000 次。

Claude Code 位于自己独立的仓库中,与 monorepo 分开,但也面临着很大的压力。当发布速度如此之快时,人工逐行的代码审查即使不是不可能,也极其困难。

代码审查承担两项工作:

  1. 在发布前发现并修复问题
  2. 在团队内建立共享上下文和对代码库的共同理解

本文主要聚焦于发现和修复问题,但我们会在接近结尾处回到第二项工作。

我们认为,“有没有人类读过这段代码?”是“这个变更可能出什么问题、哪项检查——自动的还是人工的——才是发现它的正确手段?”这一问题的不精确代理指标。

提出这个问题也改变了审查发生的时机。以前,审查是流程尽头的一道关卡:写代码、开 PR、等同事。

现在,审查持续运行,更像是写作时的拼写检查。大多数变更在被要求人类查看之前,已经由 Claude 审查并修复过至少一次。这能捕获大部分常规错误,把团队的注意力留给更高层级的问题和审视。

稀缺资源:人类的时间与注意力

我们希望把人类的时间和注意力留给只有人类才能解决的问题,并确保其余部分由自动化检查捕获。以我们当前的变更速度,人类仍然有海量工作要做,而且我们团队几乎每天都会遇到新的、前所未有的挑战。

人类时间涵盖审查成本的两面:人们花在审查上的时间,以及他们花在修复坏代码所破坏内容上的时间。如果削减前者的时间只是转移到了后者,那并没有帮助。

因此,目标是让 Claude Code 各仓库(CLI、桌面和 Web 应用,以及移动应用)中的大多数 pull request 在至多一名人类参与的情况下合并——这个人可以是作者本人——同时 revert 率和事故率不上升。为了衡量人类时间,我们跟踪每个 PR 的人类批准数(中位数和第 95 百分位)、人类评论数,以及 PR 等待人类处理的时间。revert 率和事故率是护栏:如果它们上升,说明我们没有省下人类时间,只是把它转移了。

一个变更的生命周期

一个典型的变更,从工程师的笔记本电脑(或 Slack 中的 Claude 会话)出发,要经过多层的代码审查。

一个变更的生命周期一个典型的 Claude Code 变更,从作者的机器到用户手中

FIG A大部分流程是自动化的;人的注意力只投向有风险的地方

逐层拆解

层层设防,而非单道关卡六层检查,底下还有 rollback 兜底

FIG B每一层都会捕获一些问题,也会漏掉另一些。很少有东西能穿过所有层,剩下由 rollback 处理。

1. 在任何人查看之前,工作先经过验证

现在,大部分审查发生在 PR 出现之前。我们给 Claude 一段它能运行的东西——比如测试、一次构建,或一张与设计稿对比的截图——并要求它展示输出,而不是声称完成了。然后由一个 subagent 以全新上下文审查 diff。这两个习惯都来自我们的最佳实践指南。

在打开 PR 之前,我们很多人还会运行几个内部 skills:一个查找 bug,一个简化 diff,还有一个端到端地检查行为。UI 变更也会对照我们的设计规范进行检查。

Claude Code 的创造者 Boris Cherny 曾表示,给 Claude 提供一种验证自身工作的方式,是获得好结果最重要的一件事。他估计这能让最终结果好上两到三倍,并写道:"验证在每个领域看起来都不一样。它可能简单到只需运行一条 bash 命令,或运行一个 test suite,或在浏览器或手机模拟器中测试应用。"

**当自动 reviewer 反复标记同一问题时,我们从源头解决:**在 skill 中,通过一条 lint 规则,或通过更新指引性文件,例如:

  • CLAUDE.md 告诉 Claude 这个项目是什么:技术栈、约定、目标和非目标。每次 review 都会加载它,因此在大型 codebase 中我们保持它简短,并从这里指向其他文档。reviewer 还会标记违反其中约定的代码,以及使其中某条内容过时的改动。
  • REVIEW.md 由 code owner 撰写,告诉 reviewer 在他们负责的那部分代码中什么最重要。我们会另行检查 reviewer 是否真的遵循了它。写得好的都很简短。它们会说明在该 repo 中,失败是什么样子(对文档来说是“它撒谎了”,对配置来说是“它路由错了”),限制 nit 的数量,列出应跳过的路径,并要求以文件和行号作为证据,而不是凭名字猜测。它们还要求 summary 以一个数字开头,并在没有需要修复的内容时明确说明。

2. 每个 pull request 上的 AI review

每个 pull request 在有人查看之前都会先经过 Claude review。它会结合整个 repo 和 PR 声明的意图来阅读 diff,并追问:该改动是否解决了它要解决的问题,是否契合整个系统,或者是否会破坏其他东西?

对于 bug 修复,它会寻找根本原因。公开版本 Code Review for Claude Code 现已在 Team 和 Enterprise 计划中正式推出,/code-review 则在本地运行一个更轻量的版本。

当我们发布研究预览版时,获得实质性 review 意见的内部 PR 占比从 16% 升至 54%。大多数超过 1,000 行的 PR 都会得到 findings,而大多数小型 PR 则干净无发现。管理员可以将每个 repo 设置为 Quick、Standard 或 Deep。在漏掉一个 bug 的代价高于额外 review 时间的地方,Deep 是值得的。

**Findings 在由人工 review 之前会先由其他 Agent 验证。**多个 Agent 同时寻找 bug。然后由另一组 Agent 对每个 finding 投票,只有当足够多的 Agent 认定它是真实的,它才会被发布。仅关于 style、diagnostics 或 cleanup 的 findings 会被丢弃。在保留这些过滤器之前,我们先在自己的 PR 上对它们做了 A/B 测试。剩下的会以按严重程度排序的 inline comment 形式呈现。每条都被标记为 Important、Nit 或 Pre-existing,这样 PR 未引入的 bug 就不会显得像是作者的错。

**每个 finding 都必须有回应。**你要么修复它,要么给出理由 resolve 该线程。通常一个 Agent 会在夜间接手修复,因此作者回来时会发现 PR 已经又过了一轮。

3. 可以阻止合并的 security review

安全也有自己的自动化 review。只要 bug review 或 security review 中还有任何未解决的 finding,PR 就无法合并。你要么修复它,要么用一句简短的理由关闭线程——这就是清除误报的方法。

如果后续某个 commit 修复了问题,该 finding 会自动清除。你可以使用开源的 security review GitHub Action 或 /security-review 命令来搭建同样的流程。设置方法在 Claude Code 中的自动化安全审查一文中有所介绍。

4. 可以阻止合并的自动化检查

常规的那套:lint、type check、各平台上的测试,以及一次 build。(我们在这里写过如何为这一体量扩展 CI。)一个典型的 CLI pull request 在有人查看之前可能要跑几十项检查。PR 模板会询问改动是如何测试的,以及如何撤销。Claude 可以填写这些内容,但提出该改动需求的人需要签字确认。

5. 人工审批,按风险分级

文档修复和 auto-updater 改动的风险不同,因此所需的审查也不同。

风险 示例 人工审批
低 文档、文案、仅限内部使用的功能、flag 后面的纯增量改动 自动化审查和安全检查通过后,无需人工审批
中 普通的产品改动,以及对 caching、auto-updater、system prompts 等敏感区域的改动 一人
高 风险最高的代码,外加一小部分始终需要两人审批的路径 两人

由改动本身决定等级,而非作者。 一个 classifier 会读取改动并判定其风险等级。第二个 classifier 会追问:即便其等级显示不需要,这次特定改动是否仍需要额外的人来审批。有些路径始终需要人工:任何被所有者列为敏感的内容,以及任何 CI workflow 文件。

只有受信任的作者才能走更轻量的路径。 只有在 repo 受信任名单上的作者才能走更轻量的路径,主要是该 repo 的所属团队。其他人则需要第二个人来审批。Agent 的审批也永远不能算作人的审批。自动化审查可以放行低风险改动,但无法顶替要求人工的名额。

谁发起的改动,谁就要为此负责。 在 agent 撰写的 PR 上,指挥 agent 的人算作必需的 reviewer 之一,和代码是他们亲手写的一样。

一次审批只覆盖一个特定 commit。 如果之后落入了系统无法担保的新 commit,比如 agent 的 push,或有人手动解决的 merge,审批就必须重新给出。

6. Merge queue、flag 与渐进式发布

merge queue 会在应用改动后针对 main 重新运行所有检查,这样两个分别通过的 PR 就不会叠加成一个坏掉的 main。新行为通常先隐藏在 flag 后面向 Anthropic 员工发布,我们的高强度使用常常赶在用户之前暴露出回归。公开发布首先进入 latest 渠道,stable 渠道随后跟上。

7. 快速检测,快速回滚

仍会有一些错误漏网,所以最后一层的目标是快速发现它们。Flag 无需 deploy 即可关闭。Claude Code 采用每周轮换的 on-call 制度,事故复盘会追问哪一层本应拦住这个问题。

发现一次糟糕的 merge 仍然依赖作者、on-call,以及 revert 和 incident 看板。我们还没有那种当这些数字变化时就收紧审批的 circuit breaker;这里的工程师希望在更多代码转向零人工 merge 之前,先引入这类机制。

一位同事说,放慢速度确实能降低出错率,但主要是因为你做的所有事情都变少了。我们更愿意在发现和修复问题上变得更快。

我们如何让 reviewer 变得更好

我们的代码审查流程在不断循环改进。

任何事故现在都会变成一个 eval。 团队收集了曾引发事故的历史 PR 及其对应的 fix-forward 和 revert,并让熟悉这些代码的工程师确认每个 bug 及其所在位置。reviewer 每天都会针对这套数据集运行。

我们的事故就是 eval,由过去的事故和 revert 构建,每天运行一次

图 C这个 eval 随每一起事故增长,而 reviewer 的每一次改动都会在这全部数据上打分评估。

我们通过观察人们对评论的处理来衡量噪音。 如果不介意标记大量非 bug,想“捕获更多 bug”很容易,所以我们需要对这一点加以约束。我们按 PR 上的人的回应方式,对 reviewer 留下的每条评论归类:修复了、说评论是错的、说该行为是有意为之,或认为无关紧要。我们还会在已知干净的 PR 上运行 reviewer,统计它多频繁地报告出本可能促使人做出有害改动的内容。我们白纸黑字写下的优先级是:先抓住真 bug,其次减少审查轮数。

当作者是 agent 时,噪音的代价更高。人可以在几秒内挥手打发掉一条 nit,而 agent 会去修它,这意味着又一个 commit,又一轮审查。

审查必须收敛。 一个 agent 作者和一个 agent reviewer 可以让彼此无限地忙碌下去。曾有一个 CLI PR 在一夜之间经历了五十多轮审查与修复,直到其作者叫停。

当我们对 reviewer 反复标记的内容运行 git blame 时,发现其中约 59% 是自 reviewer 第一轮审查起就已存在的代码。reviewer 很少发现新 bug,而是每一轮再多找出几个旧 bug。

这一点我们自己也有责任。我们已经习惯了默认运行多轮审查,因为每一轮总能抓到一些新问题。对高风险变更来说这可能值得,但不必对每个 PR 都这样做。团队现在把 rounds-to-pass 与 recall 放在一起跟踪,并改变了 re-review 的方式:

  • 轮数上限。 三轮之后,reviewer 会要求 author 退一步,重新审视整体方案。
  • 前几轮之后只进行 Diff-only re-review。
  • **标记 bug 的类别,**让 author 修复所有同类实例,而不只是其中一行。
  • 不重复已发布过的 findings。

Review Agent 还会在夜间对现有代码运行,帮助我们在旧 bug 蔓延到别处之前将其捕获。

收敛的审查内部 pull request,在收敛性变更前后的对比

FIG D收敛性变更后,每个内部 pull request 的审查轮数更少

人类保持参与决策的环节

为捕捉一个例行错误而把资深工程师从深度工作中拉出来,代价远高于一次自动化审查。在 Anthropic,我们的工作已经从阅读每一个 diff,转向机器不擅长的那些决策:

  • 这件事到底该不该做? 方向、品味与范围。一个团队在宣布解决审查瓶颈之后,仍对来自团队外部的变更保留人工审查,这样就会有人问一句:“我们到底该不该做这件事?”
  • 高风险代码,例如 billing、auto-updater 和 CI workflows。
  • 架构,它设定了其他人会效仿的模式。
  • 阅读证据。 测试输出、所执行的命令及其返回结果、截图、reviewer 的发现。如果你说不清这些检查可能漏掉什么,那就要求一次真正的审查,而不是快速批准。
  • 对结果负责。 每一个发布的变更都有人对之负责,无论代码是谁敲出来的。

人类在何处决策五项决策留给人类;其余一切由检查覆盖

FIG E人们从阅读每一个 diff,转向机器不擅长的决策

在团队内共享上下文

Code review 的第二项职责,一直是传播对 codebase 的理解。阅读同事的 diff,正是你了解改动了什么、各部分如何契合的途径。如果大部分阅读由机器完成,人们又该如何学习代码?

对此我们并没有正式的流程。团队中没有人能在脑中保持 Claude Code 的完整心智模型,我们也不认为有人需要这样做。当有人想理解 codebase 的某一部分时,他们会请 Claude 专门为那一小块写一份 explainer。这只需几分钟,而且反映的是代码当下的真实状态。

标题为“如果大部分阅读由机器完成,人们该如何学习代码?”的示意图。左侧是一个代表 codebase 的网格,其中几个方格被高亮显示为 managed settings,即你想理解的部分;没有人能在脑中保持它的完整心智模型。一条标注“就问 Claude 那一小块”的箭头,附带示例问题"How does Claude Code retrieve managed settings?",通向两个结果:Claude 写一份 explainer,只需几分钟并反映代码当下的真实状态;以及,对某些人而言,Claude 构建一个小型 artifact,将那部分代码可视化,并以那个人喜欢的学习方式来讲解。底部:逐行阅读琐碎的 diff,一行文案的变更几乎教不会你什么;针对你即将修改的模块的一份 explainer 却能让你学到很多。

我们中有些人还会更进一步,让 Claude 构建一个小型 artifact,将那部分代码可视化,并以那个人喜欢的学习方式来讲解它。

如果目标是善用人类的注意力,这比逐行阅读琐碎的 diff 更有效。一行文案的变更几乎教不会你什么;而一份针对你即将修改的模块的 explainer 能让你学到很多。我们默认在公开 Slack 频道中工作的文化也有帮助,因为你能在别人开发的同时看到他们在构建什么。

“谁合入,谁负责”

如果你合入了一个中小型改动,之后仍然出了问题,团队惯例通常是由你来修复。有几件事可以避免这种情况变糟:

  • **改动都很小,**因此易于评审、调试和回滚。
  • **一切都可逆。**借助 flag、revert 和分阶段发布,大多数错误几分钟内就能撤销。
  • **影响范围决定标准。**代价高昂的代码会配备更多的人手和更多的检查。
  • **回归问题会快速暴露,**这要归功于遥测和内部使用。
  • **这不是问责。**负责修复意味着你掌握最完整的上下文;事故复盘审视的是系统本身。

所有权也是共享的。团队大部分工作都在开放频道中进行,任何人都能看到别人在构建什么、接手某个话题,或让 Claude 去补上某个缺口,而且反馈也来自并非代码 owner 的人。正是这种开放性,让质量在没有逐行把关的情况下依然保持在高水准。

当我们改变方向时

Agent 让“开始一件事”变得很便宜,因此有些工作并不值得合入。通常频道里会有人问为什么、指出之前的某个决定,或建议一条更简单的路线,然后作者就会关闭或重塑这个 PR。

既然代码写起来很快,关闭 PR 也不会让人觉得是损失。诀窍在于尽早在线程中提出不同方向,而不是在已完成的 PR 上留下阻塞式评论。

你如何采用这套流程

要在你们团队中实践这套流程,所需的大部分环节今天已经具备。

在 pull request 之前

  • 让你的 Agent 拥有可运行的检查,列在一份简短的 CLAUDE.md 中,再加上运行格式化工具和 linter 的 hooks。
  • 在本地运行 /code-review 和 /security-review,或使用全新上下文的 subagent 进行评审。
  • 添加一个 REVIEW.md,把反复出现的评审意见移进去。

在每个 pull request 上

  • 强制要求 CI,并在 PR 模板中加入“测试”、“风险”和“如何回滚”几项。
  • 先在一个 repo 中添加 AI 评审者(Code Review for Claude Code,或 Claude Code GitHub Action),花几周时间调整 REVIEW.md,然后再扩大范围。
  • 添加自动化安全评审,并要求合并前所有评审线程都已解决。
  • 让评审力度与风险匹配:常规改动快速过一遍,漏掉 bug 代价高昂的地方则深入评审(Code Review 中的 Quick、Standard 或 Deep)。
  • 限制评审轮数;前几轮之后,只重新评审新增的 diff。

批准

  • 把风险分级写下来,依据是改动本身而非作者;先严格,再根据证据逐步放宽。
  • 为你信任的作者保留更轻量的批准路径。
  • 使用 CODEOWNERS 和分支保护,确保 auth、billing、CI 与发布流程以及安装程序始终需要人工参与。
  • 绝不让 bot 的批准取代必需的人工批准;有新提交时撤销已有批准。

合并及之后

  • 使用 merge queue、feature flags、内部先行使用、分阶段发布和一步回滚。
  • 把事故和 revert 沉淀为 eval set,并在评审者的 prompts、工具或模型发生变化时重新对其评分。
  • 度量人工时间,并以 revert 率和事故率作为护栏。

这将走向何方

Code Review 的发布公告指出,批准一个 pull request 仍然由人来决定;该产品只发布发现的问题,而非批准。我们自己的 repo 走得更远,让 owner 决定哪些低风险改动仅凭自动化检查即可合并,而这条线还在不断移动。

当评审漏掉了什么,我们会问模型当时面前缺少了什么信息,并把修复写入 CLAUDE.md、一个 skill 或一条新的检查。目标从未改变:每次改动耗费的人工时间更少,revert 不比以前更多。

如果你的团队让 Agent 来发起 pull request,我们很乐意听到你们自动化了哪些检查、哪些仍需要人工,以及你认为我们有哪些地方做得不对。

感谢 Emma Webb、Michael Segner 和 Amie Rotherham 参与评审。