Claude Code 团队如何构建验证机制

原文链接: https://x.com/addyosmani/status/2122590683055993308 来源: x.com 发现于: 管理台手动提交 说明: 本文由 AIHot汪 自动聚合(原文即中文,未翻译)


AI 总结

这篇文章是 Addy Osmani 于 2026 年 11 月 17 日发布的长文:

《How the Claude Code team thinks about verification》

中文可以翻译为:Claude Code 团队如何构建验证机制。

它讨论的是 AI 编程 Agent 一个非常核心的问题:

当 90% 的代码都由 AI 编写,甚至代码审查也由 AI 完成时,如何确保 AI 没有把错误当成正确答案?

文章最重要的观点是:AI 编程的瓶颈正在从代码生成能力,转向代码验证能力。

这不是简单地让另一个 AI 检查代码,而是建立一套能够独立验证、发现问题、反复修正的工程体系。hubwiz.com +1

一、三种最值得投资的测试

文章强调三种测试各有分工。

测试类型 核心作用 典型场景
E2E 端到端测试 验证真实用户流程是否完整可用 登录、下单、支付、确认
属性测试 验证系统必须始终成立的不变量 数据序列化、幂等性、边界输入
差分测试 对比新旧系统输出是否一致 系统重构、代码迁移、版本升级

1. E2E 测试:最重要

让 Agent 真正启动应用,通过浏览器、模拟器或 API 操作系统。

例如:

  • 启动应用。

  • 登录。

  • 执行核心功能。

  • 检查最终结果。

  • 失败时提供截图、执行轨迹和具体失败步骤。

而不是仅仅看单元测试有没有通过。

2. 属性测试:寻找人类和 AI 都容易忽略的边界问题

例如:

  • 编码后再解码,数据必须保持一致。

  • 同一个操作执行两次,结果应当与执行一次相同。

  • 账户余额不能出现负数。

  • 优化后的实现必须与原始正确实现等价。

通过自动生成成千上万个随机输入,寻找隐藏问题。

3. 差分测试:让旧系统充当裁判

相同输入同时交给新旧系统,比较输出。

特别适合大型重构、数据库迁移和系统升级。

二、Anthropic 内部的验证机制

这是全文最有价值的部分。

1. 验证必须真正运行起来

核心原则

Claude Code 团队使用 verify Skill,将应用启动、操作和检查流程固化。

  • Web:Claude Chrome

  • 移动端:iOS / Android MCP

  • 桌面端:Computer Use

  • 后端:本地启动服务

Skill 本身也需要不断测试和优化。

2. 连续失败三轮,必须交给人

Agent 自己运行检查、修复问题、重新验证。

如果同一检查三轮仍未通过,就停止自动修复并通知人工介入。

3. 谁负责代码,谁负责检查

代码所有者编写对应的检查规则,并不断调整,直到检查结果符合其本人的审查标准。

检查不能只是抛出一个错误,而要说明为什么需要人工介入。

4. 39 项可靠性清单,按代码变更触发

团队维护了 39 项可靠性检查,每一项都有:

  • 触发条件

  • 对应检查

  • 历史事故或 PR 依据

Agent 先读取代码 diff,只运行相关检查,通常命中 3~10 项。

这比每次都跑完整检查更高效。

5. 一个主评审者,多轮迭代

不通过无限增加 AI Reviewer 来提高质量。

而是通过 REVIEW.md 告诉主评审者本次变更应该重点检查什么。

每一轮继承前面发现的问题和验证历史,避免从头重复检查。

6. 检查规则不能被被检查的代码修改

这是一个非常重要的安全设计。

Anthropic 的 REVIEW.md 从基线分支读取,而不是从当前 PR 读取。

否则 Agent 可以修改自己的检查规则,再给自己的代码打上通过标签。

评审还绑定具体 commit,避免代码变化后沿用旧的通过结果。

7. 先运行便宜的检查

在提交 PR 之前,先执行:

  • 测试

  • 构建

  • Linter

通过 Hook 或 Goal 强制执行,避免把明显错误交给昂贵的 CI 和人工评审。

8. 新规则先观察,再强制执行

提交闸门有三种状态:

模式 行为
Off 关闭
Observe 只记录本来会拦截的提交
Enforce 真正阻止不合格提交

先观察规则是否误判,再启用强制模式。

为避免 Agent 卡死,同一会话被拦截两次后,下一次会放行。

9. 验证系统本身也要接受评估

关注三个指标:

  • 合并后被回滚的代码比例。

  • 维护者在合并前拒绝的代码比例。

  • 与之对照的、合并后一直稳定的代码。

而且分别统计原始发现、验证后、最终评审后的 Bug 召回率。

不能只看一个综合得分。

10. 把漏掉的 Bug 变成永久规则

如果某种问题重复出现,就分析是否可以形成新的检查规则。

Anthropic 的做法是:

  • 至少在两个 PR 中出现过。

  • 能够从代码 diff 中识别。

  • 让三个 Agent 尝试反驳这条规则。

  • 最终由人通过 PR 审核批准。

同时定期清理失效、重复和不再有价值的规则。

hubwiz.com

三、对你目前 Agent 工作流的实际价值

结合你之前使用的 Claude Code、CCR、本地 vLLM、Hermes 和 OpenClaw,我认为这篇文章最值得借鉴的不是测试技术,而是它改变了 Agent 的工作方式。

过去的工作流:

用户提出需求

Agent 编写代码

Agent 声称任务完成

人类检查代码、发现问题

建议升级成:

用户提出需求,明确验收标准

Agent 编写代码

自动执行测试、构建、E2E

失败 → Agent 修复 → 再次验证

通过

提交交付

三轮失败

人工介入

我建议优先落地的 4 项

优先级 实施内容 具体做法
P0 验收标准 每个任务先定义 Definition of Done
P0 Verify Skill 每个项目建立自动验证入口
P1 Diff 检查清单 根据变更文件触发对应检查
P1 自动交接报告 记录修改内容、测试结果、未解决问题

尤其是 Verify Skill,可以成为你不同 Agent、不同模型之间的统一接口。

例如,本地 Qwen 负责写代码,Claude 负责复杂问题修复,另一个 Agent 负责验证。它们不需要使用同一个模型,但必须遵循同一套验收标准。

四、我对这篇文章的判断

值得认真借鉴

我认为它有三个重要启示:

1. Agent 的并行能力取决于验证能力。

没有可靠验证,开十个 Agent 就相当于雇十个不需要对结果负责的程序员。

有了验证机制,人才不需要逐行检查所有代码,只需要处理异常。

2. Skill 的价值不只是提供知识,而是提供可执行的工作流程。

一个好的 Verify Skill 应该能启动环境、执行操作、判断结果、输出证据,而不是一篇告诉 Agent 应该怎么测试的说明文档。

3. 真正成熟的 Agent 系统,需要积累项目级的工程经验。

一次 Bug 不应该只被修复,还应该沉淀成规则,避免下一次重复犯错。

需要注意:文中的 90%、39 项、最多提升 10 个百分点等数字来自作者对内部实践的描述,没有公开完整样本和独立验证,不能直接当成行业基准。hubwiz.com

最终结论:

这篇文章实际上提出了一种新的 AI 软件工程管理模式:

过去是人监督 AI 写代码,现在是人定义规则、验收标准和验证机制,让 AI 自己证明工作已经完成。

这和你之前考虑的 Personal Agent 项目管理方向是互补的:

  • Personal Agent:负责项目进度、任务分配、上下文和跨会话交接。

  • Verification Loop:负责代码质量、测试、验收和失败升级。

  • 人:负责目标、架构决策和最终授权。

项目管理解决 Agent 有没有持续推进,验证机制解决 Agent 推进的东西到底能不能用。

两者结合,才是真正值得投入的 Agent 工程体系。