Claude Code 团队如何构建验证机制
原文链接: https://x.com/addyosmani/status/2122590683055993308 来源: x.com 发现于: 管理台手动提交 说明: 本文由 AIHot汪 自动聚合(原文即中文,未翻译)
AI 总结
这篇文章是 Addy Osmani 于 2026 年 11 月 17 日发布的长文:
《How the Claude Code team thinks about verification》
中文可以翻译为:Claude Code 团队如何构建验证机制。
它讨论的是 AI 编程 Agent 一个非常核心的问题:
当 90% 的代码都由 AI 编写,甚至代码审查也由 AI 完成时,如何确保 AI 没有把错误当成正确答案?
文章最重要的观点是:AI 编程的瓶颈正在从代码生成能力,转向代码验证能力。
这不是简单地让另一个 AI 检查代码,而是建立一套能够独立验证、发现问题、反复修正的工程体系。hubwiz.com +1
一、三种最值得投资的测试
文章强调三种测试各有分工。
| 测试类型 | 核心作用 | 典型场景 |
|---|---|---|
| E2E 端到端测试 | 验证真实用户流程是否完整可用 | 登录、下单、支付、确认 |
| 属性测试 | 验证系统必须始终成立的不变量 | 数据序列化、幂等性、边界输入 |
| 差分测试 | 对比新旧系统输出是否一致 | 系统重构、代码迁移、版本升级 |
1. E2E 测试:最重要
让 Agent 真正启动应用,通过浏览器、模拟器或 API 操作系统。
例如:
启动应用。
登录。
执行核心功能。
检查最终结果。
失败时提供截图、执行轨迹和具体失败步骤。
而不是仅仅看单元测试有没有通过。
2. 属性测试:寻找人类和 AI 都容易忽略的边界问题
例如:
编码后再解码,数据必须保持一致。
同一个操作执行两次,结果应当与执行一次相同。
账户余额不能出现负数。
优化后的实现必须与原始正确实现等价。
通过自动生成成千上万个随机输入,寻找隐藏问题。
3. 差分测试:让旧系统充当裁判
相同输入同时交给新旧系统,比较输出。
特别适合大型重构、数据库迁移和系统升级。
二、Anthropic 内部的验证机制
这是全文最有价值的部分。
1. 验证必须真正运行起来
核心原则
Claude Code 团队使用 verify Skill,将应用启动、操作和检查流程固化。
Web:Claude Chrome
移动端:iOS / Android MCP
桌面端:Computer Use
后端:本地启动服务
Skill 本身也需要不断测试和优化。
2. 连续失败三轮,必须交给人
Agent 自己运行检查、修复问题、重新验证。
如果同一检查三轮仍未通过,就停止自动修复并通知人工介入。
3. 谁负责代码,谁负责检查
代码所有者编写对应的检查规则,并不断调整,直到检查结果符合其本人的审查标准。
检查不能只是抛出一个错误,而要说明为什么需要人工介入。
4. 39 项可靠性清单,按代码变更触发
团队维护了 39 项可靠性检查,每一项都有:
触发条件
对应检查
历史事故或 PR 依据
Agent 先读取代码 diff,只运行相关检查,通常命中 3~10 项。
这比每次都跑完整检查更高效。
5. 一个主评审者,多轮迭代
不通过无限增加 AI Reviewer 来提高质量。
而是通过 REVIEW.md 告诉主评审者本次变更应该重点检查什么。
每一轮继承前面发现的问题和验证历史,避免从头重复检查。
6. 检查规则不能被被检查的代码修改
这是一个非常重要的安全设计。
Anthropic 的 REVIEW.md 从基线分支读取,而不是从当前 PR 读取。
否则 Agent 可以修改自己的检查规则,再给自己的代码打上通过标签。
评审还绑定具体 commit,避免代码变化后沿用旧的通过结果。
7. 先运行便宜的检查
在提交 PR 之前,先执行:
测试
构建
Linter
通过 Hook 或 Goal 强制执行,避免把明显错误交给昂贵的 CI 和人工评审。
8. 新规则先观察,再强制执行
提交闸门有三种状态:
| 模式 | 行为 |
|---|---|
| Off | 关闭 |
| Observe | 只记录本来会拦截的提交 |
| Enforce | 真正阻止不合格提交 |
先观察规则是否误判,再启用强制模式。
为避免 Agent 卡死,同一会话被拦截两次后,下一次会放行。
9. 验证系统本身也要接受评估
关注三个指标:
合并后被回滚的代码比例。
维护者在合并前拒绝的代码比例。
与之对照的、合并后一直稳定的代码。
而且分别统计原始发现、验证后、最终评审后的 Bug 召回率。
不能只看一个综合得分。
10. 把漏掉的 Bug 变成永久规则
如果某种问题重复出现,就分析是否可以形成新的检查规则。
Anthropic 的做法是:
至少在两个 PR 中出现过。
能够从代码 diff 中识别。
让三个 Agent 尝试反驳这条规则。
最终由人通过 PR 审核批准。
同时定期清理失效、重复和不再有价值的规则。
hubwiz.com
三、对你目前 Agent 工作流的实际价值
结合你之前使用的 Claude Code、CCR、本地 vLLM、Hermes 和 OpenClaw,我认为这篇文章最值得借鉴的不是测试技术,而是它改变了 Agent 的工作方式。
过去的工作流:
用户提出需求
Agent 编写代码
Agent 声称任务完成
人类检查代码、发现问题
建议升级成:
用户提出需求,明确验收标准
Agent 编写代码
自动执行测试、构建、E2E
失败 → Agent 修复 → 再次验证
通过
提交交付
三轮失败
人工介入
我建议优先落地的 4 项
| 优先级 | 实施内容 | 具体做法 |
|---|---|---|
| P0 | 验收标准 | 每个任务先定义 Definition of Done |
| P0 | Verify Skill | 每个项目建立自动验证入口 |
| P1 | Diff 检查清单 | 根据变更文件触发对应检查 |
| P1 | 自动交接报告 | 记录修改内容、测试结果、未解决问题 |
尤其是 Verify Skill,可以成为你不同 Agent、不同模型之间的统一接口。
例如,本地 Qwen 负责写代码,Claude 负责复杂问题修复,另一个 Agent 负责验证。它们不需要使用同一个模型,但必须遵循同一套验收标准。
四、我对这篇文章的判断
值得认真借鉴
我认为它有三个重要启示:
1. Agent 的并行能力取决于验证能力。
没有可靠验证,开十个 Agent 就相当于雇十个不需要对结果负责的程序员。
有了验证机制,人才不需要逐行检查所有代码,只需要处理异常。
2. Skill 的价值不只是提供知识,而是提供可执行的工作流程。
一个好的 Verify Skill 应该能启动环境、执行操作、判断结果、输出证据,而不是一篇告诉 Agent 应该怎么测试的说明文档。
3. 真正成熟的 Agent 系统,需要积累项目级的工程经验。
一次 Bug 不应该只被修复,还应该沉淀成规则,避免下一次重复犯错。
需要注意:文中的 90%、39 项、最多提升 10 个百分点等数字来自作者对内部实践的描述,没有公开完整样本和独立验证,不能直接当成行业基准。hubwiz.com
最终结论:
这篇文章实际上提出了一种新的 AI 软件工程管理模式:
过去是人监督 AI 写代码,现在是人定义规则、验收标准和验证机制,让 AI 自己证明工作已经完成。
这和你之前考虑的 Personal Agent 项目管理方向是互补的:
Personal Agent:负责项目进度、任务分配、上下文和跨会话交接。
Verification Loop:负责代码质量、测试、验收和失败升级。
人:负责目标、架构决策和最终授权。
项目管理解决 Agent 有没有持续推进,验证机制解决 Agent 推进的东西到底能不能用。
两者结合,才是真正值得投入的 Agent 工程体系。