Claude 正在自己训练自己 Anthropic称:超过八成生产合并代码由Claude编写
原文链接: https://www.anthropic.com/institute/recursive-self-improvement 来源: Anthropic Institute 发现于: 小互 · AI 解读站 · 2026/9/28 说明: 本文由 AIHot 自动聚合,并由 GLM 翻译为中文(保留全部代码与链接)
当AI构建自身
我们迈向递归自我改进的进展,及其影响。
在AI历史的大部分时间里,人类推动了其发展周期中的每一步。但在Anthropic,我们正在将AI开发中越来越多的份额委托给AI系统本身,这正在加速我们的工作。
如果走得够远,并且有足够的算力,这一趋势指向一个能够完全自主设计和开发自身继任者的AI系统。这被称为递归自我改进。我们尚未达到那个阶段,递归自我改进也并非不可避免。但它可能比大多数机构准备好的时间来得更早。
利用公开基准和Anthropic内部此前未公开的数据,The Anthropic Institute正在证明AI已经在加速AI系统的开发。仅举一例:如今,Anthropic工程师每季度平均交付的代码量是2021-2025年间的8倍。
本文讨论的技术趋势表明,AI系统在未来几年将变得更加强大。这些趋势具有巨大的影响。能够自我构建的AI将是技术史上的重大发展——它可能在科学、医疗保健及其他领域为世界带来巨大福祉。但完全的递归自我改进也可能增加人类失去对AI系统控制的风险。如果系统能够完全构建自己的继任者,我们保护它们、监控它们和塑造它们行为的方式都将变得更加重要。
2021–2023
构建第一个Claude
在早期,Anthropic的工作看起来和其他科技公司没什么两样:人们在笔记本电脑上编写代码和文档。
2023–2025
聊天机器人
人们使用早期聊天机器人来辅助部分流程,比如生成简短的代码片段并将输出复制到文本编辑器中。
2025–2026
编码agents
随着agents能力的增强,它们能够自主编写和编辑代码,有时甚至是整个文件。
今天
自主agents
Agents现在可以自己运行代码,并将数小时的工作委派给其他agents。
20XX?
闭环
未来,agents可能变得足够强大,能够自己构建和训练模型。如果这种情况发生,未来版本的Claude可能由Claude自身持续改进。
来自外部世界的证据
AI模型改进的速度正在加快。它们能够自主可靠完成的任务时长大约每四个月翻一番,而此前的趋势是每七个月翻一番。2024年3月,Claude Opus 3能够完成人类约需四分钟才能完成的软件任务。一年后,Claude Sonnet 3.7能够处理约一个半小时的任务。又过了一年,Claude Opus 4.6能够处理12小时的任务。¹如果这一趋势保持,需要熟练人员数天才能完成的任务可能在今年进入能力范围。到2027年,AI系统将能够处理需要人类数周才能完成的任务。
同样的模式也出现在编码和研究基准上。基准测试衡量模型在特定领域中的表现,当模型达到接近100%的性能时,基准即被“饱和”。²SWE-bench是真实世界软件工程的标准测试:它给模型一个实际的开源代码库和一个真实的bug报告,要求其编写一个修复问题并通过项目自身测试的代码更改。模型从个位数的得分起步,在两年内达到了基准饱和。
CORE-Bench测试模型能否复现现有研究,这是它们进行原创研究的先决条件。它给AI模型一篇已发表论文背后的代码和数据,要求其重新运行所有内容并确认能够复现论文的结果。AI系统从2024年约20%的复现成功率,到十五个月后达到了基准饱和。运行长时任务完成能力基准测试的METR发现,Claude Mythos Preview能够“至少”工作16小时,并且“处于[METR]无需新任务即可测量的上限”。
公开基准测试能揭示这些系统的能力,但无法展现AI系统本身对加速AI开发的影响。为此,我们需要来自Anthropic这类AI公司内部的直接证据。
来自Anthropic内部的证据
构建前沿模型需要两大类工作:工程工作(编写代码、搭建基础设施、监督模型训练)和研究工作(决定运行哪些实验、解读实验结果、确定下一步尝试哪些想法)。
在工程和研究两个领域,情况是一致的。在工程领域,Claude 能接手一个不明确的问题并自行找出解决方案;人类提供目标,但不再需要提供方法。在研究领域,Claude 在执行一个定义明确的实验时,已经能够达到甚至超越熟练人类的表现。然而,在工程和研究领域中,Claude 在选择目标时运用判断力方面,仍存在较大差距。这就是当前AI与未来能够自主设计自身后继系统的AI之间的差距。
在Anthropic,员工随着经验增长通常会承担更开放、更重要的任务。早期,他们执行他人指定的任务,比如:“导出按钮坏了,请修复。”随着经验积累,他们会得到目标并自行设计方法,例如:“调查为什么网络在高负载下变慢。”在最高级别,他们需要决定哪些问题值得研究:“团队下个季度应该构建什么?”我们可以利用Anthropic内部数据,看看Claude在处理这些不同类型任务方面取得了多大进展。
**Claude 编写了Anthropic相当大比例的代码。**截至2026年5月,我们合并到Anthropic代码库中的代码有超过80%由Claude编写。³在Claude Code于2025年2月以研究预览版发布之前,这一比例仅为个位数。这一变化也体现在每位工程师的输出量上。在Anthropic的头四年(2021-2024年),每位工程师每天合并的代码行数保持稳定,然后在2025年开始上升,当时Claude开始运行代码,而不仅仅是建议工程师复制粘贴。2026年,当模型开始能够更长时间地自主工作时,这一斜率再次变陡。下面图表显示了这两个拐点。在2026年第二季度,典型工程师每天合并的代码量是2024年的8倍。⁴这是因为大部分代码由Claude编写,工程师负责指导和审查,而非亲自输入。

需要说明的是:代码行数是一个不完美的衡量标准,因为它衡量的是数量而非质量。因此,2026年第二季度“8倍代码行数/工程师/天”几乎肯定夸大了真实的效率提升。尽管如此,这仍表明加速趋势。在Anthropic,我们不会因为员工写了多少行代码而奖励他们;相反,团队成员之所以产出更多代码,纯粹是因为他们利用AI系统编写了更多代码。
代码行数的增加与主观感受到的大幅效率提升是一致的。2026年3月,对Anthropic研究团队130名员工的调查中,受访者中位数估计,他们在Mythos Preview的帮助下,在原本就会从事的项目上,产出大约是没有任何AI模型访问权限时的4倍。⁵我们预计3月份真实的提升幅度略低一些。⁶尽管如此,我们认为这一总体说法是合理的,并且与我们其他观察结果一致:Anthropic相当大比例的技术人员正在以比没有AI辅助时快数倍的速度完成核心工作。
我们也看到证据表明,Anthropic 的员工正在使用 Claude 去做那些否则根本不会发生的工作,比如构建探索性工具和处理长期搁置的清理工作。例如,在 2026 年 4 月,Claude 交付了超过 800 个修复,将一类 API 错误减少到了原来的千分之一。负责监督 Claude 的工程师估计,人类需要四年才能完成这项工作;解决别人的 bug 既缓慢又费力,而且人类很难在脑中同时保存那么多不熟悉的上下文。
我大约一年前开始大力投入 Claudifying。那真是一场疯狂的冒险,到现在我已经大约 5 个月没有亲自写过任何代码了。”
Anthropic 员工*
Claude 编写的代码是“好”的,而且在不断改进。“好的代码”意味着两件事:它能运行,而且它的编写方式能让另一位工程师理解并在此基础上继续开发。关于第一点,证据很明确。Anthropic 员工纠正、重新引导或中途接管 Claude 任务的比率,一年来一直在稳步下降,即使在最复杂、最开放式的任务中也是如此。这类任务没有明确的规格说明,工程师也不确定答案应该是什么样子。这可以从下图中 Claude 在不同难度任务上随时间的成功率明显看出。Claude 编写的代码是能运行的。

***阅读方式:*会话成功由 Claude 裁判判定;如果 Claude Code 代理在无需纠正的情况下明确完成了用户的任务,则该会话被视为成功。工作负载的变化可能导致成功率的短期波动。
第二个标准是编写能让另一位工程师理解和构建的代码。在这一点上,人类和 AI 之间的差距仍然存在,但正在快速缩小。Anthropic 员工之间并没有完全达成共识,但许多人认为,在 2025 年末,Claude 编写的代码质量仍不如人类编写的代码,而如今大致相当。我们预计一年内它会更好。
这改变了 Anthropic 现在审查自身代码的方式。对我们代码库的拟议修改,现在会由一名自动化的 Claude 审查者在合并前检查 bug、安全漏洞和其他缺陷。使用这一工具,我们进行了一项回顾性分析,发现如果对代码库的每一项更改都进行自动化的 Claude 审查,那么过去在 claude.ai 上的事故中,大约三分之一的 bug 本可以在它们进入生产环境之前就被发现。编写这些代码的工程师正是世界上最擅长构建这些系统的人。Claude 现在正抓住他们曾经遗漏的错误。
Claude 编写的代码在 2025 年末比 Anthropic 人类编写的代码要差一些,如今大致相当,我们预计一年内它会严格更好。
Claude 擅长通过运行实验来达成他人设定的目标。
每次 Anthropic 发布新模型时,我们都会运行相同的测试:给 Claude 一段训练小型 AI 模型的代码,要求它在通过相同正确性检查的前提下,尽可能让代码运行得更快。目标和成功指标是预先确定的,因此 Claude 的任务是通过重写代码、运行、计时并重复来寻找加速方案。这相当于一个微型化的实验研究循环。2025 年 5 月,Claude Opus 4 相比初始代码平均实现了约 3 倍加速。到 2026 年 4 月,Claude Mythos Preview 达到了约 52 倍加速。作为参照,一位熟练的人类研究人员需要四到八小时才能达到 4 倍加速。7 在研究工作流程的这一部分——在明确定义的实验内优化步骤——Claude 在不到一年的时间里从“超级有用”进化到了“超人水平”。
“
如今的情况大致是:‘人类提出想法,而模型能够以比以往快一个数量级的速度实现、测试和评估这些想法。’”
Claude 在提出自己的实验方面也越来越擅长。
2026 年 4 月,Anthropic 发表了首个演示,展示 Claude 端到端地运行一个开放式研究项目。由 Claude 驱动的 Agent 被赋予一个 AI 安全领域的开放性问题——大致是 一个较弱的模型能否可靠地监督一个更强的模型?——然后被留待自行解决。这涉及提出假设、测试假设、与并行 Agent 共享发现以及迭代。该任务有一个明确的性能“下限”和“上限”:下限是弱监督者独立完成时的表现;上限是强模型在正确答案上训练时的表现。两位人类研究人员在大约一周内恢复了该差距的约 23%;而 Agent 在累计 800 小时内恢复了 97%,使用了约 18,000 美元的计算资源。这项工作存在一些注意事项:结果未能干净地迁移到生产规模的模型上,并且人类仍然选择了问题并创建了评分标准。但在这个范围内,Agent 自行设计了每一个实验。设定方向是人类扮演的唯一有意义的角色。
“
Claude 在 1-2 天内完成了这一切,几乎没怎么需要我的帮助。我觉得如果一位[初级同事]在同样的时间内带着这样的结果回来找我,我会感到些许印象深刻。未来已至。”
Claude 在引导研究会话走向研究发现方面也越来越擅长。
我们检查了真实的 Claude Code 会话(2026 年 1 月至 3 月期间),其中 Anthropic 研究人员与 Claude 合作解决一个开放式的调查性问题,例如找出训练运行持续崩溃的原因,或者模型在某个基准上得分低的原因。在每种情况下,我们都发现了一个研究人员走弯路的时刻:他们追求了一个方向,导致会话偏离轨道,之后才重新回到正轨。然后,我们向各种 Claude 模型仅展示会话偏离轨道之前的工作,并询问它们接下来会做什么。另一个能够看到会话最终结果的 Claude 随后判断是 AI 还是人类提出了更好的下一步。8
因为我们特意选择了我们知道人类选择有改进空间的时刻(n=129),所以这不是模型与人类判断之间的直接对比。这些时刻为我们提供了一系列真实且具有挑战性的情境,其中正确的下一步并不明显,而人类的选择则作为衡量模型性能随时间变化的有用标尺。在这个指标上,我们 2025 年 11 月的最佳模型(Opus 4.5)在 51% 的情况下优于人类选择;到 2026 年 4 月(Mythos Preview),这一比例增长到了 64%。研究的日常工作很大程度上是由一连串这样的下一步决策组成的,这使得该指标成为衡量模型最终自行运行调查能力的一个相关指标。我们将这一结果视为一个早期信号,表明 AI 系统在做出 AI 研究依赖的那种判断决策方面正在变得更好。

***如何阅读此图:*实际天花板线衡量的是由能够看到整个会话(包括其最终结果)的模型撰写的“理想”答案。
“
从当前来看,人类的比较优势仍在于把握全局,并超越当下任务的限制进行思考。”
在 Anthropic,未来的工作可能是什么样子?
证据表明,在 AI 开发流程的每个环节中,人类角色正在收窄。一旦人类和 AI 编写的代码质量达到同一水平,人类将完全停止编写代码,转而只负责审核代码。但如果人类审核代码的速度比不上 Claude 生成代码的速度,人类审核将成为 AI 开发的瓶颈。类似地,一旦 Claude 能够运行实验,问题就转变为“这些实验中哪些值得运行?”简而言之:执行(即编写代码、运行实验、产出结果)现在几乎不消耗人类时间,尽管计算成本依然存在。
当前人类比较优势的一个领域是研究品味和判断力,包括选择哪些问题至关重要、哪些结果值得信赖,以及什么时候某条路径是死胡同。
“
工作(和生活)过去运转在人与人之间小恩惠的礼赠经济中。‘你能帮我运行一下这个脚本吗?’……每一次请求都产生一点债务,一点相互认知。[Claude] 更快,它不产生任何债务,但每一次求助都意味着一次人类协作的错失。”
“
在一切顺利的日子里,我不禁觉得我做什么都无关紧要,一切都自动化了,比我更强更快。但到了万事不顺、我不明白原因的日子,我又意识到我根本不知道自己在干什么了。”
如果我们错了呢?
对上述证据的一个自然反驳是:仍掌握在人类手中的工作——选择研究什么问题——才是最关键的。没有这种判断力,Claude 只是一个能干的助手,而不是一个能够独立推动 AI 进步的系统。
目前的训练方法和架构是否能解锁这种能力,实际上尚不清楚。但 AI 很少通过“灵光一现”的时刻取得进展。在 AI 的近期历史中曾有过几次这样的时刻,比如 Transformer 架构 或混合专家模型,但范式转变的想法每隔数年才出现一次。在间隙期,大多数进步是渐进式的:我们把某个东西扩展规模,看看哪里出问题,修复它,再试一次。这正是 Claude 如今擅长的 workflow。爱迪生说过,天才是 1% 的灵感加上 99% 的汗水。但我们看到汗水正在变得越来越自动化。很明显,推动前沿的大部分进展都可以自动化;大规模研究进步主要取决于工具和资源,它们决定了你能多快运行实验、能同时运行多少个实验,以及你多快能得到结果。
即便我们假设 Claude 永远无法获得良好的研究品味,对我们的证据进行保守解读仍然意味着复合加速。如果人类把大部分时间花在少数几个方向性工作上(占全部工作的个位数百分比),而 Claude 处理其余工作,那么每位工程师或研究员所引导的工作量就比以前多得多。我们看到的证据表明,Anthropic 的员工不仅速度更快,而且涉及面更广。实际上,这意味着 AI 已经让 Anthropic 的运作速度远超有效 AI 工具出现之前。
不那么保守的解读是,Claude 研究判断力提升的早期证据——尽管目前还很狭窄——表明这一能力也在进步。“研究品味”可能只是 AI 系统一度失败、随后变得擅长的又一项 AI 能力。我们在其他定性技能上也看到过类似模式,比如 AI 系统能够解释一个笑话为什么好笑、展现心智理论、以及解决语言谜题。
可能的未来
接下来会发生什么取决于两件事:这一趋势是否持续,以及如果持续我们选择如何应对。我们可以想象至少三种未来情景:
- 趋势停滞,但今天的 AI 能力被广泛扩散。本文展示了许多指数级增长轨迹。但这些轨迹实际上可能呈现为 S 型曲线。我们可能正接近曲线的拐点,此时规模回报递减,曲线变直,然后趋于平缓。区分合格研究者与优秀研究者的判断力,可能是一种无法通过扩大训练投入(如算力和数据)来获得的能力。如果是这样,突破这一瓶颈就需要新的思路,比如一种取代当前所有前沿模型所使用的 Transformer 架构的新架构方法。 另一种可能是,AI 进步的约束因素在于供应链而非模型本身:推进和扩散前沿可能需要比现有更多的能源和算力。芯片制造、电网扩展或互联带宽的速度可能成为约束,而非智能本身。我们也不能排除 AI 生态系统遭受外部冲击而急剧放缓的可能性,比如算力或电力供应突然减少,这都会减缓进展并增加实验室的前期投资成本。或者,我们可能没有预料到其他阻碍进步的障碍。 即使模型能力冻结在今天水平,我们仍预期世界会发生重大变化。Project Glasswing 是一个早期迹象:在最初几周内,Mythos Preview 在全球最重要的系统中发现了超过一万个高危和严重级别的软件漏洞——以至于网络防御的瓶颈已经从发现漏洞转向了足够快地修补漏洞。而且,今天模型向更广泛经济领域的扩散仍处于早期阶段,一家 100 人的公司可以越来越多地完成 1000 人公司的工作,因为每位员工都将位于一个代理金字塔的顶端。 我们为了完整性而包含这一情景,但我们认为它不太可能发生。我们能够衡量的每一项能力,包括那些感觉“更模糊”的能力(如代码质量和开放式任务的成功率),迄今为止都遵循相同的曲线。我们尚未看到这条曲线弯曲。在我们考虑的三种未来中,这一种将给政府和社会最多的适应时间。我们更担心接下来的两种,它们进展更快,留给准备的余地也小得多。
- AI 实验室持续看到复合效率提升。在这一情景中,AI 开发变得高度自动化,但人类继续设定研究方向并判断结果。使用 AI 系统的组织将随着时间的推移变得更加高效,因此我们可以预期该组织中的每个人都会获得显著的生产力乘数。100 人的公司可以完成 10,000 人或 100,000 人组织的工作。这将彻底改变知识工作和政府服务,但也可能被用于有害目的,从对全体人口的威权监控到针对每个个体量身定制操纵、且规模远超任何人类团队所能企及的影响力行动。在 Anthropic 这样的公司,人类的角色将发生转变。人们将与 AI 系统合作,扩大研究规模并产生新见解,并共同构建验证 AI 输出可信度所需的系统。 我们在此展示的证据表明,我们很可能正走向这一情景。但加速流程的某一部分往往只是将瓶颈转移到别处:整体速度受限于尚未加速的部分。在计算领域,这被称为 Amdahl 定律,同样的逻辑也适用于组织。Anthropic 已经遇到了 Amdahl 定律的一个特征:随着我们开始在整个组织内推送更多代码,人工代码审查已成为新的瓶颈。 我们在工程之外也遇到了这种摩擦。由于 Anthropic 员工与高能力模型合作,新想法、新计划、新工具和新模拟层出不穷——远远超出我们能够跟进的能力。组织发现并修复这些瓶颈的速度可能是一项随时间提升的技能,并且可能成为任何组织最重要的技能。
- AI 系统本身变得能够进行完全的递归自我改进,并开始构建自己的后继者。如果能力提升的技术趋势持续下去,并且 AI 系统能够发展出变革性人类创造力所固有的能力,那么 AI 系统自行设计和改进自身就是合理的。
在这个世界中,AI 发展的进步速度将完全取决于算力的可用性(或算法训练/推理中各种效率发现的速度)。人类在其发展中的角色将大幅缩减,我们的大部分精力可能会转向对由 AI 系统运行的不断扩大的"虚拟实验室"进行监督、验证和核查。我们预期,能够实现 AI 自动化研发的系统,其技能将迁移到其他科学领域,从而开始革新其他领域。
在这个未来中,对齐问题如何被解决——或未被解决——是我们最不确定的部分。模型可能被证明足够对齐,且具备足够的研究品味,从而发现并实现我们尚未触及的新方案。它们也可能足够明智,在必要时主动停止发展。另一种可能是,当今模型中存在的罕见错位现象,会随着模型构建其继任者而不断累积,变得越来越频繁但越来越难以理解,直到我们失去对它们的控制。我们有可能无法构建、集成和验证理解我们实际处于哪条趋势线所需的工具。
我们对这个世界会是什么样子没有很好的直觉,因为我们的经济目前由人类和人类构建的工具驱动。从本质上讲,一个由快速递归式自我改进驱动的世界,可能会被自我改进的模型所主导,因为其能力完全超越人类,并且模型在整个经济中广泛扩散。如果人类劳动不再具有竞争力,很难预测经济会变成什么样。
即使模型开发完全自动化并实现递归,我们也无法预测这对大多数人的日常生活意味着什么。阿姆达尔定律在这里同样适用。递归智能可能会在某些领域快速实现Machines of Loving Grace中概述的许多好处。我们预期,具身智能(即机器人技术)可能会紧随递归智能之后,并沿着类似的路径以递减的成本获得递增的回报。更强大的智能可能帮助我们更快地在物理世界中构建事物,开展更多拯救生命的药物的高效临床试验,并开发新的协作形式。
但仅实现递归改进并不意味着工业生产方式、社会组织形式或市场运作方式会立即改变。更多的智能无法了解一种药物在数十年使用中的效果,无法在宪法规定的时间之前举行选举,也无法在周末把一个陌生人变成老朋友。对大多数人来说,这个未来的实际节奏仍然由瓶颈决定,即使上游的实验室以算力的速度运行。递归智能以越来越快的速度自我构建,与人类、人际关系和治理的世界相遇,这种碰撞是未来我们无法预测的另一部分。
我们该怎么做?
如果能够有效地减缓这项技术的发展,给自己更多时间来应对其巨大影响,我们认为这很可能是一件好事。但如果减缓发展只是让最不谨慎的参与者从技术上赶上,那可能会让所有人都不安全。在没有全球协调机制的情况下,公司和政府将不得不在竞争和地缘政治压力下做出艰难的安全决策。
我们相信,如果世界拥有选择权来减缓或暂时暂停前沿 AI 发展,以使社会结构和对齐研究能够跟上技术的进步,那将是一件好事。Anthropic Institute 将与众多其他机构合作开展研究,并采取行动,帮助构建可信的减缓或暂停所需的系统。这些系统将使前沿 AI 开发者能够核实全球其他方确实已停止或减缓,并确保不良行为者无法利用协调暂停的名义秘密超越。如果这样的系统存在,我们预期,如果其他处于或接近前沿的开发者也能以可验证的方式这样做,我们就会减缓或暂时暂停。
有意义的放缓或暂停,需要多个国家中处于前沿或接近前沿的多个资源充足的实验室同意在相同条件下停止。还需要每一方都能核实其他各方确实已经停止。由于 AI 系统的独特特性,这一军备控制问题中的可探测性(一个比可核查性更低的标准)要素比其他技术更具挑战性。训练运行比导弹发射井更容易隐藏,其输入是通用型的,而且悄悄违约的动机巨大,因为当其他人暂停时,谁继续谁就可能继承领先地位。一个可信的暂停还必须明确什么触发它、什么解除它、以及由谁裁决。
这些事情原则上并非不可能——世界已经为其他复杂技术建立了核查机制(例如《中程核力量条约》)——但那些机制花费了数十年时间才建立起基础设施和信任。我们没有那么长时间。相比之下,单个实验室的单方面暂停可以立即实现,但效果要小得多:它会改变领先者是谁,但不会创造出目前缺失的更广泛的协商过程。
在未来几个月,我们将组织对话,让政策制定者、研究人员、公民社会和其他 AI 公司帮助回答这篇文章提出的一些问题,尤其是围绕完全递归自我改进,以及如何为协调和协商创造更好的选项。我们将公布对话成果。共同探讨这些问题的窗口期已经到来,AI 公司之外的人也应该参与这一协商过程。
本文由 Marina Favaro 和 Jack Clark 共同撰写,Santi Ruiz 提供编辑支持。Shan Carter、Romello Goodman 和 Nikki Makagiansar 根据 Brian Calvert 和 Jun Shern Chan 收集的数据制作了可视化图表。Daniel Freeman、Jim Baker、Max Young、Sarah Pollack、Francesco Mosconi、Holden Karnofsky、Andy Jones、Kevin Troy、Chloe Lubinski、Anton Korinek、Meg Tong、Andrew Ho、Dan Altman、Drake Thomas、Jack Shen、Sasha de Marigny 和 Avital Balwit 提供了反馈。
更新:2026年9月18日

如何解读此图: 会话成功与否由 Claude 评判器判定;如果 Claude Code 智能体在无需修正的情况下明确完成了用户的任务,则该会话被视为成功。工作负载的变化可能导致成功率的短期波动。
脚注
METR 的核心指标告诉你人工智能系统在一组任务上达到 50% 可靠性的时间跨度,尽管在 80% 可靠性下趋势线看起来相同。
特别是随着它们转向更开放的形式和更困难的任务(例如奥林匹克级别的数学),由于问答集中的错误——如模糊的问题陈述和无法解答的问题——基准分数通常会在 100% 以下饱和。
Anthropic 领导层公开估计,我们 90% 或更多的代码(包括脚本和实验代码)由 Claude 编写。我们 >80% 的数字衡量的是可以归因于 Claude 的合并到生产环境的代码行所占的比例。这是一种更保守的衡量方式,原因有二:我们的归属管道存在缺口,而且未归属给 Claude 的代码行包括自动生成的代码和其他同样不是人类手写的产物。
代码产量的激增正给所有人共享的基础设施带来压力。GitHub——全球大多数软件构建所依赖的平台——在 2025 年全年记录了大约 10 亿次代码提交;到 2026 年年中,它每周记录 2.75 亿次,按此速度全年约为 140 亿次。该公司首席运营官表示,为了跟上需求,他们正在"极其努力地"推动产能。
有关此项调查方法论的更多细节,请参阅 Claude Opus 4.7 系统卡片第 2.3.5 节。
许多受访者可能没有仔细考虑如何在问题定义中处理各种偏差或细微差别,而且 METR 最近的研究表明,开发者对 AI 生产力提升的估计可能被高估。
加速幅度在很大程度上取决于起始代码留下的改进空间,不应将其理解为现实世界中的训练加速。因此,绝对的倍数不是此处应该关注的数字。更有参考价值的是该实验设置所能实现的同类比较,包括跨模型比较(过去一年约为 3 倍到 52 倍)以及与熟练人类的比较(在相同任务上四到八小时内约为 4 倍)。
为检验评判者的偏见,我们在另一组包含127个关键时刻的测试中重复了相同实验——这些时刻人类棋手的下一步已然足够出色(与原始测试中人类方向尚存改进空间的情况形成对比)。结果显示,模型给出的建议仅在约20%的情况下被认为更优。
- 本文引用的Anthropic员工言论均来自内部讨论并经许可使用,反映的是截止2026年5月的个人观点,不代表公司官方立场。