Claude Code effort 实战指南:什么时候用 Low,什么时候该升档
原文链接: https://claude.dev/blog/spending-your-effort/ 来源: Anthropic / Thariq Shihipar 发现于: 小互 · 会员解读 说明: 本文由 AIHot 自动聚合,并由 GLM 翻译为中文(保留全部代码与链接)
我们最新的Claude模型的一个最佳特性是它们如何在Claude Code中响应effort而不破坏提示缓存,但我从用户那里收到了很多关于这个问题的疑问。什么是effort?何时使用哪种effort级别?为什么我们需要effort?
为了回答这个问题,我决定深入评估,并在正常工作中自己测试各种effort。
从高层次来看,我发现effort是一种很好的方式,可以调节Claude进行多少验证和边缘情况测试,以及它使用了多少自己的判断。在硬件、代码审查和安全等验证和边缘情况测试更有用的领域,额外的effort带来了更好的结果。
对于正常的软件工程,我运行一个循环:让模型面试我,然后以低effort实现,审查它构建的内容,然后以高effort运行验证。
什么是effort?
从高层次来看,effort让模型大致了解你希望它在该任务上花费多少计算资源。它与你对任务难度的建模有一定关系。
这样想:如果有人要求你在12小时内连续做某件事,你可能会认为他们只是希望你尽力去做。如果有人要求你在1小时内完成同样的任务,你会尝试给出满足任务要求的最佳版本,然后期望在此基础上迭代。
或者,你可能会反驳说至少需要3小时,然后花3小时交付。
你应该用同样的方式看待effort。Claude总是会合理地尝试完成你的任务,但更高的effort意味着Claude会进行更多独立的判断和验证。
EFFORT曲线
Fable 5.1和Opus 5.5的effort曲线是我们迄今为止最好的:在每个级别,基准分数和消耗的tokens都有上升。
Terminal-Bench 3.0,每个模型相同的70个任务(排除4个GPU任务)。Opus 5.5大约三周后运行,响应限制在128k tokens,无GitHub或PyPI访问;Opus 5的最大值是它的effort-120运行。
但这在实践中意味着什么?为了评估,我尝试了不同effort级别的几个任务,并仔细研究了基准测试。
使用effort构建
理解模型工作的最佳方式是进行实验。我尝试在Opus 5.5上以不同effort级别执行相同任务,以了解它完成的工作。我做了各种工作,但用几个小例子说明。
未完全指定的构建任务
如果我要求Claude“构建一个个人健身和锻炼追踪器应用”,effort会极大地改变应用的充实程度,但也会导致Claude沿途做更多选择。低effort时,健身应用只是一个日志和一个简单图表。更高effort时应用更复杂,细节更多。最高effort时有热图。
图A
如果我想要一个简单的迭代基础,低effort就够了。最高effort适合Claude一次性最佳输出。
轻度指定的设计任务
如果任务已经相当明确,但我想让Claude进行一些探索呢?例如,我要求它重新设计Claude Code中的/config菜单。每次迭代大致有相同想法:使用子菜单和更好的搜索。
低effort(耗时1分钟)得到一个交互式草稿,传达了想法但不太像Claude Code。
最高effort(耗时28分钟)得到一个非常像Claude Code的模型,还有不同流程的演练。
如果我的目标是迭代和反馈,低effort更快。但最高effort直接给出更精致的结果。对于这个特定任务,我更喜欢用低effort来理解Claude的视觉。
图B
高度指定的构建任务
如果给Claude很多细节呢?我要求Claude深入面试我关于健身应用,然后将那个规格交给不同模型以不同effort级别实现。
我发现,给定这个规格说明书后,模型的行为变得非常相似。我得到的设计看起来相当类似,实现也大同小异,只是在细节上有所不同。在最高努力级别下,Claude 花了一些时间来简化部分细节。
图 C
要点总结
对于常规软件工程,特别是新功能开发,努力级别在很大程度上取决于我希望介入的程度。低努力使得 Claude 能够快速响应并给出一个起点,更高努力级别会完成更多工作,但 Claude 也会更多地替我做出假设。
我在功能开发中发现一个特别高效的循环是:
- 给 Claude 一份规格说明书,让它就我遗漏的任何细节对我进行访谈
- 在低努力下实现
- 审查以确保它抓住了主要内容,根据需要反复进行低努力迭代
- 在高努力下验证和测试
努力级别如何影响困难任务的输出
但这些都是明显的玩具示例,Claude 能够很好地完成它们。当区别在于 Claude 能否完成任务时,情况又会怎样呢?
要找到这些困难问题,必须深入基准测试,于是我深入研究了其中一个我喜欢的:Terminal-Bench 3.0,一个社区贡献的基准测试。
Terminal-Bench 3.0 的问题大致可分为安全、硬件、机器学习、科学、软件、运维和媒体等类别。你可以在这里看到所有问题:https://github.com/harbor-framework/terminal-bench/releases/tag/v3.0.0。它们源于社区,因此任何人都可以贡献。
阅读这些问题有助于了解这些模型所面临的任务类型。我发现很多任务的规模和雄心都让我感到惊讶。它们比我平时遇到的任务复杂得多。
例如,其中一些任务包括:
- 硬件(
retro-console-soc):用 Verilog 构建一个 8 位游戏机,适配小型 FPGA 并渲染一个测试 ROM。 - 科学(
takens-embedding-lean):在 Lean 4 中正式证明 Takens 嵌入定理。 - 机器学习(
mp-checkpoint-consolidation):将一个混合专家检查点的 16 个分片合并为一个文件,并重现参考 logits。 - 运维(
intrastat-meldung):端到端运行公司月末欧盟贸易统计申报。 - 媒体(
layout-config-recreation):将一张海报图片重建为可编辑的布局文件。
当存在许多边缘情况时,更高努力级别有所帮助
我从阅读 Terminal-Bench 3.0 结果中得到的主要收获是:更高努力最适合存在大量隐藏边缘情况的任务。
一个清晰的例子是 html-js-filter,这是 Terminal-Bench 3.0 中的一个任务,要求编写一个 HTML 清理器,剔除所有将 JavaScript 偷渡到页面的方式。Fable 5.1 从低努力下的 1/5 提升到极高努力下的 5/5。¹
低努力下的典型尝试大约需要 2 分钟。每次尝试大致一次性编写一个过滤器,然后针对一个手写页面进行测试。
高努力运行大约需要 33 分钟。在我追踪的这次运行中,它对抗性地审查了初稿,然后读取已安装的解析器源码来检查 bug,运行了许多干净的测试用例直到它们给出与输入相同的输出,运行了标准 XSS 测试套件,最后编写了一个随机文档模糊测试器。
对于像 HTML 清理器这样充满边缘情况的任务,这种额外努力是非常值得的。在具有高生产要求的复杂任务(如性能优化或安全审查)中,为彻底性投入更多 token 也是合理的。
但是,并非每个任务都需要这种努力级别。
下图显示了每个 Terminal-Bench 3.0 结果及其失败方式,涵盖不同模型和努力级别。总体而言,增加努力往往会减少因遗漏边缘情况(紫色方块)而导致的失败,但当模型采用错误方法(蓝色方块)时则无法修复。
努力级别 低 中 高 极高 最大 Fable 5.1 在低努力下:370 次尝试中,140 次通过,2 次在我机器上能运行,7 次过度拟合示例,10 次接近但不精确,40 次存在其测试未发现的 bug,45 次误读需求,31 次错误或不完整的修复,32 次领域规则错误,25 次选择了错误的解读,38 次其他失败。 Fable 5.1 在最高努力下:370 次尝试中,214 次通过,1 次在我机器上能运行,3 次过度拟合示例,6 次接近但不精确,14 次存在其测试未发现的 bug,26 次误读需求,10 次错误或不完整的修复,24 次领域规则错误,47 次选择了错误的解读,25 次其他失败。
FIG D每个方格代表一次尝试。失败类型来自模型评判,为近似值。
努力能带来帮助的问题领域
在 Terminal-Bench 3.0 上评估这些模型时,我最感兴趣的发现之一是,有些问题领域比其他领域更能从增加努力中受益。具体分类见下图:
Fable 5.1,低努力 → 最高努力的通过率:安全 64% → 87%,硬件 34% → 75%,机器学习 54% → 73%,科学 41% → 61%,软件 43% → 56%,媒体 18% → 30%,运维 12% → 22%。
FIG E通过率。低努力汇集了每个模型最低的两个设置,最高努力汇集了最高的三个设置,因为类别较小。
为了说明这一点,我从 Terminal-Bench 3.0 中选择了几个不同领域的问题,在这些问题上 Opus 5.5 在低努力时失败,但在高努力时成功——主要是因为模型测试并考虑了边界情况:
mvcc-lsm-compaction:一个 Terminal-Bench 3.0 任务,要求根据崩溃报告修复存储引擎的 bug,同时不破坏压缩功能。Opus 5.5 从低努力时的 0/5 提升到极高努力时的 4/5。
在低努力(每次尝试约 1 分钟)时,Claude 会在构建代码或运行复现脚本之前编辑代码,并且没有检查它的新测试是否能捕捉到原始 bug。
在极高努力(约 11 分钟)时,Claude 首先复现了崩溃,编写了一个针对永不压缩的参考实现的随机测试,并检查了它的测试是否在半成品修复上失败。
cli-2ph-simplex:一个 Terminal-Bench 3.0 任务,要求用 Python 编写一个 CLI 线性规划求解器。Opus 5.5 从低努力时的 0/5 提升到高努力时的 5/5。
低努力尝试一次性编写了求解器,用几个小问题进行了检查,并在约 10k token 处停止。在最后一条消息中,Claude 警告说它在大型问题上可能很慢,但没有进行检查。
在高努力尝试中,Claude 用随机问题测试了它的求解器,并与一个独立的暴力求解器进行了对比,然后对更大的问题进行了计时,遇到了运行时间过长或崩溃的情况,并重新设计了搜索算法。
gsea-proteomics:一个 Terminal-Bench 3.0 任务,要求对蛋白质组学数据进行基因集富集分析(GSEA),以找出八种处理中哪一种与目标组织相似。Opus 5.5 从低努力时的 0/5 提升到高努力时的 4/5。
在低努力时,Claude 选择了一种听起来合理的数据准备方式,用那种方式运行了分析,并报告了结果。
在高努力时,Claude 尝试了两种数据准备方式,注意到显著处理列表发生了变化,并在选择正确方式之前深入探究了原因。
如果用户参与其中,Claude 可能会询问用户如何设置问题,但在没有用户参与的情况下,高努力表现更好。
在 Claude Code 中何时使用不同的努力级别
以下是我关于何时使用哪种努力级别的经验法则:
- 低:用于需要快速响应且用户参与的场景,例如头脑风暴、草图、简单修改。
- 中:用于大多数常规软件工程工作,例如新功能实现。
- 高:用于需要验证或存在边界情况的工作,例如在遗留代码库中修复 bug。
- 最高:当我希望 Claude 完全自主地解决困难问题时,例如端到端构建和验证应用、在关键软件中查找安全漏洞。
尝试根据你的任务,甚至在对话中途,在 Claude Code 中使用 /effort 为 Opus 5.5 和 Fable 5.1 调整努力级别,并告诉我这是否符合你的直觉。
¹ 关于数字的说明:这些数据来自我们内部的运行,每个任务 5 次尝试,且对 Fable 5.1 关闭了生产安全干预;在 Claude 产品中,Fable 5.1 的安全防护会将某些安全请求转交给 Opus。安全任务也在无互联网访问的情况下运行,因此这里的每个任务计数与公开排行榜或发布帖子中的数字可能不一致。示例来自单次运行,部分使用了中间努力设置。