同一个 AI 模型,换个 Agent 框架,为什么表现差这么多?
原文链接: https://huggingface.co/spaces/FineEnvs/multi-harness-rl#introduction 来源: Hugging Face / Liquid AI 发现于: 小互 · AI 解读站 · 2026/10/4 说明: 本文由 AIHot 自动聚合(原文即中文,未翻译)。上游原文多次抓取失败(含登录墙/反爬,CDP 渲染亦无法获取),正文取自小互 AI 解读
Hugging Face 与 Liquid AI 团队发表了一篇技术指南:《The ultimate guide to multi-harness RL》。
它要解决做 AI Agent(智能体)时的一个现实问题:同一个大模型,放进不同的 Agent 框架(Harness)里,表现可能差很多;针对某个框架训练好之后,换到另一个框架,能力也未必能直接迁移。
指南不仅解释这种差异从何而来,还展示了怎样把 Claude Code、Codex、OpenCode 等现成工具接入强化学习,让模型在多种真实工具中练习完成任务、减少不必要的操作。下面先讲清问题,再拆解训练方法与实验结果。
同一个大模型,换个壳为什么判若两人?
在测试中,研究者 Joel Niklaus 拿同一个 GLM-5.2 模型在 SWE-bench Pro 代码基准上做横向评测:换了外层程序,同一模型的任务解决率就明显改变。 更令人惊讶的是,工具的优劣排名无法在不同模型间直接套用——在十种脚手架中,Codex 是 GLM-5.2 的第二强搭档,但换成 Gemma 4 26B-A4B 时,Codex 却排到了倒数第二(第九名)。
https://best.xiaohu.ai/media/multi-harness-rl/joel-harness-pairing.png
原始配对图,作者 Joel Niklaus。纵轴是首次尝试解决率,横轴是按 API 标价计算的每题美元成本,使用对数刻度。手机上可点图打开大图。
读这张图要分别追踪蓝点与红点:GLM 的最佳搭档是 Mini-SWE-Agent,Gemma 的最佳搭档却是 Crush。向上代表做对更多,向左代表每题成本更低;高成本也不保证更高解决率。因此,所谓“工具最好用”要连同模型一起判断,横轴也不能当作这篇 RL 实验的训练费用。
指南还引用了一项控制变量的评测:同样的 100 道 SWE-bench Verified 题,同样的容器、50 步操作预算与超时,只改变 Harness 配置。最简版没有压缩和重试;改进版精简工具、加入压缩和重试;完整版再加自检、漂移检查与回滚。
| 模型 | 最简版 | 改进版 | 完整版 |
|---|---|---|---|
| GLM-5.1 | 52.5% | 56.5% | 65.5% |
| GPT-5.4 | 55.0% | 58.5% | 63.5% |
| Kimi K2.6 | 52.0% | 59.0% | 60.5% |
三个配置下的第一名分别是 GPT、Kimi、GLM。这个例子把“模型排名也受 Harness 影响”讲得更具体:榜单上更高的模型,放进你自己的执行循环里未必仍更高。数据来自指南引述的 Zhang 等人的 Table 2。
这种包裹在底层大模型外面的程序,在学术界和工业界被称为 Agent Harness(智能体脚手架)。
搞清几个容易混淆的角色
为了讲清楚背后的机制,我们先把几个常见的概念排个序:
- Policy(策略 / 底座模型):纯粹的模型权重。它的输入是提示词,输出是生成的文本或 Token,没有跨调用记忆;模型选择工具与参数,外层程序负责执行。
- Harness(脚手架):模型身外的程序外壳。它负责构建上下文提示词、给模型暴露哪些工具、拦截并执行工具调用、解析模型吐出的参数、处理报错并决定何时重试或结束。
- Agent(智能体):Policy 穿上 Harness 外衣后的整体。用户实际打交道的就是这个跑在循环里的完整程序。
- Sandbox(沙箱):工具真正跑代码的隔离环境,比如 Docker 容器、轻量虚拟机或远程 Linux 会话。
- Benchmark(基准测试):一套固定的测试题库加上打分判定规则。
模型提出工具调用或结束回答,Harness 实际执行操作、组织下一轮上下文,并按自身规则重试或停止。换了脚手架,模型读到的信息与可调用的工具就变了。
还要区分 RL 环境与 Harness:环境保存任务状态,接收动作、改变状态、返回观察,并在满足条件时给出奖励;Harness 负责让模型持续与它交互。比如文件与计算结果属于环境中的状态,何时读文件、何时再问模型、何时停下来则由 Harness 的循环安排。
为什么只练一种工具容易偏科?
自己部署开源模型时,仅有权重并不保证它能适应所选工具的接口:
快手 KwaiKAT 团队在 KAT-Coder 研究中指出,如果智能体强化学习只在一个固定的脚手架里训,模型学到的往往不是“怎么解决问题”,而是“如何迎合这个脚手架的特定规矩”。他们总结了三种过拟合:
- 动作格式过拟合(Format):工具调用的接口方言(API Dialect)千差万别。有的用标准 OpenAI 格式,有的用 Anthropic 结构,还有的像 Aider 直接要求模型在普通文本里输出特定的代码编辑块。更关键的是工具名:A 叫
bash,B 叫terminal,C 叫execute_command;一旦模型把 A 的参数名字背熟了,到 B 里就会因为参数不合规被系统直接拒绝。 - 上下文结构过拟合(Context):脚手架怎么压缩历史记录?是用 Markdown 拼装上下文,还是维护结构化消息列表?模型习惯了某种排版后,换一种格式就可能抓瞎。
- 控制流过拟合(Control Flow):有的脚手架提供较多自动容错,自动帮你做语法修复、提供重试保护;有的脚手架则很严苛,错一次直接退出。依赖这些容错机制的模型,一旦离开熟悉的环境可能难以继续。
Orchard 论文曾记录过一次“明显退步”:把在 OpenHands 环境里精调出来的 OpenSWE-32B 拿去另一个极简工具 Mini-SWE-Agent 里跑,解决率掉了 7.5 个百分点;放到没见过的 Kimi-CLI 里跑,在 SWE-bench Verified 上的得分直接从 60% 级断崖式下跌到 3.6%,在 Terminal-Bench 2.0 上得分为零。同一论文还观察到另一个系统 Scale-SWE 离开原生工具后无法产生有效工具调用。解决率下降与格式失效是两种不同问题。
指南梳理的 Poolside Laguna、Kimi K3、Qwen 与小米 MiMo 等工作,都在增加训练接触的 Harness 种类。但它们做法不同:Poolside 在监督训练中混入外部工具轨迹,后续 RL 只用生产工具 pool;Kimi 通过模块组合形成不同执行配置;Qwen3-Coder-Next 在六种工具里生成编码数据。所谓“多工具训练”,还需要看它发生在收集数据、监督微调还是强化学习阶段。但摆在所有开源开发者面前的难题是:市面上的成熟工具都是别人写好的独立程序,根本不是为了训练而设计的,我们怎么把强化学习接进去?
驯服“黑盒脚手架”的底层技术坎:为什么不能只看最终文本?
在传统强化学习里,环境通常是一个标准函数库(比如经典的 Gymnasium 接口)。微软 Agent Lightning 团队形象地将这种差别划分为白盒环境与黑盒环境:
- 白盒环境(训练器主控循环):训练引擎自己说了算。它每吐一个 Token、每调用一次环境的
env.step(),都在训练器的完全掌控下。TRL 这类训练框架原本也是这么预设的。 - 黑盒环境(脚手架主控循环):像 Claude Code 或 Codex 这种真实工具,一旦启动就在沙箱里跑自己的逻辑:自己压缩上下文、自己静默重试、自己修补格式残缺的 JSON。训练器在外面根本插不上手,只能眼睁睁看着它向模型接口发来一串串 HTTP 请求。
这里的白盒、黑盒按“谁负责交互循环”区分。其他报告有时用它们区分是否压缩历史,含义不同;一个内部循环很简单的 Harness,也可以由它自己主控任务。