让 Agent 学会省力:
HarnessPro 如何进化运行框架

一次任务做得更好,可以靠更强的模型,也可以靠更好的工作方式。HarnessPro 把后者变成了一个可以反复诊断、修改和选择的过程。

1 进化的是哪一层

给同一个编码模型相同的任务,它可能先定位相关文件、修改代码、跑一个有针对性的测试,也可能不断搜索、重复查看日志,最后仍未验证自己的修改。模型能力相同,不代表执行过程相同。

把模型放进具体任务、让它持续工作的这一层,可以称为 harness:系统与开发者指令、工具接口、上下文处理、运行时提醒、验证规则,以及何时继续或结束任务。它决定模型看见什么、可以做什么,以及下一次行动发生在什么条件下。

HarnessPro 修改的正是这一层。它让模型检查运行轨迹、提出修改计划,再编辑 harness 的实现。论文没有在这个循环中更新基础模型权重;因此,这里的“自我改进”与通过 SFT、PPO 更新模型参数的训练有不同的对象。把改进前后的代码放在 Git 中比较,可以看到究竟改了哪条指令、哪段工具逻辑或哪个运行策略。[§3]

目标也有两个:任务表现 P(h) 越高越好,执行成本 C(h) 越低越好。只追求更高的成功率,容易靠更多调用换结果;只压低预算,又可能让模型过早放弃。论文把这两个目标放在一起,保留几种不同取舍的 harness,而非始终只留下一个最高分版本。

2 用轨迹找问题,用验证集选版本

这个过程有三个必须分开的数据角色。训练核心集提供诊断材料;验证集比较候选实现;最终保留的版本才在留出的测试集上接受官方评测。训练集里的“训练”,指为 harness 改进提供反馈,并不意味着这里做了梯度更新。

论文先用兼顾难度与多样性的 DPP 选择 10 道训练核心任务。每一轮,每个保留的 harness 在每道训练任务上独立运行 3 次。一次失败可能是偶然,几条轨迹放在一起,更容易看出反复出现的绕路、工具使用错误和验证缺口。[§5.1]

静态图训练轨迹进入诊断、规划和编辑循环,候选版本通过固定验证集选择,循环结束才进入留出测试。
图 1 · 训练数据提供修改依据,验证数据决定保留谁,留出测试检验最终结果。验证集与测试集不进入规划器。依据论文 §4 重绘。

Trajectory Analyzer 先阅读同一道任务的多次运行,指出问题、预期影响与证据位置。它输出的不是一句“效率不高”,而是可以追溯到日志路径和事件范围的诊断:哪里重复调用,哪里错误地收束,哪个验证环节缺失。

Evolution Planner 再把诊断变成三种计划:成本优先、均衡、表现优先。它可以比较不同候选的代码与指标,必要时沿证据链接查看具体轨迹;完整轨迹不会默认全部塞进规划上下文。这样,规划器主要处理已经组织过的证据。

Harness Editor 在独立工作区落实每个计划并提交代码。随后,父版本与新版本一起在验证集上比较。低于初始版本表现的候选先被过滤,其余候选再进入 Pareto 选择。被保留的版本成为下一轮的父版本。论文在 Terminal-Bench 2.0 与 SWE-Bench Pro 上运行 3 轮,在 ProgramBench 上运行 4 轮。[§4.2–4.3] [§5.1]

3 先让“做对了没有”更可信

自动改进之前,要先回答一个更基础的问题:谁来判断这次运行完成了任务?如果每次只让另一个语言模型阅读结果并打分,解释得像样的失败,也可能被判断为成功。

HarnessPro 的做法是提前生成可执行测试。输入包括任务描述,以及初始 harness 的运行轨迹。测试在进化开始前生成一次,后续各轮固定使用;否则,harness 变了、评分尺子也变了,就很难判断分数变化来自哪里。它们是内部评估的代理信号,最终结果仍由留出测试上的官方评测器给出。[§4.3]

同一批结果,换一种判定方式

实际失败 · 12 个

✓✓✓✓✓×××××××

5 个发现失败 · 7 个漏判

实际成功 · 8 个

✓✓✓✓✓✓✓✓

8 个判断正确 · 0 个误报

识别出的实际失败5 / 12
失败召回率41.7%
成功被误判为失败0 / 8

12 个实际失败中,有 7 个被 LLM judge 误判为成功。

图 2 · 论文图 2 的汇总计数:20 个结果,含 8 个实际成功、12 个实际失败。圆点只表示数量,不代表两种评估器逐任务匹配的原始记录。灰色为判断正确,赭色为判断错误。

在论文这组小规模预实验中,失败召回率从 5/12=41.7% 提高到 10/12=83.3%。变化发生在“能否发现真实失败”上,不能写成整体准确率提高了 41.7 个百分点。生成测试也不是完美裁判:它把 8 个实际成功中的 1 个判成了失败。[图 2]

这解释了为什么论文一方面使用固定的生成测试做内部反馈,另一方面还要保留独立的官方最终评测。前者让循环能够运行,后者检验这种代理反馈是否真的带来了任务能力的改进。

4 先找不能被替代的版本,再谈偏好

假设有两个 harness:A 的成功率更高,成本还更低,那么 B 就没有必要保留。形式上,若 P(A)≥P(B)、C(A)≤C(B),并且至少一个不等式严格成立,就称 A 支配 B。

经过表现下限过滤后,再去掉所有被支配的候选,剩下的就是当前候选集合的 Pareto 前沿。这里的“最优”是相对于已经产生的候选而言,不是证明全世界再也不存在更好的 harness。

在同一条前沿上选择
70%80%90%0.20.61.01.4验证表现 ↑执行成本($/任务)→ABCDEFG低于下限被 C 支配70%80%90%0.20.61.01.4验证表现 ↑执行成本($/任务)→ABCDEFG
表现权重 α1
成本权重 β1
选中候选D

Medium 选中 D:表现 80%,成本 $0.90;归一化目标值 0.500。

图 3 · 构造示例,用来解释验证阶段的选择规则,不是论文实验结果。A 低于初始表现下限 70%;G 被 C 支配。B–F 构成前沿。切换模式后,表现、成本与候选点均不改变,只改变选择偏好。

接下来才能定义“更偏爱高表现,还是低成本”。HarnessPro 先把前沿内的两个维度归一化:以最高表现为参照,计算表现差距;以最低成本为参照,计算成本差距。

dp(h)=Pmax−P(h)Pmax−Pmin,dc(h)=C(h)−CminCmax−Cmin

两个差距越小越好。再按模式计算到理想点的加权平方距离:

hm*=*argminh[αmdp(h)2+βmdc(h)2]

Lite 使用 (α,β)=(1,2),Medium 使用 (1,1),Heavy 使用 (2,1)。这三个名字表示成本与表现的偏好,不是三种不同大小的基础模型。极值来自当轮筛选后的验证候选集合,比较的是固定生成测试上的验证表现,而非最终测试结果。[§4.3]

也不一定每轮都有三个不同的赢家。同一个候选可能同时最适合两个模式,去重后保留的版本就少于三个。图中的数值专门构造成三种不同选择,便于看清偏好的作用。

5 省钱最终落在什么代码上

“修改 harness”听起来抽象,但论文给出的运行策略很具体。一类改动是先读取任务特征,决定采用哪个执行配置:简单任务使用紧凑的指令和更小的调用预算;需要更多检查的任务分配更深入的推理与工具空间。

另一类改动发生在执行中。模型快要陷入反复搜索时,运行时 hook 可以提醒它压缩探索、汇总已有证据,转向完成和验证任务。提醒被附加在工具返回结果中,使前面的提示词前缀更稳定,也更有利于缓存复用。对重复日志和冗长工具输出进行折叠、保留关键首尾,也能减少后续上下文负担。

静态图任务描述先决定执行配置,运行中的工具调用数触发节约提醒、收束提醒和硬预算停止。
图 4 · 14 / 26 / 44 次调用是论文 Terminal-Bench 2.0 Medium 的 standard 配置实例:逐步节约、收束、停止。它们不是所有任务的统一阈值。依据论文 §5.3 重绘。

这里重要的是“先路由,再随进程收束”。如果不分任务直接降低推理强度,便宜可能只是因为少做了必要工作。论文在 SWE-Bench Pro 上的一个对照很能说明区别:RHO 降低推理强度后,执行成本从 $2.68 降到 $1.08,但成功率也从 80% 降到了 59%;完整 HarnessPro Medium 的结果是 $1.26 与 79%。[表 3]

这个对照支持“更有针对性的改进比一律降预算有效”这一判断,但并不意味着某个提醒或阈值本身就能复制全部收益。论文还比较了只移植路由或 hook 的版本,它们也没有同时达到完整方法的成本与表现。

6 “成本降低 53%”到底比较了什么

先把标题里的数字完整地还原出来:在论文的 GPT-5.5 × Codex 配置、SWE-Bench Pro 测试子集上,RHO 的平均每任务执行成本是 $2.68,HarnessPro Medium 是 $1.26。因此,降幅为:

2.68−1.262.68×100%≈53.0%

同一比较中,成功率从 80.0% 变成 79.0%。所以更准确的说法是:以低 1 个百分点的成功率,换来约一半的单任务执行成本。这里没有把搜索、诊断、生成候选 harness 所花的钱算进去,不能据此说整个改进过程的总花费下降了 53%。[表 2]

同一模型与运行框架,切换测试集

GPT-5.5 × Codex · 100 道留出任务;表现为任务通过率;HarnessPro 重复 3 次。

方法通过率执行成本 / 任务耗时 / 任务
Vanilla59.0%$1.88337 s
RHO80.0%$2.68437 s
HarnessPro Lite72.3 ± 0.6%$0.80 ± 0.02203 ± 19 s
HarnessPro Medium79.0 ± 1.0%$1.26 ± 0.03326 ± 25 s
HarnessPro Heavy80.7 ± 0.6%$1.97 ± 0.02333 ± 10 s

Medium 对 RHO:成功率 −1.0 个百分点;每任务执行成本 −53.0%。

表 1 · 摘录论文表 2 的同配置结果。± 为论文报告的重复运行样本标准差;没有 ± 的条目不补造不确定性。成本由输入、缓存输入与输出 token 计费汇总;耗时不包含评测时间。

换一个测试集,结论的形状也会改变。在 Terminal-Bench 2.0 上,Heavy 相对 RHO 的通过率从 76.3% 提高到 80.8%,成本从 $1.09 降到 $0.72;表现与成本同时改善。ProgramBench 中,Lite 的成本低于初始版本,但耗时更长。因此,“更便宜”不能直接替换成“每次都更快”。

还要留意指标的分母:Terminal-Bench 与 SWE-Bench Pro 看一道任务是否整体通过;ProgramBench 则先计算每道任务通过了多少比例的测试,再跨任务平均。表中 ProgramBench 的 69.6% 不表示 69.6% 的任务被完整解决。论文的留出任务数分别是 59、100、100;HarnessPro 在前两者重复 3 次,ProgramBench 重复 2 次。[§5.1]

7 真正值得带走的改进方法

HarnessPro 最有价值的视角,是把“Agent 不够好”拆成可以检查的具体问题。基础模型也许已经会做任务,困难在于是否拿到了合适的上下文,是否把工具调用花在了有价值的位置,以及是否在合适的时机验证和结束。

一个有效的循环因此需要几种东西同时存在:能够追到原始轨迹的诊断,比较时不随候选变动的评估信号,允许不同成本偏好的版本选择,以及最终独立于内部反馈的检验。它们分别解决“改哪里”“怎么比较”“留下谁”和“是否真的有用”。

论文消融也给出了支持:在 SWE-Bench Pro 上,Medium 的完整版本是 79% / $1.26;去掉规划器为 73% / $1.42,去掉生成测试为 69% / $1.37。但组件收益并非处处单调:例如 Terminal-Bench 的 Lite 去掉规划器后,表现同为 72.9%,报告成本还略低。这些是给定任务、配置与候选搜索下的结果,不是每个组件在任何场景中必然提高指标的定律。[表 3]

阅读这类工作时,可以把两个问题放在一起问:Agent 是不是更会做任务了?为了得到这个结果,它究竟多做了什么,又少做了什么?前者需要独立评测,后者需要轨迹和成本记录。只看其中一个,都容易把“花得更多”误当成“做得更好”,或者把“做得更少”误当成“效率更高”。

来源与阅读范围

  1. Pan et al. HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs,arXiv:2610.26770v2,2026-10-20。本文核对方法 §3–4、实验 §5、附录 A.2 与图 2、表 2/3;论文仍标注 under review。方法图为本文重绘,数值归原论文作者,原文采用 CC BY 4.0。
  2. 官方代码仓库 HarnessPro。已阅读项目 README 与公开目录说明;本文没有运行该项目,也不把论文报告值当作本地复现实验。
  3. 梦晨,量子位,《智谱唐杰署名 RSI 新成果开源!Agent 自我进化成本还狂降 53%》,2026-10-23。作为选题入口;技术过程、公式与数字以原论文为依据。