让 Agent 学会省力:
HarnessPro 如何进化运行框架
一次任务做得更好,可以靠更强的模型,也可以靠更好的工作方式。HarnessPro 把后者变成了一个可以反复诊断、修改和选择的过程。
1 进化的是哪一层
给同一个编码模型相同的任务,它可能先定位相关文件、修改代码、跑一个有针对性的测试,也可能不断搜索、重复查看日志,最后仍未验证自己的修改。模型能力相同,不代表执行过程相同。
把模型放进具体任务、让它持续工作的这一层,可以称为 harness:系统与开发者指令、工具接口、上下文处理、运行时提醒、验证规则,以及何时继续或结束任务。它决定模型看见什么、可以做什么,以及下一次行动发生在什么条件下。
HarnessPro 修改的正是这一层。它让模型检查运行轨迹、提出修改计划,再编辑 harness 的实现。论文没有在这个循环中更新基础模型权重;因此,这里的“自我改进”与通过 SFT、PPO 更新模型参数的训练有不同的对象。把改进前后的代码放在 Git 中比较,可以看到究竟改了哪条指令、哪段工具逻辑或哪个运行策略。[§3]
目标也有两个:任务表现 越高越好,执行成本 越低越好。只追求更高的成功率,容易靠更多调用换结果;只压低预算,又可能让模型过早放弃。论文把这两个目标放在一起,保留几种不同取舍的 harness,而非始终只留下一个最高分版本。
2 用轨迹找问题,用验证集选版本
这个过程有三个必须分开的数据角色。训练核心集提供诊断材料;验证集比较候选实现;最终保留的版本才在留出的测试集上接受官方评测。训练集里的“训练”,指为 harness 改进提供反馈,并不意味着这里做了梯度更新。
论文先用兼顾难度与多样性的 DPP 选择 10 道训练核心任务。每一轮,每个保留的 harness 在每道训练任务上独立运行 3 次。一次失败可能是偶然,几条轨迹放在一起,更容易看出反复出现的绕路、工具使用错误和验证缺口。[§5.1]
静态图
Trajectory Analyzer 先阅读同一道任务的多次运行,指出问题、预期影响与证据位置。它输出的不是一句“效率不高”,而是可以追溯到日志路径和事件范围的诊断:哪里重复调用,哪里错误地收束,哪个验证环节缺失。
Evolution Planner 再把诊断变成三种计划:成本优先、均衡、表现优先。它可以比较不同候选的代码与指标,必要时沿证据链接查看具体轨迹;完整轨迹不会默认全部塞进规划上下文。这样,规划器主要处理已经组织过的证据。
Harness Editor 在独立工作区落实每个计划并提交代码。随后,父版本与新版本一起在验证集上比较。低于初始版本表现的候选先被过滤,其余候选再进入 Pareto 选择。被保留的版本成为下一轮的父版本。论文在 Terminal-Bench 2.0 与 SWE-Bench Pro 上运行 3 轮,在 ProgramBench 上运行 4 轮。[§4.2–4.3] [§5.1]
3 先让“做对了没有”更可信
自动改进之前,要先回答一个更基础的问题:谁来判断这次运行完成了任务?如果每次只让另一个语言模型阅读结果并打分,解释得像样的失败,也可能被判断为成功。
HarnessPro 的做法是提前生成可执行测试。输入包括任务描述,以及初始 harness 的运行轨迹。测试在进化开始前生成一次,后续各轮固定使用;否则,harness 变了、评分尺子也变了,就很难判断分数变化来自哪里。它们是内部评估的代理信号,最终结果仍由留出测试上的官方评测器给出。[§4.3]
实际失败 · 12 个
5 个发现失败 · 7 个漏判
实际成功 · 8 个
8 个判断正确 · 0 个误报
12 个实际失败中,有 7 个被 LLM judge 误判为成功。
在论文这组小规模预实验中,失败召回率从 提高到 。变化发生在“能否发现真实失败”上,不能写成整体准确率提高了 41.7 个百分点。生成测试也不是完美裁判:它把 8 个实际成功中的 1 个判成了失败。[图 2]
这解释了为什么论文一方面使用固定的生成测试做内部反馈,另一方面还要保留独立的官方最终评测。前者让循环能够运行,后者检验这种代理反馈是否真的带来了任务能力的改进。
4 先找不能被替代的版本,再谈偏好
假设有两个 harness:A 的成功率更高,成本还更低,那么 B 就没有必要保留。形式上,若 、,并且至少一个不等式严格成立,就称 A 支配 B。
经过表现下限过滤后,再去掉所有被支配的候选,剩下的就是当前候选集合的 Pareto 前沿。这里的“最优”是相对于已经产生的候选而言,不是证明全世界再也不存在更好的 harness。
Medium 选中 D:表现 80%,成本 $0.90;归一化目标值 0.500。
接下来才能定义“更偏爱高表现,还是低成本”。HarnessPro 先把前沿内的两个维度归一化:以最高表现为参照,计算表现差距;以最低成本为参照,计算成本差距。
两个差距越小越好。再按模式计算到理想点的加权平方距离:
Lite 使用 ,Medium 使用 ,Heavy 使用 。这三个名字表示成本与表现的偏好,不是三种不同大小的基础模型。极值来自当轮筛选后的验证候选集合,比较的是固定生成测试上的验证表现,而非最终测试结果。[§4.3]
也不一定每轮都有三个不同的赢家。同一个候选可能同时最适合两个模式,去重后保留的版本就少于三个。图中的数值专门构造成三种不同选择,便于看清偏好的作用。
5 省钱最终落在什么代码上
“修改 harness”听起来抽象,但论文给出的运行策略很具体。一类改动是先读取任务特征,决定采用哪个执行配置:简单任务使用紧凑的指令和更小的调用预算;需要更多检查的任务分配更深入的推理与工具空间。
另一类改动发生在执行中。模型快要陷入反复搜索时,运行时 hook 可以提醒它压缩探索、汇总已有证据,转向完成和验证任务。提醒被附加在工具返回结果中,使前面的提示词前缀更稳定,也更有利于缓存复用。对重复日志和冗长工具输出进行折叠、保留关键首尾,也能减少后续上下文负担。
静态图
这里重要的是“先路由,再随进程收束”。如果不分任务直接降低推理强度,便宜可能只是因为少做了必要工作。论文在 SWE-Bench Pro 上的一个对照很能说明区别:RHO 降低推理强度后,执行成本从 $2.68 降到 $1.08,但成功率也从 80% 降到了 59%;完整 HarnessPro Medium 的结果是 $1.26 与 79%。[表 3]
这个对照支持“更有针对性的改进比一律降预算有效”这一判断,但并不意味着某个提醒或阈值本身就能复制全部收益。论文还比较了只移植路由或 hook 的版本,它们也没有同时达到完整方法的成本与表现。
6 “成本降低 53%”到底比较了什么
先把标题里的数字完整地还原出来:在论文的 GPT-5.5 × Codex 配置、SWE-Bench Pro 测试子集上,RHO 的平均每任务执行成本是 $2.68,HarnessPro Medium 是 $1.26。因此,降幅为:
同一比较中,成功率从 80.0% 变成 79.0%。所以更准确的说法是:以低 1 个百分点的成功率,换来约一半的单任务执行成本。这里没有把搜索、诊断、生成候选 harness 所花的钱算进去,不能据此说整个改进过程的总花费下降了 53%。[表 2]
GPT-5.5 × Codex · 100 道留出任务;表现为任务通过率;HarnessPro 重复 3 次。
| 方法 | 通过率 | 执行成本 / 任务 | 耗时 / 任务 |
|---|---|---|---|
| Vanilla | 59.0% | $1.88 | 337 s |
| RHO | 80.0% | $2.68 | 437 s |
| HarnessPro Lite | 72.3 ± 0.6% | $0.80 ± 0.02 | 203 ± 19 s |
| HarnessPro Medium | 79.0 ± 1.0% | $1.26 ± 0.03 | 326 ± 25 s |
| HarnessPro Heavy | 80.7 ± 0.6% | $1.97 ± 0.02 | 333 ± 10 s |
Medium 对 RHO:成功率 −1.0 个百分点;每任务执行成本 −53.0%。
换一个测试集,结论的形状也会改变。在 Terminal-Bench 2.0 上,Heavy 相对 RHO 的通过率从 76.3% 提高到 80.8%,成本从 $1.09 降到 $0.72;表现与成本同时改善。ProgramBench 中,Lite 的成本低于初始版本,但耗时更长。因此,“更便宜”不能直接替换成“每次都更快”。
还要留意指标的分母:Terminal-Bench 与 SWE-Bench Pro 看一道任务是否整体通过;ProgramBench 则先计算每道任务通过了多少比例的测试,再跨任务平均。表中 ProgramBench 的 69.6% 不表示 69.6% 的任务被完整解决。论文的留出任务数分别是 59、100、100;HarnessPro 在前两者重复 3 次,ProgramBench 重复 2 次。[§5.1]
7 真正值得带走的改进方法
HarnessPro 最有价值的视角,是把“Agent 不够好”拆成可以检查的具体问题。基础模型也许已经会做任务,困难在于是否拿到了合适的上下文,是否把工具调用花在了有价值的位置,以及是否在合适的时机验证和结束。
一个有效的循环因此需要几种东西同时存在:能够追到原始轨迹的诊断,比较时不随候选变动的评估信号,允许不同成本偏好的版本选择,以及最终独立于内部反馈的检验。它们分别解决“改哪里”“怎么比较”“留下谁”和“是否真的有用”。
论文消融也给出了支持:在 SWE-Bench Pro 上,Medium 的完整版本是 79% / $1.26;去掉规划器为 73% / $1.42,去掉生成测试为 69% / $1.37。但组件收益并非处处单调:例如 Terminal-Bench 的 Lite 去掉规划器后,表现同为 72.9%,报告成本还略低。这些是给定任务、配置与候选搜索下的结果,不是每个组件在任何场景中必然提高指标的定律。[表 3]
阅读这类工作时,可以把两个问题放在一起问:Agent 是不是更会做任务了?为了得到这个结果,它究竟多做了什么,又少做了什么?前者需要独立评测,后者需要轨迹和成本记录。只看其中一个,都容易把“花得更多”误当成“做得更好”,或者把“做得更少”误当成“效率更高”。
来源与阅读范围
- Pan et al. HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs,arXiv:2610.26770v2,2026-10-20。本文核对方法 §3–4、实验 §5、附录 A.2 与图 2、表 2/3;论文仍标注 under review。方法图为本文重绘,数值归原论文作者,原文采用 CC BY 4.0。
- 官方代码仓库 HarnessPro。已阅读项目 README 与公开目录说明;本文没有运行该项目,也不把论文报告值当作本地复现实验。
- 梦晨,量子位,《智谱唐杰署名 RSI 新成果开源!Agent 自我进化成本还狂降 53%》,2026-10-23。作为选题入口;技术过程、公式与数字以原论文为依据。