章节总览
Agent 工程与轨迹数据 / 09 · 正文
原目录

梳理训练与推理搜索术语,进一步讨论 Judge–Fix 链路中的搜索、路由和计算预算。

大模型训练与推理搜索术语体系及 Judge-Fix 链路搜索升级方案

本文档整理了从大模型后训练(Post-Training)核心术语,到推理时搜索(Test-Time Search)业界实践,再到本地 Judge-Fix 链路架构分析与搜索升级方案的完整讨论。


目录

  1. 大模型后训练核心术语体系
  2. 关键概念对比与关系
  3. 推理时搜索(Test-Time Search)业界实践
  4. 本地 Judge-Fix 链路架构分析
  5. Judge-Fix 链路搜索升级方案

1. 大模型后训练核心术语体系

1.1 CPT(Continued Pre-training,继续预训练)

定义:在已预训练好的基座模型上,用特定领域或特定形态的无标注数据继续进行预训练的阶段。核心目标是领域知识注入——让模型更懂"行话"、更新知识库或强化特定能力。

关键特征:

  • 数据:领域内无标注纯文本(百亿~千亿 Token 级),不同于 SFT 的"指令-回答"有标注数据
  • 损失函数:Next Token Prediction,与 Pretrain 相同
  • 核心挑战:灾难性遗忘(学新知识时忘掉旧技能),通过数据混合、课程学习等方式缓解
  • 定位:大模型训练五阶段(Pretrain → CPT → SFT → DPO/RL)中的"专业深造"环节

与 Midtrain 的关系: Midtraining(中期训练)是近期提出的一种 CPT 形式——在预训练末期混入更高质量、更贴近后续监督阶段的数据,目的是桥接 Pretrain 和 SFT/RL 之间的分布差异、降低遗忘。

在实际项目中两者经常直接划等号:

  • 多维表格项目直接命名为 "Mid-Train",CPT 是其中的训练类型
  • llm2sid 任务原文写的是"尝试 mid-train(CPT)"
  • Tongyi DeepResearch 称其为"Agentic 中期训练(持续预训练,CPT)"

简单理解:Midtrain 是 CPT 的一种特定策略/定位(放在预训练末期、面向后续监督阶段做桥接),但在工程实践中大家经常把这两个词当同义词用。

涉及过 CPT 的企业内部任务:

任务/项目 CPT 的角色 关键信息
多维表格 Mid-Train 核心训练类型之一,负责领域知识注入 正式导出 1,859 篇 CPT 文本(HC 官方文档 252 + 清洗 chunk 1,607),与 65,971 条 SFT 组成"知识底座 + 行为塑形"两层结构
商家客服 CPT 实验 实验主体 2025.4 做了一阶段通用文本数据实验 + 二阶段退火实验,对比不同数据混合比例、退火策略对电商客服意图识别的效果
llm2sid 对齐任务(短视频推荐召回) 尝试 mid-train(CPT) 方案 text↔sid 对齐任务数据量大,尝试用 CPT 把 semantic id 嵌在电商语境的用户行为 context 里
Tongyi DeepResearch Agentic Mid-training 在预训练和 RL 调优之间插入 Agentic CPT 阶段,用合成 Agent 轨迹语料赋予模型多步推理、工具使用的行为先验

注:CPT 在广告领域也指 Cost Per Time(按展示时长计费),但在大模型训练语境下指 Continued Pre-training。


1.2 PRM(Process Reward Model,过程奖励模型)

定义:对推理过程中每一个中间步骤进行细粒度评分的奖励模型,也叫密集奖励模型(Dense Reward Model)。

与 ORM 的对比:

维度 ORM(结果奖励) PRM(过程奖励)
评估对象 只看最终答案/最终结果 评估推理链的每一步
信号密度 稀疏(一条回答一个分数) 密集(每步一个分数)
标注成本 低 高(需逐步标注对错)
学习效率 较低,只知道"错了"但不知"哪步错" 较高,能精确定位错误步骤
适用场景 简单任务、快速迭代 数学推理、代码生成、科学推理等长链推理

一句话:ORM 告诉你"答卷总分多少",PRM 告诉你"哪一步做错了"。

PRM 的两大用途:

  1. 训练时:为强化学习提供更细粒度的奖励信号,缓解长推理任务的信用分配问题——模型不会因为"碰巧蒙对最终答案"就拿满分。
  2. 推理时(Test-Time Compute):作为 Best-of-N 采样的选择器、MCTS/树搜索的评估器,一步步引导模型走向正确路径、及早剪掉错误分支。

实际落地中的局限: DeepSeek-R1 论文中明确提到,PRM 虽然合理,但在大规模 RL 中存在三个问题:

  1. 细粒度"步骤"本身难以界定
  2. 中间步骤是否正确难以自动标注,人工标注又无法规模化
  3. 引入基于模型的 PRM 会带来奖励陷阱(reward hacking),且额外训练成本高

最终 R1 选择了纯 GRPO + 可验证奖励(RLVR)的路线,没有用 PRM。

rStar-Math 对 PRM 的改进: rStar-Math 是目前"推理时 MCTS + PRM"最成功的案例,其核心创新:

  1. 剪枝机制:每个节点从文本形式改为代码形式,通过代码是否可执行来剪枝明显错误的分支
  2. PPM(Process Preference Model):不直接用 Q 值做 MSE 训练,而是用 Bradley-Terry 思想做步骤级偏好排序,降低评估噪声
  3. 四阶段自我进化:每轮迭代产生更高质量的数据

效果:7B 小模型在 MATH 基准上从 58.8% 提到 90.0%,超过 o1-preview。


1.3 ORM(Outcome Reward Model,结果奖励模型)

定义:只对最终输出进行评分的奖励模型,输出一个标量分数表示回答的质量。

训练方式:用人类偏好对(chosen/rejected)训练,基于 Bradley-Terry 模型,损失函数为: L=−log⁡(σ(rchosen−rrejected))L = -\log(\sigma(r_{chosen} - r_{rejected}))

实现上通常是在 SFT 模型基础上加一个线性头,输出标量分数。

局限:只看最终结果、信号稀疏——模型只知道"最后错了",但不知道"哪一步错了",这也是 PRM 要解决的问题。


1.4 DPO(Direct Preference Optimization,直接偏好优化)

定义:一种对齐算法,最大的特点是不需要显式训练奖励模型,也不需要强化学习,直接用"好回答/坏回答"偏好对就能优化模型。

与传统 RLHF 的对比:

方法 流程 需要的模型
传统 RLHF SFT → 训练奖励模型(RM) → PPO 强化学习 策略 + 奖励 + 价值网络 + 参考模型
DPO SFT → 直接用偏好对优化 策略 + 参考模型(通常就是 SFT 模型)

核心直觉:让"好回答"相对于参考模型的概率升高,让"坏回答"相对于参考模型的概率降低,同时用 β 系数控制不要偏离参考模型太远(防灾难性遗忘)。

本质:DPO 是监督学习(偏好排序),不是强化学习。

优缺点:

  • 优势:简单、稳定、训练快、成本低
  • 缺点:效果上限可能不如 PPO/GRPO(尤其复杂推理任务),对偏好数据质量要求高

工业界常见做法:先上 DPO 快速对齐,效果不够再上 GRPO。


1.5 GRPO(Group Relative Policy Optimization)

定义:DeepSeek 提出的强化学习算法,核心思想是对同一个 prompt 采样 G 个回答,用组内奖励的相对排名(而非绝对分数)计算优势函数,从而去掉了 PPO 中的 critic/value 网络。

优势函数计算: Ai=(ri−μ)/(σ+ϵ)A_i = (r_i - \mu) / (\sigma + \epsilon)

其中 rir_i 是第 i 个回答的奖励,μ\mu 是组内均值,σ\sigma 是组内标准差。

与 PPO 的区别:

  • PPO 需要单独训练一个 value network(critic)来估计状态价值
  • GRPO 用组内均值作为基线,不需要 critic,减少了训练复杂度和不稳定性

关键特性:on-policy——每轮训练都用当前策略实时采样生成回答,能发现训练数据里没有的新解法。


1.6 MCTS(Monte Carlo Tree Search,蒙特卡洛树搜索)

定义:一种启发式搜索算法,核心思想是把决策过程建模成一棵树,通过反复抽样来估计每个分支的价值,而不是穷举所有可能。

每轮迭代四步:

  1. 选择(Selection):从根节点出发,按 UCB 等策略选一个最有前景的分支往下走,直到遇到未完全扩展的节点
  2. 扩展(Expansion):给该节点新增一个或多个子节点
  3. 模拟(Simulation):从新节点出发随机/策略地模拟到终局,得到一个结果
  4. 回溯更新(Backpropagation):把结果沿路径回传到根节点,更新所有经过节点的访问次数和累计价值

在大模型推理中的作用: 把"多步推理"看成在推理步骤空间里搜索——每个节点是一个中间推理状态,每步可以展开多个候选下一步。MCTS 让模型系统地探索多条解题路径,而不是贪心一条道走到黑,是 AlphaGo 式搜索思想在 LLM 推理上的迁移。

通常与 PRM 配合:PRM 给每个中间步骤打分,作为 MCTS 的"评估器"引导搜索方向、及早剪掉错误分支。


2. 关键概念对比与关系

2.1 ORM vs 普通强化学习

这是两个不同层面的概念,经常被混在一起说:

维度 ORM(结果奖励模型) 普通强化学习(RL)
本质 一个"打分器",给最终输出一个分数 一套完整的学习范式,智能体通过奖励信号更新策略
做什么 评最终答案好不好,输出一个标量分数 根据奖励信号,用策略梯度(PPO/GRPO等)更新模型参数
角色 RLHF 流程中的前置组件,提供奖励信号 RLHF 流程中的优化器,消费奖励信号
学习范式 监督学习(训练时用偏好对拟合人类打分) 强化学习(在线采样 + 策略更新)

关系:ORM 负责"判卷给分",RL 负责"拿着分数改卷子"。两者是上下游关系,不是替代关系。完整的 RLHF 流程是:SFT → 训练 ORM/PRM(打分器)→ 用 PPO/GRPO 等 RL 算法优化策略。


2.2 DPO vs GRPO:哪个是 on-policy

GRPO 是 on-policy,DPO 是 off-policy。

维度 DPO GRPO
数据来源 预先构造好的偏好对 (chosen, rejected),训练时直接用 训练过程中当前策略实时采样生成 G 个回答
学习范式 监督学习(偏好排序) 强化学习(策略梯度)
需要 RM 吗 不需要,隐式奖励 需要(或规则奖励函数)
需要参考模型 需要(计算 KL 约束) 需要(计算 KL 约束)
在线/离线 离线,数据固定 在线,每轮重新采样
稳定性 高,不容易训崩 中等,需要调参
效果上限 受限于偏好数据质量 更高,能探索数据中没有的新策略

直觉理解:

  • DPO 像"照着标准答案抄作业"——答案已经准备好了,模型只需要学会偏好好的、拒绝坏的。
  • GRPO 像"自己刷题,对了加分错了扣分"——模型自己生成答案,根据奖励反馈更新策略,能发现训练数据里没有的新解法。

2.3 Bradley-Terry 模型与 TrueSkill 的关系

Bradley-Terry(BT)模型是一种成对比较(pairwise comparison)的概率模型,核心公式: P(y1≻y2∣x)=σ(r(x,y1)−r(x,y2))P(y_1 \succ y_2 \mid x) = \sigma(r(x,y_1) - r(x,y_2))

直觉:每个对象有一个隐含的"实力分"rr,两个对象比较时,实力分差经过 sigmoid 就是"谁赢"的概率。在 LLM 奖励模型训练中,就是让好回答的奖励分高于坏回答。

与 TrueSkill 的关系:两者属于同一类"从局部两两比较推断全局排名"的算法家族,但复杂度不同:

模型 核心思想 输出 适用场景
Elo 每次对局后按结果更新双方分数 单个标量分 象棋等一对一零和游戏
Bradley-Terry 用最大似然拟合所有成对比较,估计每个对象的隐含实力 单个标量分 静态排名、奖励模型训练
TrueSkill 贝叶斯框架,每个玩家用"均值+方差"表示,支持团队对局和不确定性 (μ, σ) 高斯分布 多人/团队游戏、在线匹配

简单说:BT 是 TrueSkill 的"简化版祖先"——BT 只估计一个标量实力分,TrueSkill 在此基础上加了不确定性建模(方差)和团队/多人支持。在 LLM 评测和奖励建模中,BT 最常用,因为它简单且足够。


2.4 MC 方法与 TD 方法

这是强化学习中估计价值函数的两种经典方法。

MC(Monte Carlo,蒙特卡洛方法):

  • 核心思想:用完整回合的实际回报(return)来估计价值
  • V(st)≈Gt=rt+1+γrt+2+⋯+γT−t−1rTV(s_t) \approx G_t = r_{t+1} + \gamma r_{t+2} + \dots + \gamma^{T-t-1} r_T
  • 必须等整个回合结束才能计算回报
  • 无偏估计(真实回报就是价值的定义)
  • 但方差大(每条轨迹随机性大)
  • 适合回合制、有明确终点的任务

TD(Temporal Difference,时序差分方法):

  • 核心思想:用自举(bootstrap),不需要等回合结束,用"当前奖励 + 下一状态的估计价值"来更新
  • V(st)←V(st)+α[rt+1+γV(st+1)−V(st)]V(s_t) \leftarrow V(s_t) + \alpha [ r_{t+1} + \gamma V(s_{t+1}) - V(s_t) ]
  • 每走一步就能更新,不需要等回合结束
  • 有偏估计(因为 V(st+1)V(s_{t+1}) 本身是估计值)
  • 但方差小,学习更稳定
  • 适合连续任务、在线学习

在 LLM 强化学习中的体现——GAE: PPO 里的 GAE(Generalized Advantage Estimation)就是 MC 和 TD 的插值混合: AtGAE(λ)=∑l=0∞(γλ)lδt+lA_t^{GAE(\lambda)} = \sum_{l=0}^{\infty} (\gamma\lambda)^l \delta_{t+l}

其中 δt=rt+γV(st+1)−V(st)\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t) 是 TD 误差。

  • λ=0\lambda=0 → 纯 TD(只看一步)
  • λ=1\lambda=1 → 纯 MC(看完整回报)
  • 中间值 → 偏差-方差权衡

GRPO 因为删掉了 critic/value network,所以不用 GAE,而是直接用组内奖励的均值作为基线来计算优势,这更接近 MC 风格的优势估计。


2.5 MCTS 与 GRPO rollout 的类比

相似点:两者都涉及"探索多条路径,然后选更好的"。

  • MCTS:在搜索树中探索多个分支,模拟到终点,回溯更新节点价值,选价值最高的路径
  • GRPO:对同一个 prompt 采样 G 个回答(轨迹),计算每个的奖励,组内比较后用相对优势更新策略

本质区别:

维度 MCTS GRPO
阶段 推理时(inference/test-time) 训练时(training)
目的 找到当前问题的最优回答 更新模型参数,让模型以后能生成更好的回答
树结构 显式构建搜索树,节点间有父子关系,支持回溯和剪枝 没有树结构,G 个回答是独立采样的,彼此无关
中间步骤评估 每个中间节点都有价值估计,支持逐步剪枝 通常只有最终回答的奖励(ORM),或逐步奖励(PRM)
是否更新参数 不更新,只做推理搜索 更新模型参数
成本 推理时计算量大,回答慢 训练时计算量大,推理时正常

更准确的类比:

  • MCTS 更像 Best-of-N + 剪枝:生成多个候选,用评估器(PRM/ORM)逐步筛选,保留最好的。区别是 MCTS 有树结构、能在中间步骤剪枝,而 Best-of-N 是独立生成完再选。
  • GRPO 更像"用一组答案的好坏来教模型":它不关心这组答案里哪个最终被选中作为输出,而是用整组的相对排名来计算梯度、更新参数。

一句话:MCTS 是推理时的"多想几条路,选最好的那条输出";GRPO 是训练时的"多生成几个答案,用好坏对比来更新模型参数"。两者可以配合使用——比如用 GRPO 训练出一个会推理的模型,推理时再用 MCTS 进一步搜索。


2.6 奖励模型本身的训练方式

传统做法:监督学习训练奖励模型

ORM 和 PRM 传统上都是用监督学习(类似 SFT)训练出来的,不是 GRPO:

  • ORM:用人类偏好对训练,基于 Bradley-Terry 模型,本质是二分类/排序的监督学习
  • PRM:用步骤级标注数据训练,在步骤分隔符位置做二分类(正确/错误),也是监督学习

为什么传统上不用 GRPO 训奖励模型: 奖励模型是 RLHF 流程的前置组件——它负责提供稳定的奖励信号,然后策略模型消费这个信号。如果奖励模型本身也用 RL 训,会带来:

  1. 训练不稳定(奖励模型在变,策略也在变,两个动态系统耦合)
  2. 奖励黑客(reward hacking)风险更高
  3. 实现复杂度大幅上升

所以传统做法是:奖励模型用监督学习训好后冻结,策略模型用 RL 训。

新趋势:用 RL 训练奖励模型

最近一年开始出现"把奖励模型也当推理模型训"的趋势:

工作 方法 核心思想
RM-R1(ICLR 2026) 推理蒸馏 + RLVR/GRPO 两阶段 把奖励建模视为长链推理任务,先 SFT 学会"先分析再打分",再用 RL 强化判断能力
R1-Reward StableReinforce(类 RL 算法) 用强化学习训练多模态奖励模型,引入格式奖励+结果奖励+一致性奖励,解决"分析说A好但最后选B"的精神分裂问题
DeepSeek-GRM GRPO 引导生成式 RM 让奖励模型先生成 critique(推理过程)再打分,用 GRPO 引导 reason 质量

共同直觉:简单的打分器(标量回归)不够用了,奖励模型也需要"思考"才能判断复杂回答的好坏。既然要思考,那就用训推理模型的方法(SFT + GRPO)来训它。

DeepSeek R1 的极端选择: 完全不用 ORM/PRM 这类神经奖励模型,而是用纯规则奖励:

  • 准确性奖励:数学答案是否正确、代码是否通过测试
  • 格式奖励:是否把思考放在 <think> 标签里

原因是认为神经奖励模型在大规模 RL 中会有 reward hacking 问题,且训练它需要额外资源。R1-zero 甚至连 SFT 都不用,直接在 base 模型上用 GRPO + 规则奖励训出推理能力。


3. 推理时搜索(Test-Time Search)业界实践

3.1 两种形态:外置搜索 vs 内化搜索

业界把推理时搜索分成两条路线:

形态 做法 代表 成熟度
外置搜索(Explicit MCTS) 在模型外面维护一棵搜索树,每步显式调 LLM 生成候选→打分→剪枝→回溯 ToT、LATS、rStar-Math(推理时)、AlphaProof 研究成熟,产品级仅限特定场景
内化搜索(Implicit) 用 RL(GRPO等)把"多候选+评估+剪枝"全训进模型权重,模型一次前向在 hidden state 里完成搜索 o1/o3、Claude Thinking、DeepSeek R1、Gemini Thinking 产品级成熟,当前主流

两者本质做的是同一件事——用推理时的算力换准确率,区别只是"搜索逻辑写在 agent 外面、还是直接训进模型自己跑"。


3.2 成熟落地案例

案例 1:rStar-Math(最典型的推理时 MCTS)

微软亚研院 2025 年的工作,是目前"推理时 MCTS + PRM"最成功的案例:

  • 底座:7B 小模型(Qwen2.5-Math-7B)
  • 推理时:用 MCTS 做 test-time search,每步生成自然语言 + Python 代码,代码可执行性用于剪枝明显错误的分支,PPM(过程偏好模型)作为节点评估器
  • 效果:MATH 基准从 58.8% 提到 90.0%,超过 o1-preview(+4.5%);AIME 平均解答率 53.3%(8/15),跻身前 20% 高中生水平

核心洞察:MCTS 的关键在 PRM——只要能在 MC 树中排除中间步骤错误多的 rollout 链路、提升 PRM 准确率,这条路的上限比基于规则的稀疏奖励 ORM 更高。

案例 2:DeepMind AlphaProof + AlphaGeometry(天花板级)

2024 年 IMO 银牌(28/42,离金牌差 1 分),用 RL 训练的 LLM solver + 形式化证明 verifier 构成搜索树,单题思考几分钟到几天。

反直觉的点:直接用 o1 解 IMO 2024 远拿不到银牌——内化的 reasoning model 单次推理只能撑几分钟,外置 tree search 在极致难度任务上反而是天花板更高的路径。

案例 3:HierFlow(2026,免训练的 test-time 搜索)

免训练的推理时层次搜索框架,低层用 MCTS 启发的代码搜索,仅用 GPT-4o-mini 就在 MATH/GSM8K/HumanEval 等 5 个基准上全面超越 11 个强基线。特点是有自适应门控——只在子任务不确定性高时才触发 MCTS,避免无脑搜索浪费算力。


3.3 通用场景的局限

为什么推理时 MCTS 没有成为通用产品的标准做法:

  1. 状态/动作/奖励空间难定义——数学题相对容易拆解成步骤,开放对话/创作很难
  2. 搜索策略取舍——不同题型适配不同复杂度的搜索,不一定越复杂越好
  3. 评估器是天花板——可验证任务(代码跑测试、数学代入)最可靠;开放任务只能用 LLM-as-judge,评判模型本身的能力就是上限
  4. 成本——推理时 MCTS 意味着多次调用 LLM、token 消耗大、延迟高,不适合实时交互场景

这也是为什么当前主流产品(o1/R1/Claude Thinking)选择了内化路线——用 GRPO 把"会长时间推理、会自我反思回溯"的能力训进模型,推理时只需要一次前向(虽然思考时间长),用户体验和成本都更可控。


4. 本地 Judge-Fix 链路架构分析

4.1 整体架构

链路位于 base-ai-post-training-j10-50case-20260831/script/spec_judge_fix_plus/node_pipeline/,是一个基于节点(node)的 pipeline:

节点执行顺序(full_router_final3 模式):

entry_router → full_domain_judge → table_fix → dependency_router
→ non_table_fix → hard_stage → terminal_domain_rewrite → final_result

运行机制(runner.py):

  • 默认线性执行节点列表
  • Router 节点可设 route_forward_to 跳过无关阶段,或设 route_back_to 有界回到对应 Fix
  • 向后回跳每次消耗一次 max_router_retries 预算
  • 绝对步数上限兜底,防意外死循环:max_steps = len(nodes) × (max_router_retries + max_hard_router_retries + 3) + 4

并发模型:

  • case 并发:8(--concurrency)
  • 域 Judge worker:4(--judge-workers)
  • 全进程模型调用上限:32(--max-inflight-model-calls)
  • 单次调用超时:900s

4.2 Judge 机制

模型与推理强度:

  • Judge 模型:gpt-5.6-luna
  • 普通检查推理强度:medium
  • 第三票(平局打破)推理强度:high

投票机制(V/Q):

  • V=3:独立完整五域 release 投票数
  • Q=2:strict majority(严格多数通过)
  • 前两票用 medium,第三票切 high(release_reasoning_effort_start_vote=3)

输出结构:

  • 支持结构化 JSON 输出和 markdown 输出
  • 每个问题包含:severity(S0/S1/S2/S3)、问题类型、问题描述、修正建议、规约依据
  • S0/S1 为阻断性问题(blocking),S2/S3 为非阻断性问题

Issue Ledger(问题账本):

  • 为每个问题分配稳定 ID,跨轮追踪问题的 open/closed 状态
  • 支持问题快照对比(compare_issue_snapshots)
  • 记录问题的来源、提交/回滚历史

稳定未修改域复判(Stable Unchanged Domain Rejudge):

  • 未修改的域如果从 pass 翻成 fail,会额外跑 3 票复判
  • 只有单票不稳定翻转才触发,决定性 V/Q 失败保持正常回滚
  • Table 变更会保守地使所有下游域(dashboard/workflow/permission)失效

4.3 Fix 机制

模型与参数:

  • Fix 模型:Seed2 ep-20241219131804-8sfvp
  • 推理强度:low
  • temperature:0.2(注意:ARK 客户端会把请求值 0.2 序列化为 wire 0.01,这是 J10 历史行为)
  • max_tokens:32768

修复预算(F):

  • Table 与非 Table 都是 F=7(Seed×7)
  • 每轮后重新 Judge
  • 末轮 Luna 默认关闭(per_fix_luna_rounds=0)

输出契约:

  • SpecDoc 模式:输出 patches JSON(old_text/new_text),不输出完整文档
  • 支持 bounded_object / bounded_transaction 模式:连续对象内多改动时用 object_replacements
  • 能力丢失保护(capability_loss_guard):保留未点名的字段、选项、引用
  • 最多 3 个不重叠对象替换(max_bounded_object_replacements=3)

输出校验恢复(G_fmt):

  • 主 Fix 输出格式不对时,用 fallback 模型(Luna)重试 1 次
  • 重试时明确告知上一次校验错误,要求严格返回输出契约
  • 校验失败的候选不写入当前文档

Repair Planner(跨域修复规划):

  • 在 Fix 之前调用一个 planner 模型,生成紧凑的修复计划
  • 计划包含:待修复问题列表、优先级、修复顺序、跨域依赖
  • 最多重建 2 次(max_plan_rebuilds=2)
  • 计划作为 prompt 块传入 Fix 节点

Fix 历史模式:

  • 默认 none:不传入历史轮次
  • within_visit:传入本次 Fix visit 内的历史轨迹(紧凑版,最多 12000 字符)
  • 历史用于避免重复无效修改、保留已解决问题

4.4 收敛控制与终末兜底

收敛模式:transactional

J2 Strategy Mode(三决策机制): 对每个修复候选,评估 before/after judge 的问题快照对比,然后三选一:

  1. Commit(直接提交):关闭至少一个稳定问题且不引入新问题(direct_safe_commit)
  2. Branch(分支尝试):关闭问题数严格多于新引入问题数(candidate_branch_eligible),允许花一次分支预算尝试
  3. Rollback(回滚):否则回滚到修复前状态

停滞检测:

  • 语义停滞 2 轮后触发终末处理(stagnation_rounds=2)
  • 终末耐心 2 轮(terminal_stagnation_patience=2)

终末旁路(Terminal Rewrite):

  • 模式:coordinated(协调重写,覆盖所有失败域)
  • 模型:Luna,推理强度 medium
  • 最多 5 轮(terminal_domain_rewrite_rounds=5)
  • 重写后仍按 V=3/Q=2 复判
  • 只允许修改目标域,其它域保持逐字不变

Hard Stage:

  • 普通回退最多 2 次
  • Hard Router 最多 3 次(max_hard_router_retries=3)
  • Hard 复判 1 次,Hard 多数 3/2(3 票 2 通过)

4.5 核心问题:单路径贪心

关键发现:当前链路每轮 fix 只生成一个方案。

_run_single_fix_with_validation() 每次只调用一次模型,输出一个 patches JSON,校验通过后提交,然后重新 judge。

问题:如果这一轮 fix 方向错了(比如修了 A 问题但引入了 B 问题,或者修的方式不对),后面 F=7 轮都在这个错误方向上反复挣扎。

这正是搜索能解决的问题——当前是"一条道走到黑"的贪心策略,而搜索的核心思想是"多试几条路,选最好的"。


4.6 I2 配置组:实际 50 Case 实验基线

注意:4.1~4.5 节描述的是 skill 目录里固化的 J10 配置(当前发布版本)。本节描述实际跑了 50 Case 并产生完整 E2E 结果的 I2 配置组,搜索升级分析应优先基于 I2 的实际失败归因。

I2 vs J10 关键配置对比

维度 I2(实际 50 Case 实验) J10(skill 固化发布版)
Fix 预算 F=5 / Seed×5 F=7 / Seed×7
域数量 4 域(Table/Dashboard/Workflow/Permission,无 Form) 5 域(含 Form)
全局并发 200 个模型调用在途 32 个
传输 全部统一 API Codex CLI 默认(非 Seed 调用)
代码 commit d9b21a1cd717760f72f7c266ecbd62b70c134a46 3ff5f527f24a508acc614640daa44d32b9fb139
输入 E10 Rewrite-after、Judge–Fix 前的 SpecDoc 同批输入(哈希一致)

I2 实验结果

指标 E10 历史链路 I2 基线链路 J10 增强链路
Judge–Fix 准出 45/50(90%) 43/50(86%) 46/50(92%)
正式 E2E Mix 准出 33/50(66%) 33/50(66%) 26/50(52%)
Focus 12 E2E 准出 0/12 6/12 2/12
Judge–Fix 准出后的 E2E 接受率 32/45(71.1%) 32/43(74.4%) 26/46(56.5%)
Judge–Fix 总 Token 未留存 93,150,632 125,867,741
Judge–Fix 墙钟时间 未留存 5,510.9 秒 13,746.1 秒

反直觉发现:J10 虽然 Judge–Fix 准出最高(92%),但 E2E 准出反而最低(52%)。这说明提高离线准出本身不能证明最终产物更好——Judge–Fix 的"准出"和 E2E 的"真实可用"之间存在 gap。I2 的 Judge–Fix 准出虽低(86%),但 E2E 接受率更高(74.4%),说明 I2 的准出更"实"。

I2 的 17 条 E2E 失败归因

这是搜索升级分析的关键——不是所有失败都能靠搜索解决。

主因 Case 数 具体 Case 搜索能解决吗
SpecDoc 合同错误/遗漏,Judge–Fix 未闭合 9 2、3、5、6、11、16、27、45、46 部分能
CodeAct / Base 语义落地错误 8 12、19、34、37、44、47、48、50 不能(下游问题)

9 条 Judge–Fix 侧失败的细分:

重复机制 Case 搜索能解决吗 原因
Workflow 把"进入阶段"当成"阶段完成" 3、6 不能 Judge 没识别出这个错误(false negative),搜索的评估器本身有问题
跨 Workflow 缺少互斥或幂等检查 27 部分能 如果多候选中有一个注意到了跨流互斥,Best-of-N 能选到
Trigger 快照、动作后状态和 FindKey 没有形成数据流约束 16、45 部分能 同上,取决于候选多样性
Dashboard 标题、筛选、聚合没有组成同一个指标合同 11 能 典型的"修的方向不对",多候选大概率有一个方向对
Query 的明确权限与关系基数没有回查到最终 Spec 2、46 不能 Case 2 是上游 Rewrite 把"需求未明确提出权限差异"写错了,根本性错误
视图终态排除不完整 5 能 修的粒度问题,多候选能覆盖

结论:9 条 Judge–Fix 侧失败中,约 4~5 条(11、5、27、16、45)搜索能帮上忙,2 条(3、6)是 Judge 漏判,2 条(2、46)是上游根本性错误。


5. Judge-Fix 链路搜索升级方案

5.1 可行性分析

结论:完全可行,而且链路已经具备了搜索所需的全部基础设施。

搜索组件 链路里的对应物 成熟度
策略网络(生成候选) fix 节点(Seed2,temperature=0.2) 已就绪
评估器(打分) judge 节点(V=3/Q=2 多数投票,S0/S1 严重度分级) 已就绪
可验证奖励信号 issue ledger 的稳定问题 ID——"问题是否被关闭"可以精确追踪 已就绪
分支机制雏形 J2 strategy mode 的三决策:commit / branch / rollback 已就绪(但 branch 只有 1 次预算)
终末兜底 terminal coordinated rewrite(Luna,最多 5 轮) 已就绪
停滞检测信号 stagnation_rounds=2、terminal_stagnation_patience=2 已就绪(可作为"触发更强搜索"的信号)

与 rStar-Math 的对比: rStar 需要额外训练 PPM(过程偏好模型)作为 MCTS 评估器,而你的链路里 judge 已经是现成的评估器——V=3/Q=2 的投票机制本身就是一个"打分器",issue ledger 提供了可追踪的问题关闭信号。这意味着你不需要额外训练任何模型,只需要改编排逻辑就能实现搜索升级。


5.2 Level 1:Best-of-N(推荐优先实施)

做法:每轮 fix 并行生成 N=3~5 个修复方案,每个都跑 judge,选结果最好的提交。

具体实现步骤

步骤 1:Fix 节点多候选生成

  • 把 _run_single_fix_with_validation 的单次调用改成 N 次并行
  • 拉高 temperature 到 0.5~0.7(当前 0.2 太低,候选多样性不足)
  • 或在 prompt 里要求"从不同角度给出 N 个修复方案",让模型一次输出多个
  • 每个候选独立通过格式校验(coerce_fixed_document)

步骤 2:候选评估(两级筛选控成本)

  • 第一级(快速筛选):每个候选只跑 1 票 judge(单域或全域),用单票结果快速排序
  • 第二级(精确评估):top 1~2 候选跑完整 V=3/Q=2 全票 judge
  • 这样 N=5 时,成本从 5×3=15 票降到 5×1 + 2×3 = 11 票,节省约 27%

步骤 3:排序与选择 排序维度(优先级从高到低):

  1. 通过的域数(全通过 > 部分通过 > 全不通过)
  2. 关闭的问题数(越多越好)
  3. 新引入的问题数(越少越好)
  4. S0/S1 阻断性问题数(越少越好)
  5. S2/S3 非阻断性问题数(越少越好)

选最优候选提交,其余丢弃。

步骤 4:与现有 J2 机制集成

  • Best-of-N 选出的最优候选,仍然走 J2 的 commit/branch/rollback 三决策
  • 如果最优候选是 rollback(引入了太多新问题),可以考虑次优候选
  • 这样 Best-of-N 和 J2 是互补关系,不是替代关系

为什么这步收益最大

当前单路径下,如果第一轮 fix 就走偏了,后面 6 轮都在修正"修正引入的问题"。Best-of-N=3 意味着每轮有 3 次机会选对方向,大概率有一个方向是对的。

这和 GRPO 里 group 采样选优势轨迹是同一个思想——GRPO 对同一个 prompt 采样 G 个回答计算相对优势,Best-of-N 对同一个 judge 结果生成 N 个 fix 候选选最优。

成本估算

配置 每轮 fix 调用 每轮 judge 调用(5域) 相对成本
当前单路径 1 最多 15(V=3) 1.0x
Best-of-N=3(两级筛选) 3 3×1 + 1×3 = 6(单票筛选+top1全票) ~1.8x
Best-of-N=5(两级筛选) 5 5×1 + 2×3 = 11 ~2.5x

注意:这是"每轮都搜索"的成本。如果加自适应(见 5.5),平均成本可以降到 1.3~1.8x。


5.3 Level 2:Beam Search(集束搜索)

做法:每轮保留 top-k=2~3 个候选文档状态,下一轮对每个候选分别继续 fix,最终选全局最优。

与 Best-of-N 的区别:

  • Best-of-N 是"每轮重新采样、只保留 1 个"
  • Beam Search 是"保留多个候选并行演化"

Beam Search 能探索"第一轮看起来不最优但后续潜力更大"的路径。例如候选 A 第一轮关闭了 2 个问题但引入了 1 个新问题,候选 B 第一轮只关闭了 1 个问题但没引入新问题。Best-of-N 可能选 B(更安全),但 Beam Search 会保留 A 和 B,下一轮 A 可能把引入的问题也修好了,最终效果更好。

改动点:

  • 需要维护多个候选的上下文(当前文档、已应用 patches、issue ledger 状态、judge 历史)
  • 每个候选独立演化,每轮结束后全局排序保留 top-k
  • 内存和代码复杂度比 Best-of-N 高

适用场景:F=7 轮都修不好的硬骨头 case,或者修复路径高度不确定的场景。


5.4 Level 3:MCTS / Tree of Thoughts

做法:把每个中间文档状态看作树节点,fix 的不同方向看作分支,judge 的通过票数/问题关闭数作为节点价值,用 MCTS 的选择-扩展-评估-回溯循环系统探索。

实现要点:

  1. 状态定义:当前文档(或原始文档 + 已应用 patches 序列)
  2. 动作定义:一次 fix 调用(生成 patches 并应用)
  3. 节点价值:judge 通过的域数 + 关闭的问题数 - 新引入的问题数(加权)
  4. 选择策略:UCT(Upper Confidence Bounds for Trees),平衡探索与利用
  5. 扩展策略:每个节点扩展 N 个子节点(不同 fix 方向)
  6. 模拟策略:从新节点继续 fix 直到通过或达到深度上限
  7. 回溯更新:把模拟结果沿路径回传,更新节点价值

适用场景:极致难度的 case(F=7 轮 + terminal rewrite 5 轮都修不好),或者需要精确控制修复路径的场景。

成本:最高,可能需要几十次 fix + judge 调用。建议只在 terminal 阶段触发,作为最后的兜底。


5.5 需要注意的实际问题

问题 1:成本控制(最重要)

搜索意味着更多的 fix 和 judge 调用。必须做自适应,不能无脑对所有 case 都搜索。

自适应策略建议:

难度等级 判断条件 搜索策略
简单题 第一轮 judge 全过,或只有 1~2 个 S2/S3 小问题 单路径,不搜索
中等题 有 S1 问题,或 2 轮后仍有未关闭问题 Best-of-N=3
难题 F=5 轮后仍有 S0/S1,或触发 stagnation Best-of-N=5 或 Beam Search k=2
极难题 F=7 轮 + terminal rewrite 3 轮后仍不通过 MCTS(作为最后兜底)

与现有机制的对接:

  • stagnation_rounds=2 本身就是"这题很难,需要更强搜索"的信号
  • terminal_stagnation_patience=2 可以触发 MCTS 兜底
  • J2 的 branch 决策可以作为"候选值得继续探索"的信号

问题 2:Judge 的可靠性是天花板

搜索的效果完全取决于 judge 能不能准确区分"真的修好了"和"看起来修好了但有隐患"。

应对措施:

  1. 对 top 候选加跑额外票数(比如 top 1 跑 V=5/Q=3),用更多票换评估可靠性
  2. 复用现有的 stable_unchanged_domain_rejudge 机制——多候选更容易触发不稳定的单票翻转,这个机制更重要
  3. 对 judge 结果做一致性检查:如果同一个候选跑两次 judge 结果差异很大,说明 judge 不稳定,需要更多票或人工复核

问题 3:状态去重

不同的 fix 可能产生相同或高度相似的文档状态。搜索时需要检测重复状态,避免在搜索树里反复探索同一个节点。

简单做法:

  • 对每个候选文档算 hash(已有 _domain_hashes 函数按域算 hash)
  • 相同 hash 的候选只保留一个(judge 结果最好的那个)
  • 对 patches 做语义去重:如果两个 patches 修改了同一段文字且结果相似,合并

问题 4:Patch 机制带来的状态管理复杂度

当前 fix 输出的是 patches(old_text/new_text),不是完整文档。这意味着"状态"= 原始文档 + 已应用的 patches 序列。

Best-of-N 的影响:每轮只保留 1 个候选,不需要跨轮维护多候选,实现最简单。 Beam Search / MCTS 的影响:每个候选需要维护自己的 patch 历史,不能共享。需要设计候选状态对象,封装当前文档、已应用 patches、issue ledger 状态等。

问题 5:跨域依赖

Table 修复会影响下游域(代码里明确写了"if table in changed_domains: invalidated.update({dashboard, workflow, permission})")。

搜索时的影响:

  • 评估一个 Table fix 候选时,不能只看 Table 域的 judge 结果,还要看下游域会不会因此变好或变坏
  • 现有 dependency_router 节点已经在处理跨域根因归因,搜索时可以复用这个机制做更全面的候选评估
  • 建议:Table fix 的候选评估必须包含下游域的 judge(至少单票快速评估),否则可能选到"Table 变好了但 dashboard 变坏了"的候选

5.6 实施建议

推荐路线:分阶段实施

第一阶段:Best-of-N(1~2 周)

  1. 在 table_fix 和 non_table_fix 节点里,把单次 fix 调用改成 N=3 并行
  2. 每个候选通过格式校验后跑单票 judge 快速筛选
  3. top 1 候选跑完整 V=3/Q=2 全票 judge
  4. 按"通过域数 > 关闭问题数 > 新引入问题数"排序,选最优提交
  5. 加自适应:只有 judge 结果中有 S1 及以上问题、或连续 2 轮未进展时才触发 N>1
  6. 跑 50 case 对比实验,统计准出率提升和成本变化

第二阶段:Beam Search(可选,2~3 周)

  1. 设计候选状态对象,封装当前文档、已应用 patches、issue ledger 状态
  2. 在停滞 2 轮后触发 Beam Search(k=2)
  3. 每轮对每个候选继续 fix,全局排序保留 top-k
  4. 最终选全局最优提交
  5. 对比 Best-of-N 和 Beam Search 在硬骨头 case 上的效果

第三阶段:MCTS 兜底(可选,3~4 周)

  1. 在 terminal rewrite 阶段后仍不通过的 case,触发 MCTS
  2. 用 judge 通过票数作为节点价值,UCT 作为选择策略
  3. 限制搜索深度和宽度,控制成本
  4. 作为最后的兜底手段

预期收益

指标 当前(单路径) Best-of-N=3(自适应后)
简单 case 准出率 基准 不变(不触发搜索)
中等 case 准出率 基准 +5~15%
困难 case 准出率 基准 +10~25%
平均成本 1.0x 1.3~1.8x
F=7 轮修不好的 case 占比 基准 显著降低

关键成功因素

  1. 先做 Best-of-N:改动最小、收益最直接,不要一上来就做 MCTS
  2. 自适应是必须的:不能对所有 case 都搜索,否则成本不可控
  3. Judge 可靠性优先:搜索放大 judge 的错误,先确保 judge 本身可靠,再上搜索
  4. 用实验数据驱动:每一步都跑对比实验,用准出率和成本数据决定是否继续升级
  5. 与现有机制集成:Best-of-N 和 J2、stagnation 检测、terminal rewrite 是互补关系,不要替代

5.7 基于 I2 配置的差异化分析

5.1~5.6 节的搜索升级方案是基于 J10 配置的通用分析。本节基于 I2 配置的实际失败归因,给出更有针对性的差异化分析。

I2 配置下搜索的独特优势

1. F=5 比 F=7 更需要搜索

I2 只有 5 轮修复机会,如果前 2 轮走偏了,后面只剩 3 轮修正。单路径贪心在 F=5 下的代价比 F=7 更大——Best-of-N=3 意味着每轮有 3 次选对方向的机会,这对 F=5 的配置收益比 F=7 更显著。

2. 4 域状态空间更小,搜索成本更低

I2 没有 Form 域,跨域依赖更简单(只有 Table→Dashboard/Workflow/Permission)。这意味着:

  • 候选评估更快(只需要跑 4 域 judge)
  • 状态去重更简单
  • Beam Search 的候选管理成本更低

3. 全局并发 200 给搜索留了空间

I2 配置全局最多 200 个模型调用在途,这比 J10 的 32 宽裕很多。Best-of-N=3 的并行候选生成和评估在 I2 的并发配置下不会成为瓶颈。

基于 I2 失败归因的差异化搜索策略

不是所有 case 都适合搜索,应该基于失败类型做差异化处理:

Case 类型 判断信号 搜索策略
简单题 第一轮 judge 全过或只有 S2/S3 单路径,不搜索
修方向问题 连续 2 轮有 S1 但问题 ID 在变(说明在修但没修对) Best-of-N=3
Judge 漏判风险 单票不稳定翻转、或 issue ledger 显示问题被关闭但 E2E 历史失败 加跑额外 judge 票数(V=5/Q=3),而不是多 fix 候选
上游根本性错误 SpecDoc 与 Query 直接冲突(如 Case 2 的权限问题) 搜索无效,需要上游 Rewrite 修复或人工介入

预期收益估算(基于 I2 的 17 条失败)

  • 8 条 CodeAct 侧失败:搜索无效(0/8 提升)
  • 2 条上游根本性错误:搜索无效(0/2 提升)
  • 2 条 Judge 漏判:搜索部分有效,加票可能救回 1 条
  • 5 条修方向/粒度问题:Best-of-N 大概率救回 3~4 条

保守估计:E2E 准出从 33/50 提升到 37~38/50(+4~5 条),提升幅度约 8~10 个百分点。

成本增加:自适应后平均约 1.3~1.5x Token,从 93M 增加到 120~140M,墙钟时间从 5,511 秒增加到 7,000~8,000 秒(并发 200 下不会线性增长)。

比搜索更优先的事情

基于 I2 的归因,有两件事比搜索优先级更高:

1. Judge 漏判修复

Case 3、6 的"进入阶段当成完成阶段"是 Judge 规则的盲区,这是评估器本身的问题。修好 Judge 规则比加搜索更根本——因为搜索的效果天花板就是 Judge 的可靠性。如果 Judge 把好修复判成坏的,搜索会把好方案剪掉;如果把坏修复判成好的,搜索会放大 reward hacking。

2. 上游 Rewrite 质量

Case 2、46 是 Rewrite 阶段引入的根本性错误,Judge–Fix 再怎么搜索也修不好。需要在 Rewrite 后增加 Query↔SpecDoc 一致性检查,从源头减少这类错误。

这两件事做好了,搜索的收益会更大——因为评估器更准了、上游错误更少了,搜索只需要解决"修方向不对"的问题,而不是在错误的评估器下盲目搜索。

I2 vs J10 搜索升级优先级总结

维度 I2 配置 J10 配置
搜索紧迫性 高(F=5 更短,走偏代价大) 中(F=7 有更多修正机会)
搜索成本 低(4 域、并发 200) 中(5 域、并发 32)
失败可搜索比例 5/17 ≈ 29% 待实测
预期 E2E 提升 +4~5 条(8~10pp) 待实测
前置依赖 Judge 漏判修复、上游 Rewrite 质量 同左

建议:先在 I2 配置上验证搜索升级的效果(因为有完整的 50 Case E2E 基线和失败归因),验证通过后再迁移到 J10。I2 的 4 域、高并发、短 F 配置是搜索升级的理想试验场。


附录:术语速查表

术语 全称 一句话解释
CPT Continued Pre-training 在基座模型上用领域无标注数据继续预训练,注入领域知识
SFT Supervised Fine-Tuning 用"指令-回答"有标注数据微调,学会做任务
DPO Direct Preference Optimization 直接用偏好对优化,不需要训练奖励模型和 RL
RLHF Reinforcement Learning from Human Feedback 用人类反馈训练奖励模型,再用 RL 优化策略
RLVR Reinforcement Learning from Verifiable Rewards 用可验证奖励(数学答案/代码测试)做 RL
ORM Outcome Reward Model 只看最终结果打分的奖励模型
PRM Process Reward Model 对推理每一步打分的奖励模型
PPM Process Preference Model rStar 提出的步骤级偏好模型,用 BT 思想训练
GRPO Group Relative Policy Optimization DeepSeek 提出的 RL 算法,用组内相对排名算优势,不需要 critic
PPO Proximal Policy Optimization 经典 RL 算法,需要 critic/value network
MCTS Monte Carlo Tree Search 蒙特卡洛树搜索,通过反复抽样估计分支价值
ToT Tree of Thoughts 思维树,LLM 推理时的树搜索框架
GAE Generalized Advantage Estimation 广义优势估计,MC 和 TD 的插值混合
MC Monte Carlo 用完整回合实际回报估计价值,无偏但方差大
TD Temporal Difference 用自举估计价值,有偏但方差小
BT Bradley-Terry 成对比较概率模型,实力分差过 sigmoid 得到胜率
BoN Best-of-N 生成 N 个候选选最好的,最简单的推理时搜索
Test-Time Compute 推理时计算 推理时多花算力换准确率的 scaling 维度
V/Q Vote count / Quorum 投票数/通过票数,如 V=3/Q=2 表示 3 票 2 通过
F Fix rounds 修复轮数预算
SpecDoc Specification Document 规格文档,多维表格的设计文档格式
Hard Stage - 硬阶段,链路中更严格的复判和路由阶段
Terminal Rewrite - 终末重写,最后兜底的协调重写阶段

本文档基于企业内部资料和本地代码分析整理,涉及的内部文档和代码路径均来自用户提供的本地环境。