大模型训练与推理搜索术语体系及 Judge-Fix 链路搜索升级方案
本文档整理了从大模型后训练(Post-Training)核心术语,到推理时搜索(Test-Time Search)业界实践,再到本地 Judge-Fix 链路架构分析与搜索升级方案的完整讨论。
目录
- 大模型后训练核心术语体系
- 关键概念对比与关系
- 2.1 ORM vs 普通强化学习
- 2.2 DPO vs GRPO:哪个是 on-policy
- 2.3 Bradley-Terry 模型与 TrueSkill 的关系
- 2.4 MC 方法与 TD 方法
- 2.5 MCTS 与 GRPO rollout 的类比
- 2.6 奖励模型本身的训练方式
- 推理时搜索(Test-Time Search)业界实践
- 3.1 两种形态:外置搜索 vs 内化搜索
- 3.2 成熟落地案例
- 3.3 通用场景的局限
- 本地 Judge-Fix 链路架构分析
- 4.1 整体架构
- 4.2 Judge 机制
- 4.3 Fix 机制
- 4.4 收敛控制与终末兜底
- 4.5 核心问题:单路径贪心
- 4.6 I2 配置组:实际 50 Case 实验基线
- Judge-Fix 链路搜索升级方案
- 5.1 可行性分析
- 5.2 Level 1:Best-of-N(推荐优先实施)
- 5.3 Level 2:Beam Search(集束搜索)
- 5.4 Level 3:MCTS / Tree of Thoughts
- 5.5 需要注意的实际问题
- 5.6 实施建议
- 5.7 基于 I2 配置的差异化分析
1. 大模型后训练核心术语体系
1.1 CPT(Continued Pre-training,继续预训练)
定义:在已预训练好的基座模型上,用特定领域或特定形态的无标注数据继续进行预训练的阶段。核心目标是领域知识注入——让模型更懂"行话"、更新知识库或强化特定能力。
关键特征:
- 数据:领域内无标注纯文本(百亿~千亿 Token 级),不同于 SFT 的"指令-回答"有标注数据
- 损失函数:Next Token Prediction,与 Pretrain 相同
- 核心挑战:灾难性遗忘(学新知识时忘掉旧技能),通过数据混合、课程学习等方式缓解
- 定位:大模型训练五阶段(Pretrain → CPT → SFT → DPO/RL)中的"专业深造"环节
与 Midtrain 的关系: Midtraining(中期训练)是近期提出的一种 CPT 形式——在预训练末期混入更高质量、更贴近后续监督阶段的数据,目的是桥接 Pretrain 和 SFT/RL 之间的分布差异、降低遗忘。
在实际项目中两者经常直接划等号:
- 多维表格项目直接命名为 "Mid-Train",CPT 是其中的训练类型
- llm2sid 任务原文写的是"尝试 mid-train(CPT)"
- Tongyi DeepResearch 称其为"Agentic 中期训练(持续预训练,CPT)"
简单理解:Midtrain 是 CPT 的一种特定策略/定位(放在预训练末期、面向后续监督阶段做桥接),但在工程实践中大家经常把这两个词当同义词用。
涉及过 CPT 的企业内部任务:
| 任务/项目 | CPT 的角色 | 关键信息 |
|---|---|---|
| 多维表格 Mid-Train | 核心训练类型之一,负责领域知识注入 | 正式导出 1,859 篇 CPT 文本(HC 官方文档 252 + 清洗 chunk 1,607),与 65,971 条 SFT 组成"知识底座 + 行为塑形"两层结构 |
| 商家客服 CPT 实验 | 实验主体 | 2025.4 做了一阶段通用文本数据实验 + 二阶段退火实验,对比不同数据混合比例、退火策略对电商客服意图识别的效果 |
| llm2sid 对齐任务(短视频推荐召回) | 尝试 mid-train(CPT) 方案 | text↔sid 对齐任务数据量大,尝试用 CPT 把 semantic id 嵌在电商语境的用户行为 context 里 |
| Tongyi DeepResearch | Agentic Mid-training | 在预训练和 RL 调优之间插入 Agentic CPT 阶段,用合成 Agent 轨迹语料赋予模型多步推理、工具使用的行为先验 |
注:CPT 在广告领域也指 Cost Per Time(按展示时长计费),但在大模型训练语境下指 Continued Pre-training。
1.2 PRM(Process Reward Model,过程奖励模型)
定义:对推理过程中每一个中间步骤进行细粒度评分的奖励模型,也叫密集奖励模型(Dense Reward Model)。
与 ORM 的对比:
| 维度 | ORM(结果奖励) | PRM(过程奖励) |
|---|---|---|
| 评估对象 | 只看最终答案/最终结果 | 评估推理链的每一步 |
| 信号密度 | 稀疏(一条回答一个分数) | 密集(每步一个分数) |
| 标注成本 | 低 | 高(需逐步标注对错) |
| 学习效率 | 较低,只知道"错了"但不知"哪步错" | 较高,能精确定位错误步骤 |
| 适用场景 | 简单任务、快速迭代 | 数学推理、代码生成、科学推理等长链推理 |
一句话:ORM 告诉你"答卷总分多少",PRM 告诉你"哪一步做错了"。
PRM 的两大用途:
- 训练时:为强化学习提供更细粒度的奖励信号,缓解长推理任务的信用分配问题——模型不会因为"碰巧蒙对最终答案"就拿满分。
- 推理时(Test-Time Compute):作为 Best-of-N 采样的选择器、MCTS/树搜索的评估器,一步步引导模型走向正确路径、及早剪掉错误分支。
实际落地中的局限: DeepSeek-R1 论文中明确提到,PRM 虽然合理,但在大规模 RL 中存在三个问题:
- 细粒度"步骤"本身难以界定
- 中间步骤是否正确难以自动标注,人工标注又无法规模化
- 引入基于模型的 PRM 会带来奖励陷阱(reward hacking),且额外训练成本高
最终 R1 选择了纯 GRPO + 可验证奖励(RLVR)的路线,没有用 PRM。
rStar-Math 对 PRM 的改进: rStar-Math 是目前"推理时 MCTS + PRM"最成功的案例,其核心创新:
- 剪枝机制:每个节点从文本形式改为代码形式,通过代码是否可执行来剪枝明显错误的分支
- PPM(Process Preference Model):不直接用 Q 值做 MSE 训练,而是用 Bradley-Terry 思想做步骤级偏好排序,降低评估噪声
- 四阶段自我进化:每轮迭代产生更高质量的数据
效果:7B 小模型在 MATH 基准上从 58.8% 提到 90.0%,超过 o1-preview。
1.3 ORM(Outcome Reward Model,结果奖励模型)
定义:只对最终输出进行评分的奖励模型,输出一个标量分数表示回答的质量。
训练方式:用人类偏好对(chosen/rejected)训练,基于 Bradley-Terry 模型,损失函数为:
实现上通常是在 SFT 模型基础上加一个线性头,输出标量分数。
局限:只看最终结果、信号稀疏——模型只知道"最后错了",但不知道"哪一步错了",这也是 PRM 要解决的问题。
1.4 DPO(Direct Preference Optimization,直接偏好优化)
定义:一种对齐算法,最大的特点是不需要显式训练奖励模型,也不需要强化学习,直接用"好回答/坏回答"偏好对就能优化模型。
与传统 RLHF 的对比:
| 方法 | 流程 | 需要的模型 |
|---|---|---|
| 传统 RLHF | SFT → 训练奖励模型(RM) → PPO 强化学习 | 策略 + 奖励 + 价值网络 + 参考模型 |
| DPO | SFT → 直接用偏好对优化 | 策略 + 参考模型(通常就是 SFT 模型) |
核心直觉:让"好回答"相对于参考模型的概率升高,让"坏回答"相对于参考模型的概率降低,同时用 β 系数控制不要偏离参考模型太远(防灾难性遗忘)。
本质:DPO 是监督学习(偏好排序),不是强化学习。
优缺点:
- 优势:简单、稳定、训练快、成本低
- 缺点:效果上限可能不如 PPO/GRPO(尤其复杂推理任务),对偏好数据质量要求高
工业界常见做法:先上 DPO 快速对齐,效果不够再上 GRPO。
1.5 GRPO(Group Relative Policy Optimization)
定义:DeepSeek 提出的强化学习算法,核心思想是对同一个 prompt 采样 G 个回答,用组内奖励的相对排名(而非绝对分数)计算优势函数,从而去掉了 PPO 中的 critic/value 网络。
优势函数计算:
其中 是第 i 个回答的奖励, 是组内均值, 是组内标准差。
与 PPO 的区别:
- PPO 需要单独训练一个 value network(critic)来估计状态价值
- GRPO 用组内均值作为基线,不需要 critic,减少了训练复杂度和不稳定性
关键特性:on-policy——每轮训练都用当前策略实时采样生成回答,能发现训练数据里没有的新解法。
1.6 MCTS(Monte Carlo Tree Search,蒙特卡洛树搜索)
定义:一种启发式搜索算法,核心思想是把决策过程建模成一棵树,通过反复抽样来估计每个分支的价值,而不是穷举所有可能。
每轮迭代四步:
- 选择(Selection):从根节点出发,按 UCB 等策略选一个最有前景的分支往下走,直到遇到未完全扩展的节点
- 扩展(Expansion):给该节点新增一个或多个子节点
- 模拟(Simulation):从新节点出发随机/策略地模拟到终局,得到一个结果
- 回溯更新(Backpropagation):把结果沿路径回传到根节点,更新所有经过节点的访问次数和累计价值
在大模型推理中的作用: 把"多步推理"看成在推理步骤空间里搜索——每个节点是一个中间推理状态,每步可以展开多个候选下一步。MCTS 让模型系统地探索多条解题路径,而不是贪心一条道走到黑,是 AlphaGo 式搜索思想在 LLM 推理上的迁移。
通常与 PRM 配合:PRM 给每个中间步骤打分,作为 MCTS 的"评估器"引导搜索方向、及早剪掉错误分支。
2. 关键概念对比与关系
2.1 ORM vs 普通强化学习
这是两个不同层面的概念,经常被混在一起说:
| 维度 | ORM(结果奖励模型) | 普通强化学习(RL) |
|---|---|---|
| 本质 | 一个"打分器",给最终输出一个分数 | 一套完整的学习范式,智能体通过奖励信号更新策略 |
| 做什么 | 评最终答案好不好,输出一个标量分数 | 根据奖励信号,用策略梯度(PPO/GRPO等)更新模型参数 |
| 角色 | RLHF 流程中的前置组件,提供奖励信号 | RLHF 流程中的优化器,消费奖励信号 |
| 学习范式 | 监督学习(训练时用偏好对拟合人类打分) | 强化学习(在线采样 + 策略更新) |
关系:ORM 负责"判卷给分",RL 负责"拿着分数改卷子"。两者是上下游关系,不是替代关系。完整的 RLHF 流程是:SFT → 训练 ORM/PRM(打分器)→ 用 PPO/GRPO 等 RL 算法优化策略。
2.2 DPO vs GRPO:哪个是 on-policy
GRPO 是 on-policy,DPO 是 off-policy。
| 维度 | DPO | GRPO |
|---|---|---|
| 数据来源 | 预先构造好的偏好对 (chosen, rejected),训练时直接用 | 训练过程中当前策略实时采样生成 G 个回答 |
| 学习范式 | 监督学习(偏好排序) | 强化学习(策略梯度) |
| 需要 RM 吗 | 不需要,隐式奖励 | 需要(或规则奖励函数) |
| 需要参考模型 | 需要(计算 KL 约束) | 需要(计算 KL 约束) |
| 在线/离线 | 离线,数据固定 | 在线,每轮重新采样 |
| 稳定性 | 高,不容易训崩 | 中等,需要调参 |
| 效果上限 | 受限于偏好数据质量 | 更高,能探索数据中没有的新策略 |
直觉理解:
- DPO 像"照着标准答案抄作业"——答案已经准备好了,模型只需要学会偏好好的、拒绝坏的。
- GRPO 像"自己刷题,对了加分错了扣分"——模型自己生成答案,根据奖励反馈更新策略,能发现训练数据里没有的新解法。
2.3 Bradley-Terry 模型与 TrueSkill 的关系
Bradley-Terry(BT)模型是一种成对比较(pairwise comparison)的概率模型,核心公式:
直觉:每个对象有一个隐含的"实力分",两个对象比较时,实力分差经过 sigmoid 就是"谁赢"的概率。在 LLM 奖励模型训练中,就是让好回答的奖励分高于坏回答。
与 TrueSkill 的关系:两者属于同一类"从局部两两比较推断全局排名"的算法家族,但复杂度不同:
| 模型 | 核心思想 | 输出 | 适用场景 |
|---|---|---|---|
| Elo | 每次对局后按结果更新双方分数 | 单个标量分 | 象棋等一对一零和游戏 |
| Bradley-Terry | 用最大似然拟合所有成对比较,估计每个对象的隐含实力 | 单个标量分 | 静态排名、奖励模型训练 |
| TrueSkill | 贝叶斯框架,每个玩家用"均值+方差"表示,支持团队对局和不确定性 | (μ, σ) 高斯分布 | 多人/团队游戏、在线匹配 |
简单说:BT 是 TrueSkill 的"简化版祖先"——BT 只估计一个标量实力分,TrueSkill 在此基础上加了不确定性建模(方差)和团队/多人支持。在 LLM 评测和奖励建模中,BT 最常用,因为它简单且足够。
2.4 MC 方法与 TD 方法
这是强化学习中估计价值函数的两种经典方法。
MC(Monte Carlo,蒙特卡洛方法):
- 核心思想:用完整回合的实际回报(return)来估计价值
- 必须等整个回合结束才能计算回报
- 无偏估计(真实回报就是价值的定义)
- 但方差大(每条轨迹随机性大)
- 适合回合制、有明确终点的任务
TD(Temporal Difference,时序差分方法):
- 核心思想:用自举(bootstrap),不需要等回合结束,用"当前奖励 + 下一状态的估计价值"来更新
- 每走一步就能更新,不需要等回合结束
- 有偏估计(因为 本身是估计值)
- 但方差小,学习更稳定
- 适合连续任务、在线学习
在 LLM 强化学习中的体现——GAE: PPO 里的 GAE(Generalized Advantage Estimation)就是 MC 和 TD 的插值混合:
其中 是 TD 误差。
- → 纯 TD(只看一步)
- → 纯 MC(看完整回报)
- 中间值 → 偏差-方差权衡
GRPO 因为删掉了 critic/value network,所以不用 GAE,而是直接用组内奖励的均值作为基线来计算优势,这更接近 MC 风格的优势估计。
2.5 MCTS 与 GRPO rollout 的类比
相似点:两者都涉及"探索多条路径,然后选更好的"。
- MCTS:在搜索树中探索多个分支,模拟到终点,回溯更新节点价值,选价值最高的路径
- GRPO:对同一个 prompt 采样 G 个回答(轨迹),计算每个的奖励,组内比较后用相对优势更新策略
本质区别:
| 维度 | MCTS | GRPO |
|---|---|---|
| 阶段 | 推理时(inference/test-time) | 训练时(training) |
| 目的 | 找到当前问题的最优回答 | 更新模型参数,让模型以后能生成更好的回答 |
| 树结构 | 显式构建搜索树,节点间有父子关系,支持回溯和剪枝 | 没有树结构,G 个回答是独立采样的,彼此无关 |
| 中间步骤评估 | 每个中间节点都有价值估计,支持逐步剪枝 | 通常只有最终回答的奖励(ORM),或逐步奖励(PRM) |
| 是否更新参数 | 不更新,只做推理搜索 | 更新模型参数 |
| 成本 | 推理时计算量大,回答慢 | 训练时计算量大,推理时正常 |
更准确的类比:
- MCTS 更像 Best-of-N + 剪枝:生成多个候选,用评估器(PRM/ORM)逐步筛选,保留最好的。区别是 MCTS 有树结构、能在中间步骤剪枝,而 Best-of-N 是独立生成完再选。
- GRPO 更像"用一组答案的好坏来教模型":它不关心这组答案里哪个最终被选中作为输出,而是用整组的相对排名来计算梯度、更新参数。
一句话:MCTS 是推理时的"多想几条路,选最好的那条输出";GRPO 是训练时的"多生成几个答案,用好坏对比来更新模型参数"。两者可以配合使用——比如用 GRPO 训练出一个会推理的模型,推理时再用 MCTS 进一步搜索。
2.6 奖励模型本身的训练方式
传统做法:监督学习训练奖励模型
ORM 和 PRM 传统上都是用监督学习(类似 SFT)训练出来的,不是 GRPO:
- ORM:用人类偏好对训练,基于 Bradley-Terry 模型,本质是二分类/排序的监督学习
- PRM:用步骤级标注数据训练,在步骤分隔符位置做二分类(正确/错误),也是监督学习
为什么传统上不用 GRPO 训奖励模型: 奖励模型是 RLHF 流程的前置组件——它负责提供稳定的奖励信号,然后策略模型消费这个信号。如果奖励模型本身也用 RL 训,会带来:
- 训练不稳定(奖励模型在变,策略也在变,两个动态系统耦合)
- 奖励黑客(reward hacking)风险更高
- 实现复杂度大幅上升
所以传统做法是:奖励模型用监督学习训好后冻结,策略模型用 RL 训。
新趋势:用 RL 训练奖励模型
最近一年开始出现"把奖励模型也当推理模型训"的趋势:
| 工作 | 方法 | 核心思想 |
|---|---|---|
| RM-R1(ICLR 2026) | 推理蒸馏 + RLVR/GRPO 两阶段 | 把奖励建模视为长链推理任务,先 SFT 学会"先分析再打分",再用 RL 强化判断能力 |
| R1-Reward | StableReinforce(类 RL 算法) | 用强化学习训练多模态奖励模型,引入格式奖励+结果奖励+一致性奖励,解决"分析说A好但最后选B"的精神分裂问题 |
| DeepSeek-GRM | GRPO 引导生成式 RM | 让奖励模型先生成 critique(推理过程)再打分,用 GRPO 引导 reason 质量 |
共同直觉:简单的打分器(标量回归)不够用了,奖励模型也需要"思考"才能判断复杂回答的好坏。既然要思考,那就用训推理模型的方法(SFT + GRPO)来训它。
DeepSeek R1 的极端选择: 完全不用 ORM/PRM 这类神经奖励模型,而是用纯规则奖励:
- 准确性奖励:数学答案是否正确、代码是否通过测试
- 格式奖励:是否把思考放在
<think>标签里
原因是认为神经奖励模型在大规模 RL 中会有 reward hacking 问题,且训练它需要额外资源。R1-zero 甚至连 SFT 都不用,直接在 base 模型上用 GRPO + 规则奖励训出推理能力。
3. 推理时搜索(Test-Time Search)业界实践
3.1 两种形态:外置搜索 vs 内化搜索
业界把推理时搜索分成两条路线:
| 形态 | 做法 | 代表 | 成熟度 |
|---|---|---|---|
| 外置搜索(Explicit MCTS) | 在模型外面维护一棵搜索树,每步显式调 LLM 生成候选→打分→剪枝→回溯 | ToT、LATS、rStar-Math(推理时)、AlphaProof | 研究成熟,产品级仅限特定场景 |
| 内化搜索(Implicit) | 用 RL(GRPO等)把"多候选+评估+剪枝"全训进模型权重,模型一次前向在 hidden state 里完成搜索 | o1/o3、Claude Thinking、DeepSeek R1、Gemini Thinking | 产品级成熟,当前主流 |
两者本质做的是同一件事——用推理时的算力换准确率,区别只是"搜索逻辑写在 agent 外面、还是直接训进模型自己跑"。
3.2 成熟落地案例
案例 1:rStar-Math(最典型的推理时 MCTS)
微软亚研院 2025 年的工作,是目前"推理时 MCTS + PRM"最成功的案例:
- 底座:7B 小模型(Qwen2.5-Math-7B)
- 推理时:用 MCTS 做 test-time search,每步生成自然语言 + Python 代码,代码可执行性用于剪枝明显错误的分支,PPM(过程偏好模型)作为节点评估器
- 效果:MATH 基准从 58.8% 提到 90.0%,超过 o1-preview(+4.5%);AIME 平均解答率 53.3%(8/15),跻身前 20% 高中生水平
核心洞察:MCTS 的关键在 PRM——只要能在 MC 树中排除中间步骤错误多的 rollout 链路、提升 PRM 准确率,这条路的上限比基于规则的稀疏奖励 ORM 更高。
案例 2:DeepMind AlphaProof + AlphaGeometry(天花板级)
2024 年 IMO 银牌(28/42,离金牌差 1 分),用 RL 训练的 LLM solver + 形式化证明 verifier 构成搜索树,单题思考几分钟到几天。
反直觉的点:直接用 o1 解 IMO 2024 远拿不到银牌——内化的 reasoning model 单次推理只能撑几分钟,外置 tree search 在极致难度任务上反而是天花板更高的路径。
案例 3:HierFlow(2026,免训练的 test-time 搜索)
免训练的推理时层次搜索框架,低层用 MCTS 启发的代码搜索,仅用 GPT-4o-mini 就在 MATH/GSM8K/HumanEval 等 5 个基准上全面超越 11 个强基线。特点是有自适应门控——只在子任务不确定性高时才触发 MCTS,避免无脑搜索浪费算力。
3.3 通用场景的局限
为什么推理时 MCTS 没有成为通用产品的标准做法:
- 状态/动作/奖励空间难定义——数学题相对容易拆解成步骤,开放对话/创作很难
- 搜索策略取舍——不同题型适配不同复杂度的搜索,不一定越复杂越好
- 评估器是天花板——可验证任务(代码跑测试、数学代入)最可靠;开放任务只能用 LLM-as-judge,评判模型本身的能力就是上限
- 成本——推理时 MCTS 意味着多次调用 LLM、token 消耗大、延迟高,不适合实时交互场景
这也是为什么当前主流产品(o1/R1/Claude Thinking)选择了内化路线——用 GRPO 把"会长时间推理、会自我反思回溯"的能力训进模型,推理时只需要一次前向(虽然思考时间长),用户体验和成本都更可控。
4. 本地 Judge-Fix 链路架构分析
4.1 整体架构
链路位于 base-ai-post-training-j10-50case-20260831/script/spec_judge_fix_plus/node_pipeline/,是一个基于节点(node)的 pipeline:
节点执行顺序(full_router_final3 模式):
entry_router → full_domain_judge → table_fix → dependency_router
→ non_table_fix → hard_stage → terminal_domain_rewrite → final_result
运行机制(runner.py):
- 默认线性执行节点列表
- Router 节点可设
route_forward_to跳过无关阶段,或设route_back_to有界回到对应 Fix - 向后回跳每次消耗一次
max_router_retries预算 - 绝对步数上限兜底,防意外死循环:
max_steps = len(nodes) × (max_router_retries + max_hard_router_retries + 3) + 4
并发模型:
- case 并发:8(
--concurrency) - 域 Judge worker:4(
--judge-workers) - 全进程模型调用上限:32(
--max-inflight-model-calls) - 单次调用超时:900s
4.2 Judge 机制
模型与推理强度:
- Judge 模型:
gpt-5.6-luna - 普通检查推理强度:
medium - 第三票(平局打破)推理强度:
high
投票机制(V/Q):
- V=3:独立完整五域 release 投票数
- Q=2:strict majority(严格多数通过)
- 前两票用 medium,第三票切 high(
release_reasoning_effort_start_vote=3)
输出结构:
- 支持结构化 JSON 输出和 markdown 输出
- 每个问题包含:severity(S0/S1/S2/S3)、问题类型、问题描述、修正建议、规约依据
- S0/S1 为阻断性问题(blocking),S2/S3 为非阻断性问题
Issue Ledger(问题账本):
- 为每个问题分配稳定 ID,跨轮追踪问题的 open/closed 状态
- 支持问题快照对比(
compare_issue_snapshots) - 记录问题的来源、提交/回滚历史
稳定未修改域复判(Stable Unchanged Domain Rejudge):
- 未修改的域如果从 pass 翻成 fail,会额外跑 3 票复判
- 只有单票不稳定翻转才触发,决定性 V/Q 失败保持正常回滚
- Table 变更会保守地使所有下游域(dashboard/workflow/permission)失效
4.3 Fix 机制
模型与参数:
- Fix 模型:Seed2
ep-20241219131804-8sfvp - 推理强度:
low - temperature:0.2(注意:ARK 客户端会把请求值 0.2 序列化为 wire 0.01,这是 J10 历史行为)
- max_tokens:32768
修复预算(F):
- Table 与非 Table 都是 F=7(Seed×7)
- 每轮后重新 Judge
- 末轮 Luna 默认关闭(
per_fix_luna_rounds=0)
输出契约:
- SpecDoc 模式:输出 patches JSON(
old_text/new_text),不输出完整文档 - 支持
bounded_object/bounded_transaction模式:连续对象内多改动时用object_replacements - 能力丢失保护(capability_loss_guard):保留未点名的字段、选项、引用
- 最多 3 个不重叠对象替换(
max_bounded_object_replacements=3)
输出校验恢复(G_fmt):
- 主 Fix 输出格式不对时,用 fallback 模型(Luna)重试 1 次
- 重试时明确告知上一次校验错误,要求严格返回输出契约
- 校验失败的候选不写入当前文档
Repair Planner(跨域修复规划):
- 在 Fix 之前调用一个 planner 模型,生成紧凑的修复计划
- 计划包含:待修复问题列表、优先级、修复顺序、跨域依赖
- 最多重建 2 次(
max_plan_rebuilds=2) - 计划作为 prompt 块传入 Fix 节点
Fix 历史模式:
- 默认
none:不传入历史轮次 within_visit:传入本次 Fix visit 内的历史轨迹(紧凑版,最多 12000 字符)- 历史用于避免重复无效修改、保留已解决问题
4.4 收敛控制与终末兜底
收敛模式:transactional
J2 Strategy Mode(三决策机制): 对每个修复候选,评估 before/after judge 的问题快照对比,然后三选一:
- Commit(直接提交):关闭至少一个稳定问题且不引入新问题(
direct_safe_commit) - Branch(分支尝试):关闭问题数严格多于新引入问题数(
candidate_branch_eligible),允许花一次分支预算尝试 - Rollback(回滚):否则回滚到修复前状态
停滞检测:
- 语义停滞 2 轮后触发终末处理(
stagnation_rounds=2) - 终末耐心 2 轮(
terminal_stagnation_patience=2)
终末旁路(Terminal Rewrite):
- 模式:
coordinated(协调重写,覆盖所有失败域) - 模型:Luna,推理强度
medium - 最多 5 轮(
terminal_domain_rewrite_rounds=5) - 重写后仍按 V=3/Q=2 复判
- 只允许修改目标域,其它域保持逐字不变
Hard Stage:
- 普通回退最多 2 次
- Hard Router 最多 3 次(
max_hard_router_retries=3) - Hard 复判 1 次,Hard 多数 3/2(3 票 2 通过)
4.5 核心问题:单路径贪心
关键发现:当前链路每轮 fix 只生成一个方案。
_run_single_fix_with_validation() 每次只调用一次模型,输出一个 patches JSON,校验通过后提交,然后重新 judge。
问题:如果这一轮 fix 方向错了(比如修了 A 问题但引入了 B 问题,或者修的方式不对),后面 F=7 轮都在这个错误方向上反复挣扎。
这正是搜索能解决的问题——当前是"一条道走到黑"的贪心策略,而搜索的核心思想是"多试几条路,选最好的"。
4.6 I2 配置组:实际 50 Case 实验基线
注意:4.1~4.5 节描述的是 skill 目录里固化的 J10 配置(当前发布版本)。本节描述实际跑了 50 Case 并产生完整 E2E 结果的 I2 配置组,搜索升级分析应优先基于 I2 的实际失败归因。
I2 vs J10 关键配置对比
| 维度 | I2(实际 50 Case 实验) | J10(skill 固化发布版) |
|---|---|---|
| Fix 预算 | F=5 / Seed×5 | F=7 / Seed×7 |
| 域数量 | 4 域(Table/Dashboard/Workflow/Permission,无 Form) | 5 域(含 Form) |
| 全局并发 | 200 个模型调用在途 | 32 个 |
| 传输 | 全部统一 API | Codex CLI 默认(非 Seed 调用) |
| 代码 commit | d9b21a1cd717760f72f7c266ecbd62b70c134a46 | 3ff5f527f24a508acc614640daa44d32b9fb139 |
| 输入 | E10 Rewrite-after、Judge–Fix 前的 SpecDoc | 同批输入(哈希一致) |
I2 实验结果
| 指标 | E10 历史链路 | I2 基线链路 | J10 增强链路 |
|---|---|---|---|
| Judge–Fix 准出 | 45/50(90%) | 43/50(86%) | 46/50(92%) |
| 正式 E2E Mix 准出 | 33/50(66%) | 33/50(66%) | 26/50(52%) |
| Focus 12 E2E 准出 | 0/12 | 6/12 | 2/12 |
| Judge–Fix 准出后的 E2E 接受率 | 32/45(71.1%) | 32/43(74.4%) | 26/46(56.5%) |
| Judge–Fix 总 Token | 未留存 | 93,150,632 | 125,867,741 |
| Judge–Fix 墙钟时间 | 未留存 | 5,510.9 秒 | 13,746.1 秒 |
反直觉发现:J10 虽然 Judge–Fix 准出最高(92%),但 E2E 准出反而最低(52%)。这说明提高离线准出本身不能证明最终产物更好——Judge–Fix 的"准出"和 E2E 的"真实可用"之间存在 gap。I2 的 Judge–Fix 准出虽低(86%),但 E2E 接受率更高(74.4%),说明 I2 的准出更"实"。
I2 的 17 条 E2E 失败归因
这是搜索升级分析的关键——不是所有失败都能靠搜索解决。
| 主因 | Case 数 | 具体 Case | 搜索能解决吗 |
|---|---|---|---|
| SpecDoc 合同错误/遗漏,Judge–Fix 未闭合 | 9 | 2、3、5、6、11、16、27、45、46 | 部分能 |
| CodeAct / Base 语义落地错误 | 8 | 12、19、34、37、44、47、48、50 | 不能(下游问题) |
9 条 Judge–Fix 侧失败的细分:
| 重复机制 | Case | 搜索能解决吗 | 原因 |
|---|---|---|---|
| Workflow 把"进入阶段"当成"阶段完成" | 3、6 | 不能 | Judge 没识别出这个错误(false negative),搜索的评估器本身有问题 |
| 跨 Workflow 缺少互斥或幂等检查 | 27 | 部分能 | 如果多候选中有一个注意到了跨流互斥,Best-of-N 能选到 |
| Trigger 快照、动作后状态和 FindKey 没有形成数据流约束 | 16、45 | 部分能 | 同上,取决于候选多样性 |
| Dashboard 标题、筛选、聚合没有组成同一个指标合同 | 11 | 能 | 典型的"修的方向不对",多候选大概率有一个方向对 |
| Query 的明确权限与关系基数没有回查到最终 Spec | 2、46 | 不能 | Case 2 是上游 Rewrite 把"需求未明确提出权限差异"写错了,根本性错误 |
| 视图终态排除不完整 | 5 | 能 | 修的粒度问题,多候选能覆盖 |
结论:9 条 Judge–Fix 侧失败中,约 4~5 条(11、5、27、16、45)搜索能帮上忙,2 条(3、6)是 Judge 漏判,2 条(2、46)是上游根本性错误。
5. Judge-Fix 链路搜索升级方案
5.1 可行性分析
结论:完全可行,而且链路已经具备了搜索所需的全部基础设施。
| 搜索组件 | 链路里的对应物 | 成熟度 |
|---|---|---|
| 策略网络(生成候选) | fix 节点(Seed2,temperature=0.2) | 已就绪 |
| 评估器(打分) | judge 节点(V=3/Q=2 多数投票,S0/S1 严重度分级) | 已就绪 |
| 可验证奖励信号 | issue ledger 的稳定问题 ID——"问题是否被关闭"可以精确追踪 | 已就绪 |
| 分支机制雏形 | J2 strategy mode 的三决策:commit / branch / rollback | 已就绪(但 branch 只有 1 次预算) |
| 终末兜底 | terminal coordinated rewrite(Luna,最多 5 轮) | 已就绪 |
| 停滞检测信号 | stagnation_rounds=2、terminal_stagnation_patience=2 |
已就绪(可作为"触发更强搜索"的信号) |
与 rStar-Math 的对比: rStar 需要额外训练 PPM(过程偏好模型)作为 MCTS 评估器,而你的链路里 judge 已经是现成的评估器——V=3/Q=2 的投票机制本身就是一个"打分器",issue ledger 提供了可追踪的问题关闭信号。这意味着你不需要额外训练任何模型,只需要改编排逻辑就能实现搜索升级。
5.2 Level 1:Best-of-N(推荐优先实施)
做法:每轮 fix 并行生成 N=3~5 个修复方案,每个都跑 judge,选结果最好的提交。
具体实现步骤
步骤 1:Fix 节点多候选生成
- 把
_run_single_fix_with_validation的单次调用改成 N 次并行 - 拉高 temperature 到 0.5~0.7(当前 0.2 太低,候选多样性不足)
- 或在 prompt 里要求"从不同角度给出 N 个修复方案",让模型一次输出多个
- 每个候选独立通过格式校验(
coerce_fixed_document)
步骤 2:候选评估(两级筛选控成本)
- 第一级(快速筛选):每个候选只跑 1 票 judge(单域或全域),用单票结果快速排序
- 第二级(精确评估):top 1~2 候选跑完整 V=3/Q=2 全票 judge
- 这样 N=5 时,成本从 5×3=15 票降到 5×1 + 2×3 = 11 票,节省约 27%
步骤 3:排序与选择 排序维度(优先级从高到低):
- 通过的域数(全通过 > 部分通过 > 全不通过)
- 关闭的问题数(越多越好)
- 新引入的问题数(越少越好)
- S0/S1 阻断性问题数(越少越好)
- S2/S3 非阻断性问题数(越少越好)
选最优候选提交,其余丢弃。
步骤 4:与现有 J2 机制集成
- Best-of-N 选出的最优候选,仍然走 J2 的 commit/branch/rollback 三决策
- 如果最优候选是 rollback(引入了太多新问题),可以考虑次优候选
- 这样 Best-of-N 和 J2 是互补关系,不是替代关系
为什么这步收益最大
当前单路径下,如果第一轮 fix 就走偏了,后面 6 轮都在修正"修正引入的问题"。Best-of-N=3 意味着每轮有 3 次机会选对方向,大概率有一个方向是对的。
这和 GRPO 里 group 采样选优势轨迹是同一个思想——GRPO 对同一个 prompt 采样 G 个回答计算相对优势,Best-of-N 对同一个 judge 结果生成 N 个 fix 候选选最优。
成本估算
| 配置 | 每轮 fix 调用 | 每轮 judge 调用(5域) | 相对成本 |
|---|---|---|---|
| 当前单路径 | 1 | 最多 15(V=3) | 1.0x |
| Best-of-N=3(两级筛选) | 3 | 3×1 + 1×3 = 6(单票筛选+top1全票) | ~1.8x |
| Best-of-N=5(两级筛选) | 5 | 5×1 + 2×3 = 11 | ~2.5x |
注意:这是"每轮都搜索"的成本。如果加自适应(见 5.5),平均成本可以降到 1.3~1.8x。
5.3 Level 2:Beam Search(集束搜索)
做法:每轮保留 top-k=2~3 个候选文档状态,下一轮对每个候选分别继续 fix,最终选全局最优。
与 Best-of-N 的区别:
- Best-of-N 是"每轮重新采样、只保留 1 个"
- Beam Search 是"保留多个候选并行演化"
Beam Search 能探索"第一轮看起来不最优但后续潜力更大"的路径。例如候选 A 第一轮关闭了 2 个问题但引入了 1 个新问题,候选 B 第一轮只关闭了 1 个问题但没引入新问题。Best-of-N 可能选 B(更安全),但 Beam Search 会保留 A 和 B,下一轮 A 可能把引入的问题也修好了,最终效果更好。
改动点:
- 需要维护多个候选的上下文(当前文档、已应用 patches、issue ledger 状态、judge 历史)
- 每个候选独立演化,每轮结束后全局排序保留 top-k
- 内存和代码复杂度比 Best-of-N 高
适用场景:F=7 轮都修不好的硬骨头 case,或者修复路径高度不确定的场景。
5.4 Level 3:MCTS / Tree of Thoughts
做法:把每个中间文档状态看作树节点,fix 的不同方向看作分支,judge 的通过票数/问题关闭数作为节点价值,用 MCTS 的选择-扩展-评估-回溯循环系统探索。
实现要点:
- 状态定义:当前文档(或原始文档 + 已应用 patches 序列)
- 动作定义:一次 fix 调用(生成 patches 并应用)
- 节点价值:judge 通过的域数 + 关闭的问题数 - 新引入的问题数(加权)
- 选择策略:UCT(Upper Confidence Bounds for Trees),平衡探索与利用
- 扩展策略:每个节点扩展 N 个子节点(不同 fix 方向)
- 模拟策略:从新节点继续 fix 直到通过或达到深度上限
- 回溯更新:把模拟结果沿路径回传,更新节点价值
适用场景:极致难度的 case(F=7 轮 + terminal rewrite 5 轮都修不好),或者需要精确控制修复路径的场景。
成本:最高,可能需要几十次 fix + judge 调用。建议只在 terminal 阶段触发,作为最后的兜底。
5.5 需要注意的实际问题
问题 1:成本控制(最重要)
搜索意味着更多的 fix 和 judge 调用。必须做自适应,不能无脑对所有 case 都搜索。
自适应策略建议:
| 难度等级 | 判断条件 | 搜索策略 |
|---|---|---|
| 简单题 | 第一轮 judge 全过,或只有 1~2 个 S2/S3 小问题 | 单路径,不搜索 |
| 中等题 | 有 S1 问题,或 2 轮后仍有未关闭问题 | Best-of-N=3 |
| 难题 | F=5 轮后仍有 S0/S1,或触发 stagnation | Best-of-N=5 或 Beam Search k=2 |
| 极难题 | F=7 轮 + terminal rewrite 3 轮后仍不通过 | MCTS(作为最后兜底) |
与现有机制的对接:
stagnation_rounds=2本身就是"这题很难,需要更强搜索"的信号terminal_stagnation_patience=2可以触发 MCTS 兜底- J2 的 branch 决策可以作为"候选值得继续探索"的信号
问题 2:Judge 的可靠性是天花板
搜索的效果完全取决于 judge 能不能准确区分"真的修好了"和"看起来修好了但有隐患"。
应对措施:
- 对 top 候选加跑额外票数(比如 top 1 跑 V=5/Q=3),用更多票换评估可靠性
- 复用现有的
stable_unchanged_domain_rejudge机制——多候选更容易触发不稳定的单票翻转,这个机制更重要 - 对 judge 结果做一致性检查:如果同一个候选跑两次 judge 结果差异很大,说明 judge 不稳定,需要更多票或人工复核
问题 3:状态去重
不同的 fix 可能产生相同或高度相似的文档状态。搜索时需要检测重复状态,避免在搜索树里反复探索同一个节点。
简单做法:
- 对每个候选文档算 hash(已有
_domain_hashes函数按域算 hash) - 相同 hash 的候选只保留一个(judge 结果最好的那个)
- 对 patches 做语义去重:如果两个 patches 修改了同一段文字且结果相似,合并
问题 4:Patch 机制带来的状态管理复杂度
当前 fix 输出的是 patches(old_text/new_text),不是完整文档。这意味着"状态"= 原始文档 + 已应用的 patches 序列。
Best-of-N 的影响:每轮只保留 1 个候选,不需要跨轮维护多候选,实现最简单。 Beam Search / MCTS 的影响:每个候选需要维护自己的 patch 历史,不能共享。需要设计候选状态对象,封装当前文档、已应用 patches、issue ledger 状态等。
问题 5:跨域依赖
Table 修复会影响下游域(代码里明确写了"if table in changed_domains: invalidated.update({dashboard, workflow, permission})")。
搜索时的影响:
- 评估一个 Table fix 候选时,不能只看 Table 域的 judge 结果,还要看下游域会不会因此变好或变坏
- 现有
dependency_router节点已经在处理跨域根因归因,搜索时可以复用这个机制做更全面的候选评估 - 建议:Table fix 的候选评估必须包含下游域的 judge(至少单票快速评估),否则可能选到"Table 变好了但 dashboard 变坏了"的候选
5.6 实施建议
推荐路线:分阶段实施
第一阶段:Best-of-N(1~2 周)
- 在
table_fix和non_table_fix节点里,把单次 fix 调用改成 N=3 并行 - 每个候选通过格式校验后跑单票 judge 快速筛选
- top 1 候选跑完整 V=3/Q=2 全票 judge
- 按"通过域数 > 关闭问题数 > 新引入问题数"排序,选最优提交
- 加自适应:只有 judge 结果中有 S1 及以上问题、或连续 2 轮未进展时才触发 N>1
- 跑 50 case 对比实验,统计准出率提升和成本变化
第二阶段:Beam Search(可选,2~3 周)
- 设计候选状态对象,封装当前文档、已应用 patches、issue ledger 状态
- 在停滞 2 轮后触发 Beam Search(k=2)
- 每轮对每个候选继续 fix,全局排序保留 top-k
- 最终选全局最优提交
- 对比 Best-of-N 和 Beam Search 在硬骨头 case 上的效果
第三阶段:MCTS 兜底(可选,3~4 周)
- 在 terminal rewrite 阶段后仍不通过的 case,触发 MCTS
- 用 judge 通过票数作为节点价值,UCT 作为选择策略
- 限制搜索深度和宽度,控制成本
- 作为最后的兜底手段
预期收益
| 指标 | 当前(单路径) | Best-of-N=3(自适应后) |
|---|---|---|
| 简单 case 准出率 | 基准 | 不变(不触发搜索) |
| 中等 case 准出率 | 基准 | +5~15% |
| 困难 case 准出率 | 基准 | +10~25% |
| 平均成本 | 1.0x | 1.3~1.8x |
| F=7 轮修不好的 case 占比 | 基准 | 显著降低 |
关键成功因素
- 先做 Best-of-N:改动最小、收益最直接,不要一上来就做 MCTS
- 自适应是必须的:不能对所有 case 都搜索,否则成本不可控
- Judge 可靠性优先:搜索放大 judge 的错误,先确保 judge 本身可靠,再上搜索
- 用实验数据驱动:每一步都跑对比实验,用准出率和成本数据决定是否继续升级
- 与现有机制集成:Best-of-N 和 J2、stagnation 检测、terminal rewrite 是互补关系,不要替代
5.7 基于 I2 配置的差异化分析
5.1~5.6 节的搜索升级方案是基于 J10 配置的通用分析。本节基于 I2 配置的实际失败归因,给出更有针对性的差异化分析。
I2 配置下搜索的独特优势
1. F=5 比 F=7 更需要搜索
I2 只有 5 轮修复机会,如果前 2 轮走偏了,后面只剩 3 轮修正。单路径贪心在 F=5 下的代价比 F=7 更大——Best-of-N=3 意味着每轮有 3 次选对方向的机会,这对 F=5 的配置收益比 F=7 更显著。
2. 4 域状态空间更小,搜索成本更低
I2 没有 Form 域,跨域依赖更简单(只有 Table→Dashboard/Workflow/Permission)。这意味着:
- 候选评估更快(只需要跑 4 域 judge)
- 状态去重更简单
- Beam Search 的候选管理成本更低
3. 全局并发 200 给搜索留了空间
I2 配置全局最多 200 个模型调用在途,这比 J10 的 32 宽裕很多。Best-of-N=3 的并行候选生成和评估在 I2 的并发配置下不会成为瓶颈。
基于 I2 失败归因的差异化搜索策略
不是所有 case 都适合搜索,应该基于失败类型做差异化处理:
| Case 类型 | 判断信号 | 搜索策略 |
|---|---|---|
| 简单题 | 第一轮 judge 全过或只有 S2/S3 | 单路径,不搜索 |
| 修方向问题 | 连续 2 轮有 S1 但问题 ID 在变(说明在修但没修对) | Best-of-N=3 |
| Judge 漏判风险 | 单票不稳定翻转、或 issue ledger 显示问题被关闭但 E2E 历史失败 | 加跑额外 judge 票数(V=5/Q=3),而不是多 fix 候选 |
| 上游根本性错误 | SpecDoc 与 Query 直接冲突(如 Case 2 的权限问题) | 搜索无效,需要上游 Rewrite 修复或人工介入 |
预期收益估算(基于 I2 的 17 条失败)
- 8 条 CodeAct 侧失败:搜索无效(0/8 提升)
- 2 条上游根本性错误:搜索无效(0/2 提升)
- 2 条 Judge 漏判:搜索部分有效,加票可能救回 1 条
- 5 条修方向/粒度问题:Best-of-N 大概率救回 3~4 条
保守估计:E2E 准出从 33/50 提升到 37~38/50(+4~5 条),提升幅度约 8~10 个百分点。
成本增加:自适应后平均约 1.3~1.5x Token,从 93M 增加到 120~140M,墙钟时间从 5,511 秒增加到 7,000~8,000 秒(并发 200 下不会线性增长)。
比搜索更优先的事情
基于 I2 的归因,有两件事比搜索优先级更高:
1. Judge 漏判修复
Case 3、6 的"进入阶段当成完成阶段"是 Judge 规则的盲区,这是评估器本身的问题。修好 Judge 规则比加搜索更根本——因为搜索的效果天花板就是 Judge 的可靠性。如果 Judge 把好修复判成坏的,搜索会把好方案剪掉;如果把坏修复判成好的,搜索会放大 reward hacking。
2. 上游 Rewrite 质量
Case 2、46 是 Rewrite 阶段引入的根本性错误,Judge–Fix 再怎么搜索也修不好。需要在 Rewrite 后增加 Query↔SpecDoc 一致性检查,从源头减少这类错误。
这两件事做好了,搜索的收益会更大——因为评估器更准了、上游错误更少了,搜索只需要解决"修方向不对"的问题,而不是在错误的评估器下盲目搜索。
I2 vs J10 搜索升级优先级总结
| 维度 | I2 配置 | J10 配置 |
|---|---|---|
| 搜索紧迫性 | 高(F=5 更短,走偏代价大) | 中(F=7 有更多修正机会) |
| 搜索成本 | 低(4 域、并发 200) | 中(5 域、并发 32) |
| 失败可搜索比例 | 5/17 ≈ 29% | 待实测 |
| 预期 E2E 提升 | +4~5 条(8~10pp) | 待实测 |
| 前置依赖 | Judge 漏判修复、上游 Rewrite 质量 | 同左 |
建议:先在 I2 配置上验证搜索升级的效果(因为有完整的 50 Case E2E 基线和失败归因),验证通过后再迁移到 J10。I2 的 4 域、高并发、短 F 配置是搜索升级的理想试验场。
附录:术语速查表
| 术语 | 全称 | 一句话解释 |
|---|---|---|
| CPT | Continued Pre-training | 在基座模型上用领域无标注数据继续预训练,注入领域知识 |
| SFT | Supervised Fine-Tuning | 用"指令-回答"有标注数据微调,学会做任务 |
| DPO | Direct Preference Optimization | 直接用偏好对优化,不需要训练奖励模型和 RL |
| RLHF | Reinforcement Learning from Human Feedback | 用人类反馈训练奖励模型,再用 RL 优化策略 |
| RLVR | Reinforcement Learning from Verifiable Rewards | 用可验证奖励(数学答案/代码测试)做 RL |
| ORM | Outcome Reward Model | 只看最终结果打分的奖励模型 |
| PRM | Process Reward Model | 对推理每一步打分的奖励模型 |
| PPM | Process Preference Model | rStar 提出的步骤级偏好模型,用 BT 思想训练 |
| GRPO | Group Relative Policy Optimization | DeepSeek 提出的 RL 算法,用组内相对排名算优势,不需要 critic |
| PPO | Proximal Policy Optimization | 经典 RL 算法,需要 critic/value network |
| MCTS | Monte Carlo Tree Search | 蒙特卡洛树搜索,通过反复抽样估计分支价值 |
| ToT | Tree of Thoughts | 思维树,LLM 推理时的树搜索框架 |
| GAE | Generalized Advantage Estimation | 广义优势估计,MC 和 TD 的插值混合 |
| MC | Monte Carlo | 用完整回合实际回报估计价值,无偏但方差大 |
| TD | Temporal Difference | 用自举估计价值,有偏但方差小 |
| BT | Bradley-Terry | 成对比较概率模型,实力分差过 sigmoid 得到胜率 |
| BoN | Best-of-N | 生成 N 个候选选最好的,最简单的推理时搜索 |
| Test-Time Compute | 推理时计算 | 推理时多花算力换准确率的 scaling 维度 |
| V/Q | Vote count / Quorum | 投票数/通过票数,如 V=3/Q=2 表示 3 票 2 通过 |
| F | Fix rounds | 修复轮数预算 |
| SpecDoc | Specification Document | 规格文档,多维表格的设计文档格式 |
| Hard Stage | - | 硬阶段,链路中更严格的复判和路由阶段 |
| Terminal Rewrite | - | 终末重写,最后兜底的协调重写阶段 |
本文档基于企业内部资料和本地代码分析整理,涉及的内部文档和代码路径均来自用户提供的本地环境。