章节总览
后训练、偏好优化与蒸馏 / 16 · 正文
原目录

拆开两个独立问题:教师额外看到什么信息,以及训练使用哪个方向的 KL。

On-Policy Distillation 方法辨析:OPSD / OPCD / SDPO 与 KL 方向

目标:把 OPSD、OPCD、SDPO 这几个长得很像的 on-policy 自蒸馏方法拆清楚,重点说清"特权信息是什么"和"forward/reverse KL 怎么选"这两个独立维度,并落到 Rubric Judge 训练的实际选型上。

一句话

这三个方法都是"同一个模型(或相近模型)自己教自己",区别只在 teacher 额外看到了什么特权信息;而 forward KL 还是 reverse KL 是另一个正交的选择,不决定方法叫什么名。

方法 teacher 额外看到的特权信息 典型场景
OPSD 参考答案 / 标准 CoT(y*) 数学推理(有标准解)
OPCD 任务上下文 / 长 system prompt / Rubric 规则 把长 context 里的能力蒸进权重
SDPO 环境反馈(编译器报错、测试日志、sibling 成功解) 代码、工具使用、Agent

1. 三者到底差在哪

都写成同一个外壳:student on-policy 采样 ŷ,teacher 在同一条 ŷ 的 prefix 上给 token 分布,逐 token 算散度更新 student。差别只在 teacher 的条件:

  • OPSD:student 看问题 x;teacher 看 x + 参考答案 y*。teacher 因为知道答案,能反推"学生走偏的 token 该往哪纠"。
  • OPCD:student 看问题 x(短提示);teacher 看 x + context c(完整规则 / Rubric / 经验文档)。teacher 因为多看了 context,知道"这条 spec 违反了哪条规则"。
  • SDPO:student 看问题 x;teacher 看 x + 环境反馈(跑出来的报错、测试失败、同 batch 成功解)。teacher 因为看到了反馈,知道"哪一步错了、为什么错"。

演进方向:teacher 的优势从"外部强模型"(GKD/OPD)→ "上下文信息差"(OPCD)→ "同模型工作区间差"(OPSDL)→ "特权信息差"(OPSD/SDPO)。

2. Forward KL vs Reverse KL:这是另一个维度

2.1 符号

D_KL(P ‖ Q) 里的 ‖ 只是分隔符,不是运算符。读作"P 对 Q 的 KL 散度":

D_KL(P ‖ Q) = Σ P(x) log(P(x)/Q(x))

和条件概率 P(x|y) 的单竖线不是一回事。

2.2 两种方向

Forward KL:D_KL(p_T ‖ p_S) Reverse KL:D_KL(p_S ‖ p_T)
展开 在 teacher 认为可能的地方,逼 student 给概率 在 student 采样到的地方,要求 teacher 也认可
行为 mode-covering(覆盖 teacher 所有模式) mode-seeking(坍缩到 teacher 高概率模式)
漏了什么不罚 student 没采样到的正确 token,也会被推上去 student 没走到的路径,不主动鼓励
副作用 可能覆盖 student 学不会的模式,梯度噪声大 可能把 student 压得太窄,漏报低概率但正确的模式

2.3 原论文各自选了什么

  • OPSD:比较不同 divergence 后发现 reasoning 场景下 forward KL 方向更有效;工程上用 JSD(forward/reverse 对称混合)解决纯 forward KL 的零概率发散问题,并加 per-token clipping。
  • OPCD:刻意选 reverse KL。直觉是 context 里可能混有噪声,reverse KL 的 mode-seeking 让 student 只 pick teacher 最 confident 的部分,减少 hallucination。
  • OPD(外部强 teacher):用 sampled reverse KL。因为强 teacher 的分布远在 student support 之外,forward KL 会逼 student 覆盖一堆学不会的模式。

2.4 关键认知:算法名 ≠ KL 方向

组合 是不是合法
OPCD + reverse KL(OPCD 原论文) 是
OPCD + forward KL 是(正交组合,需要验证)
OPSD + forward KL / JSD(OPSD 原论文) 是
OPSD + reverse KL 是(demo 里就是这么跑的)

Ark 平台的 ark-sdk-demo-opsd 目录名不代表 KL 方向——它只是 rollout 示例命名,demo 里跑的也是 reverse KL。别被目录名误导。

3. 为什么 OPSD 倾向 forward KL

四个原因叠加:

  1. student 缺的是"知道正确路径",不只是"别走这条路"。OPSD 的 student 裸看问题,分布天然宽而散。Forward KL 在 teacher 高概率、student 低概率的 token 上强推上去,正好对症;reverse KL 只在 student 走歪的路上纠偏,不会主动指路。
  2. 数学推理允许多条正确路径。Forward KL 的 mode-covering 让 student 覆盖 teacher 知道的所有合理解法;reverse KL 的 mode-seeking 会坍缩到单一推理路径,损失泛化。
  3. 特权信息是干净的参考答案,不需要 mode-seeking 过滤噪声。OPCD 选 reverse KL 是因为 context 里可能有无关信息;OPSD 的 y* 是确定的 ground truth。
  4. Per-token clipping 是 forward KL 的配套。Forward KL 天然在"teacher 高概率、student 低概率"的分叉 token 上产生大梯度,clipping 是让它稳定的工程手段;reverse KL 本来就不会有这种大梯度。

4. Teacher 能不能换成更强的模型

技术上能,但换完就不是 OPSD 了,而且内部 ablation 证明不涨点。

  • OPSD 原始定义是同一份参数 θ,student = teacher,只是 teacher 多看了 y*。换成更强的外部模型后,特权信息不只是"多看了答案",还叠加了"模型本身更强"——这就滑向 OPD(外部强 teacher 蒸馏)。
  • 内部实测(4B student 配 4B/8B/14B teacher 做 OPSD):14B teacher 效果和 4B teacher 相近,优于 8B teacher。给定同样特权信息,scale teacher 不带来性能提升。
  • 原因:OPD 类方法有效性不取决于 teacher 绝对大小,而取决于 ①thinking pattern 是否兼容 ②student-visited prefix 上高概率 token support 是否重叠 ③teacher 是否真有 student 没见过的知识。太大的 teacher 局部分布和 student 不重叠,给的梯度又平又噪。
  • 换强 teacher 后 KL 方向也要换:真要用强外部 teacher,应该走 OPD + reverse KL,而不是 OPSD + forward KL。Forward KL 会逼 student 覆盖它根本学不会的 teacher 模式。

5. 落到 Rubric Judge 任务

5.1 当前设定

  • Student:短提示,输出 judge 判断(JSON)。
  • Teacher:看完整 Rubric 规则。
  • 当前 Ark 配置:reverse_kl_weight=1, kl_reward_coef=1, task_reward_coef=0, topk=64, topk_type=student。
  • 这是 OPCD + reverse KL,不是 OPSD。

5.2 为什么 OPCD 框架选对了

Teacher 多看的是完整 Rubric 规则(context),student 看短提示——这正是 OPCD 的设定:把 context 里的规则内化进参数,推理时不用带那一大坨。

5.3 但 reverse KL + task_reward_coef=0 对"找全问题"不利

  • Reverse KL mode-seeking:student 会坍缩到 teacher 分布里概率最高的判断模式。如果某类问题在 teacher 输出里概率本来就不高(哪怕是对的),reverse KL 不会鼓励 student 覆盖它。
  • task_reward_coef=0:训练信号 = 1×KL 模仿 + 0×任务正确性。没有"多找一个真问题就加分"的信号。
  • 结果:student 不会系统性超过 teacher 的 recall,reverse KL 还会比 teacher 更保守。

5.4 Forward KL 能解决问题吗

理论上更对症(mode-covering),但三个 caveat:

  1. Token-level mode-covering ≠ issue-level coverage。一个完整答案是"JSON 里同时报出 A、B、C 三个问题"——这是长序列结构,不是三个独立概率 mode。Forward KL 让 student 在不同 rollout 里覆盖不同模式,不保证同一条 rollout 里报全。
  2. Teacher 没分布的 mode,forward KL 也变不出来。RL-v4 教师自己 4+ 问题样本的完整集合率就不够(历史 Test1056:问题 Recall 89.26%,但 4+ 问题样本完整集合几乎没改善)。
  3. Forward KL 副作用是 FP 涨。它会逼 student 覆盖 teacher 分布里所有有 support 的地方,包括 teacher 偶尔抽风的误判。

5.5 给 teacher 加"答案提示"能不能救 recall

能涨,但要区分两种提示:

提示类型 teacher 看到的 student 能不能继承
Hint 类(排查框架:"请逐条检查权限、字段、流程、公式、表单 SATISFIED") 引导 teacher 系统性排查 能。student 学会的是"遇到这类 spec 要从哪些维度想",行为模式推理时复现得了
Gold 类(直接给问题列表) teacher 直接复述 gold 不能。student 推理时没有 gold 可抄,蒸到的是"知道答案后的判断分布",复现不了,还会幻觉编造问题(FP 暴涨)

正确做法:给 teacher 的是排查维度清单,不是具体答案。加完后一定要在 student 无提示条件下测 recall 和 FP,确认 teacher 的提升真的被蒸进去了。

6. 评测指标(别只看平均分)

指标 含义
Issue-level Recall 真实问题里被找到的比例(TP/(TP+FN))
Critical-issue Recall 关键问题的漏报率
Multi-issue Completeness 多问题样本里,问题集合是否全部覆盖
False Positive Rate 误报率(FP:报了但实际没有)
JSON/协议合法率 输出格式是否合法
Mode F1 / Mode 严格一致率 问题类别判断的准确率

FP 是判断 leakage 是否发生的最灵敏信号——student 一旦开始编造"应该存在"的问题,FP 会先涨。

7. 实验建议(按优先级)

  1. 先评 teacher 本身:在 RL-v4 教师上单独算 issue recall、critical recall、4+ 问题完整集合率、FP。这是 student 的上限。
  2. G2 继续跑:OPCD + reverse KL + task_reward_coef=0,作为基线别动。
  3. Teacher 侧加排查框架 hint:让 teacher 系统性逐条排查,单独评测 recall 提升。
  4. KL 方向消融:如果 Ark 确认支持 forward KL,加一组 OPCD + forward KL(或 forward/reverse 混合),其余对齐 G2。重点看 recall 和 FP 的 trade-off。
  5. Coverage reward:有可靠 issue-level grader 后,把 task_reward_coef 调 >0,reward 设计成 issue-level F1 或 recall-weighted,而不是整体分数。
  6. 别改名叫 OPSD:OPCD 框架是对的,forward KL 只是 loss 方向消融,不需要切方法名。

参考材料