On-Policy Distillation 方法辨析:OPSD / OPCD / SDPO 与 KL 方向
目标:把 OPSD、OPCD、SDPO 这几个长得很像的 on-policy 自蒸馏方法拆清楚,重点说清"特权信息是什么"和"forward/reverse KL 怎么选"这两个独立维度,并落到 Rubric Judge 训练的实际选型上。
一句话
这三个方法都是"同一个模型(或相近模型)自己教自己",区别只在 teacher 额外看到了什么特权信息;而 forward KL 还是 reverse KL 是另一个正交的选择,不决定方法叫什么名。
| 方法 | teacher 额外看到的特权信息 | 典型场景 |
|---|---|---|
| OPSD | 参考答案 / 标准 CoT(y*) | 数学推理(有标准解) |
| OPCD | 任务上下文 / 长 system prompt / Rubric 规则 | 把长 context 里的能力蒸进权重 |
| SDPO | 环境反馈(编译器报错、测试日志、sibling 成功解) | 代码、工具使用、Agent |
1. 三者到底差在哪
都写成同一个外壳:student on-policy 采样 ŷ,teacher 在同一条 ŷ 的 prefix 上给 token 分布,逐 token 算散度更新 student。差别只在 teacher 的条件:
- OPSD:student 看问题 x;teacher 看 x + 参考答案 y*。teacher 因为知道答案,能反推"学生走偏的 token 该往哪纠"。
- OPCD:student 看问题 x(短提示);teacher 看 x + context c(完整规则 / Rubric / 经验文档)。teacher 因为多看了 context,知道"这条 spec 违反了哪条规则"。
- SDPO:student 看问题 x;teacher 看 x + 环境反馈(跑出来的报错、测试失败、同 batch 成功解)。teacher 因为看到了反馈,知道"哪一步错了、为什么错"。
演进方向:teacher 的优势从"外部强模型"(GKD/OPD)→ "上下文信息差"(OPCD)→ "同模型工作区间差"(OPSDL)→ "特权信息差"(OPSD/SDPO)。
2. Forward KL vs Reverse KL:这是另一个维度
2.1 符号
D_KL(P ‖ Q) 里的 ‖ 只是分隔符,不是运算符。读作"P 对 Q 的 KL 散度":
D_KL(P ‖ Q) = Σ P(x) log(P(x)/Q(x))
和条件概率 P(x|y) 的单竖线不是一回事。
2.2 两种方向
| Forward KL:D_KL(p_T ‖ p_S) | Reverse KL:D_KL(p_S ‖ p_T) | |
|---|---|---|
| 展开 | 在 teacher 认为可能的地方,逼 student 给概率 | 在 student 采样到的地方,要求 teacher 也认可 |
| 行为 | mode-covering(覆盖 teacher 所有模式) | mode-seeking(坍缩到 teacher 高概率模式) |
| 漏了什么不罚 | student 没采样到的正确 token,也会被推上去 | student 没走到的路径,不主动鼓励 |
| 副作用 | 可能覆盖 student 学不会的模式,梯度噪声大 | 可能把 student 压得太窄,漏报低概率但正确的模式 |
2.3 原论文各自选了什么
- OPSD:比较不同 divergence 后发现 reasoning 场景下 forward KL 方向更有效;工程上用 JSD(forward/reverse 对称混合)解决纯 forward KL 的零概率发散问题,并加 per-token clipping。
- OPCD:刻意选 reverse KL。直觉是 context 里可能混有噪声,reverse KL 的 mode-seeking 让 student 只 pick teacher 最 confident 的部分,减少 hallucination。
- OPD(外部强 teacher):用 sampled reverse KL。因为强 teacher 的分布远在 student support 之外,forward KL 会逼 student 覆盖一堆学不会的模式。
2.4 关键认知:算法名 ≠ KL 方向
| 组合 | 是不是合法 |
|---|---|
| OPCD + reverse KL(OPCD 原论文) | 是 |
| OPCD + forward KL | 是(正交组合,需要验证) |
| OPSD + forward KL / JSD(OPSD 原论文) | 是 |
| OPSD + reverse KL | 是(demo 里就是这么跑的) |
Ark 平台的 ark-sdk-demo-opsd 目录名不代表 KL 方向——它只是 rollout 示例命名,demo 里跑的也是 reverse KL。别被目录名误导。
3. 为什么 OPSD 倾向 forward KL
四个原因叠加:
- student 缺的是"知道正确路径",不只是"别走这条路"。OPSD 的 student 裸看问题,分布天然宽而散。Forward KL 在 teacher 高概率、student 低概率的 token 上强推上去,正好对症;reverse KL 只在 student 走歪的路上纠偏,不会主动指路。
- 数学推理允许多条正确路径。Forward KL 的 mode-covering 让 student 覆盖 teacher 知道的所有合理解法;reverse KL 的 mode-seeking 会坍缩到单一推理路径,损失泛化。
- 特权信息是干净的参考答案,不需要 mode-seeking 过滤噪声。OPCD 选 reverse KL 是因为 context 里可能有无关信息;OPSD 的 y* 是确定的 ground truth。
- Per-token clipping 是 forward KL 的配套。Forward KL 天然在"teacher 高概率、student 低概率"的分叉 token 上产生大梯度,clipping 是让它稳定的工程手段;reverse KL 本来就不会有这种大梯度。
4. Teacher 能不能换成更强的模型
技术上能,但换完就不是 OPSD 了,而且内部 ablation 证明不涨点。
- OPSD 原始定义是同一份参数 θ,student = teacher,只是 teacher 多看了 y*。换成更强的外部模型后,特权信息不只是"多看了答案",还叠加了"模型本身更强"——这就滑向 OPD(外部强 teacher 蒸馏)。
- 内部实测(4B student 配 4B/8B/14B teacher 做 OPSD):14B teacher 效果和 4B teacher 相近,优于 8B teacher。给定同样特权信息,scale teacher 不带来性能提升。
- 原因:OPD 类方法有效性不取决于 teacher 绝对大小,而取决于 ①thinking pattern 是否兼容 ②student-visited prefix 上高概率 token support 是否重叠 ③teacher 是否真有 student 没见过的知识。太大的 teacher 局部分布和 student 不重叠,给的梯度又平又噪。
- 换强 teacher 后 KL 方向也要换:真要用强外部 teacher,应该走 OPD + reverse KL,而不是 OPSD + forward KL。Forward KL 会逼 student 覆盖它根本学不会的 teacher 模式。
5. 落到 Rubric Judge 任务
5.1 当前设定
- Student:短提示,输出 judge 判断(JSON)。
- Teacher:看完整 Rubric 规则。
- 当前 Ark 配置:
reverse_kl_weight=1, kl_reward_coef=1, task_reward_coef=0, topk=64, topk_type=student。 - 这是 OPCD + reverse KL,不是 OPSD。
5.2 为什么 OPCD 框架选对了
Teacher 多看的是完整 Rubric 规则(context),student 看短提示——这正是 OPCD 的设定:把 context 里的规则内化进参数,推理时不用带那一大坨。
5.3 但 reverse KL + task_reward_coef=0 对"找全问题"不利
- Reverse KL mode-seeking:student 会坍缩到 teacher 分布里概率最高的判断模式。如果某类问题在 teacher 输出里概率本来就不高(哪怕是对的),reverse KL 不会鼓励 student 覆盖它。
- task_reward_coef=0:训练信号 = 1×KL 模仿 + 0×任务正确性。没有"多找一个真问题就加分"的信号。
- 结果:student 不会系统性超过 teacher 的 recall,reverse KL 还会比 teacher 更保守。
5.4 Forward KL 能解决问题吗
理论上更对症(mode-covering),但三个 caveat:
- Token-level mode-covering ≠ issue-level coverage。一个完整答案是"JSON 里同时报出 A、B、C 三个问题"——这是长序列结构,不是三个独立概率 mode。Forward KL 让 student 在不同 rollout 里覆盖不同模式,不保证同一条 rollout 里报全。
- Teacher 没分布的 mode,forward KL 也变不出来。RL-v4 教师自己 4+ 问题样本的完整集合率就不够(历史 Test1056:问题 Recall 89.26%,但 4+ 问题样本完整集合几乎没改善)。
- Forward KL 副作用是 FP 涨。它会逼 student 覆盖 teacher 分布里所有有 support 的地方,包括 teacher 偶尔抽风的误判。
5.5 给 teacher 加"答案提示"能不能救 recall
能涨,但要区分两种提示:
| 提示类型 | teacher 看到的 | student 能不能继承 |
|---|---|---|
| Hint 类(排查框架:"请逐条检查权限、字段、流程、公式、表单 SATISFIED") | 引导 teacher 系统性排查 | 能。student 学会的是"遇到这类 spec 要从哪些维度想",行为模式推理时复现得了 |
| Gold 类(直接给问题列表) | teacher 直接复述 gold | 不能。student 推理时没有 gold 可抄,蒸到的是"知道答案后的判断分布",复现不了,还会幻觉编造问题(FP 暴涨) |
正确做法:给 teacher 的是排查维度清单,不是具体答案。加完后一定要在 student 无提示条件下测 recall 和 FP,确认 teacher 的提升真的被蒸进去了。
6. 评测指标(别只看平均分)
| 指标 | 含义 |
|---|---|
| Issue-level Recall | 真实问题里被找到的比例(TP/(TP+FN)) |
| Critical-issue Recall | 关键问题的漏报率 |
| Multi-issue Completeness | 多问题样本里,问题集合是否全部覆盖 |
| False Positive Rate | 误报率(FP:报了但实际没有) |
| JSON/协议合法率 | 输出格式是否合法 |
| Mode F1 / Mode 严格一致率 | 问题类别判断的准确率 |
FP 是判断 leakage 是否发生的最灵敏信号——student 一旦开始编造"应该存在"的问题,FP 会先涨。
7. 实验建议(按优先级)
- 先评 teacher 本身:在 RL-v4 教师上单独算 issue recall、critical recall、4+ 问题完整集合率、FP。这是 student 的上限。
- G2 继续跑:OPCD + reverse KL + task_reward_coef=0,作为基线别动。
- Teacher 侧加排查框架 hint:让 teacher 系统性逐条排查,单独评测 recall 提升。
- KL 方向消融:如果 Ark 确认支持 forward KL,加一组 OPCD + forward KL(或 forward/reverse 混合),其余对齐 G2。重点看 recall 和 FP 的 trade-off。
- Coverage reward:有可靠 issue-level grader 后,把 task_reward_coef 调 >0,reward 设计成 issue-level F1 或 recall-weighted,而不是整体分数。
- 别改名叫 OPSD:OPCD 框架是对的,forward KL 只是 loss 方向消融,不需要切方法名。
参考材料
- OPD最新8篇相关论文调研:从OPD 到 RLSD/SRPO/DGO
- LLM Distillation 前沿技术调研 (self-distillation, on-policy distillation)
- [LLM Distillation 前沿技术落地实践(二): OPSD](内部资源 4B/8B/14B teacher ablation 评论)
- 为什么模型要在自己的错误里学习:OPD 原理及进展
- 从 On-Policy 蒸馏到 Self-Distilled RLVR
- On-Policy Distillation:OPD 和 SFT/RL 比较
- [RL] On-Policy Distillation(Ark 平台)