03 · On-Policy Distillation 家族
与 GRPO 平行的另一条后训练线:OPD 全景、SDPO 详解、信息不对称风险、RLSD / SRPO。返回总览
13. On-Policy Distillation 家族:与 GRPO 平行的另一条后训练线
GRPO 属于 RLVR(Reinforcement Learning with Verifiable Rewards)线:监督信号来自 outcome verifier,整条序列一个 reward,稀疏。另一条独立但逐渐汇合的线是 On-Policy Distillation(OPD,在策略蒸馏):监督信号来自 teacher 的逐 token 分布,稠密,但方向和幅度都由 teacher 决定。
13.1 散度三选一:Forward KL / Reverse KL / JSD
蒸馏的核心是让 student 分布 逼近 teacher 分布 ,但"逼近"选哪种散度,决定了 mode-covering 还是 mode-seeking:
| 散度 | 定义 | 行为 | 风险 |
|---|---|---|---|
| Forward KL() | teacher 为参考 | student 尽量覆盖 teacher 所有峰(mode-covering) | 覆盖中间低谷,容易混入错误区域 |
| Reverse KL() | student 为参考 | student 坍缩到 teacher 某个峰(mode-seeking) | 丢失另一个峰的信息,但更精准 |
| JSD(Jensen-Shannon Divergence) | 两者对称平均 | 双向折中,有界 | 梯度更温和,稳定性好 |
OPD / OPCD / OPSD 这一脉默认用 Reverse KL,因为大模型后训练阶段需要 mode-seeking——让 student 聚焦到 teacher 真正高概率的 token,而不是把 teacher 分布"摊平"。
13.2 OPD 家族树
OPD (On-Policy Distillation)
student 自己 rollout,teacher 逐 token 打分
│
┌──────────────┬───────────┴───────────┬──────────────┐
▼ ▼ ▼ ▼
GKD OPD 直接版 特权上下文自蒸馏 环境反馈自蒸馏
可混固定数据 外部强 teacher (OPSD 分支) (SDPO 分支)
│ │ │ │
│ │ ┌─────────────┼──────┐ │
│ │ ▼ ▼ ▼ │
│ │ OPCD OPSDL SDFT │
│ │ context→参数 短→长上下文 演示→持续 │
│ │ │
└──────────────┴─────────────┬───────────────────────┘
▼
RL 侧融合(teacher 只给幅度,方向归 verifier)
│
┌────────────┼────────────┐
▼ ▼ ▼
RLSD SRPO DGO
self-distill sample experience bank
RLVR routing + internalize
13.3 关键方法速查
| 方法 | Teacher 是谁 | Privileged Information(特权信息) | 信号性质 | 一句话用途 |
|---|---|---|---|---|
| GKD | 外部强模型 | 无(student 自己的轨迹) | Reverse KL / JSD | 让 student 访问过的状态也进入训练,修 exposure bias |
| OPD | 外部强模型 | 无(student 自己的轨迹) | 采样 Reverse-KL advantage | 高效 post-training 配方 |
| OPCD | 外部或自 teacher | 额外 context (长 system prompt / 经验知识) | Reverse KL:student 无 context 生成,teacher 带 context 打分 | 把 context 压进参数,推理时不再带长 prompt,治 lost-in-middle |
| OPSD | 同模型自 teacher | 验证后的正确思维链 / 演示 / 反馈 | Reverse KL | 不引入外部模型,靠"特权信息"制造师生势差 |
| OPSDL | 同模型自 teacher | 短相关上下文 (vs 长上下文 ) | Log-ratio advantage | 长上下文 rollout,短上下文自评分,治 lost-in-middle |
| SDPO | 同模型自 teacher | 编译器错误日志 / judge 评语 | Logits 蒸馏 + RL reward | 把环境反馈转成稠密监督 |
| RLSD | 同模型自 teacher | 结构化答案 / checklist | teacher 只调 advantage 幅度,方向锚在 verifier | 精细 token 信用分配,但不污染优化方向 |
| SRPO | 按 sample 路由 | 正确样本走 GRPO,失败样本走 SDPO | 两条 branch 各自优化 | 避免一刀切 |
| DGO | 外部 + 自 teacher | 外部 experience bank | 经验引导 rollout + 蒸馏内化 | 维护跨 batch 的经验库 |
13.4 OPCD vs SD-RLVR:privileged 老师的两种用法(面试高频对比)
OPCD 和 RLSD(SD-RLVR)的 teacher 同源——都是"自己 + privileged 上下文",但用法完全不同:
| 维度 | OPCD | SD-RLVR(RLSD) |
|---|---|---|
| 属于 | 纯蒸馏(RFT) | RL |
| Privileged 上下文 | 完整 system prompt | 结构化答案 / checklist |
| 用它来 | 模仿 teacher 分布 → 内化进参数 | 只算 token 信用幅度,方向归 verifier |
| 主打 | 压 system prompt、治 lost-in-middle | 长输出的精细信用分配(保真/绑定/拒识) |
| 泄漏风险 | 高(直接分布匹配可能把答案痕迹带进梯度) | 低(不直接模仿,只当权重) |
一句话区分:OPCD 让模型"背下规则",RLSD 让模型"知道这次错在哪个 token"。
13.5 全景对比:蒸馏线 vs RLVR 线
| 方法 | 轨迹来源 | 主监督来源 | 粒度 | 方向由谁决定 | 幅度由谁决定 | 主要代价 |
|---|---|---|---|---|---|---|
| GKD / OPD | student + 可混固定数据 | 外部 teacher 分布 | token | teacher divergence | teacher divergence | teacher 成本、散度选择 |
| OPCD | context-free student | context-aware teacher | token | context teacher | Reverse KL | context 质量、self 版本不稳 |
| OPSDL | long-context self | 同模型看短相关 context | token | short-context teacher | Log-ratio | 依赖短 context 抽取 |
| GRPO | policy | outcome verifier | sequence | environment | 同序列均匀 | 信用粗,无 critic |
| DAPO | policy | outcome verifier | sequence + token aggregation | environment | 仍主要序列级 | 稳定但非严格 token credit |
| VAPO | policy | outcome + learned value | token | reward / value | critic / GAE | 系统重、value bias |
| VPR | agent | 符号/算法 oracle | turn | process oracle | turn reward | 必须有高质量 verifier |
| RLSD | policy | environment + self-teacher | token | environment | self-distilled evidence | 新工作,实验范围有限 |
13.6 三个面试 takeaway
- On-policy 只解决状态相关,不自动保证监督正确。student 在自己的轨迹上训练能修 train–inference mismatch,但 teacher / verifier 错了,on-policy 只会让错误监督更贴近 student 真实状态。
- Dense 只有与 Reliable 相乘才有价值。OPD 的 teacher 分布、VPR 的 process oracle、RLSD 的 environment sign 都是稠密信号,稠密信号会加速学习,也会加速学错。
- 未来方向是监督源模块化:State module(on-policy rollout / 看哪里)+ Direction module(verifier / teacher / 看哪走)+ Magnitude module(value / teacher log-ratio / 更新多少)。
14. SDPO 详解:环境反馈如何变成 dense 监督
论文 Reinforcement Learning via Self-Distillation(arXiv:2601.20802),ETH / MPI / MIT / Stanford。第 13 章给的是骨架,这一章展开 SDPO 这个最实用的落地代表。
14.1 先澄清:student 训练时看不到 f
这是最常见的误解。SDPO 里 student 和 teacher 是同一个模型、同一组参数 ,但它们是两次独立的 forward,不是"一次 forward 里 student 同时看到 f":
Student forward(rollout + 算 loss):
输入 prompt = [ x, y_<t ]
输出分布 π_θ(· | x, y_<t) ← 没有 f
梯度回传更新 θ ✅
Teacher forward(事后重打分,stop-gradient):
输入 prompt = [ x, f, y_<t ]
输出分布 π_θ(· | x, f, y_<t) ← 多看 f
梯度不回传 ❌(stopgrad)
Loss = KL( student distribution ‖ teacher distribution )
- Student 的输入里从来没有 f,和推理时看到的东西一模一样——这就是 "on-policy"。
- Teacher 是事后用 student 已经走过的 prefix 再跑一遍 forward,只是这次 prompt 里多塞了 f。
- 两个 forward 共享权重 ,stop-gradient 把 teacher 那一路梯度掐掉。
14.2 损失函数与优势函数
蒸馏损失(Reverse KL,实践中换对称 JSD 更稳):
展开成 policy gradient 形式后,优势是 per-token 的:
- 教师比学生更支持这个 token → 优势为正,提高概率;
- 教师比学生更不支持 → 优势为负,压低概率;
- 师生一致 → 优势为 0,不更新。
对比 GRPO:GRPO 给一整条序列同一个标量 advantage,SDPO 给词表里每个可能的下一个 token 都算一个独立 advantage。
14.3 反馈 f 装什么
| 信号 | 例子 | 备注 |
|---|---|---|
| 环境输出(environment output) | 编译错误、单测失败栈、API 报错、执行 trace | 最主要、信息最丰富 |
| 同 batch 成功解(own solution / sibling) | 同 batch G 条 rollout 里有一条成功,这条当其他失败解的"隐式反馈" | 没有 rich feedback 时的兜底 |
反直觉的坑:不要把 student 当前采样的解 也塞进 teacher 的 prompt——教师会倾向于"赞同学生已经写出来的东西",导致熵下降、探索能力变差。
14.4 工程实现要点
| 技巧 | 做法 | 为什么 |
|---|---|---|
| Top-K 蒸馏 | 只从 student 侧选 top-100 token 算 KL | 降显存,近似足够 |
| 对称 JSD | 用 Jensen-Shannon 代替 Reverse KL | 在线自蒸馏更稳,避免零概率爆炸 |
| 教师正则化 | EMA()或 trust-region(当前教师与初始教师插值) | 防止教师跟学生一起漂移 |
| 信号粒度 | Logits-Level(top-100)> Token-Level(top-1)> Sequence-Level | 最粗的 Seq-Level 也优于 GRPO |
教师设定 ablation:直接拿 student 当 teacher 最差,冻结初始教师次之,Trust-region + EMA 最优。训练一段后 student 会超过初始 teacher。
14.5 实验效果
- LiveCodeBench v6:SDPO 48.8% vs GRPO 41.2%,1/4 训练时间达到 GRPO 最终精度;答案长度短 3–7 倍。
- 规模效应:基模越大收益越大。弱模型"看到反馈也读不懂",可能弱于 GRPO。
- 抗遗忘:和 off-policy SFT 正确样本相比,SDPO / GRPO 在提领域能力的同时更好保留 holdout 通用能力。
- Test-time self-distillation:极难题目上,SDPO 把多轮交互历史"压"进权重,发现解所需尝试次数只有 Best-of-k / Multi-turn 的 1/3。
14.6 GRPO + SDPO 加权:什么时候才需要
把两个 advantage 线性混合:
直觉:GRPO 给"整条对/错"的红绿灯,SDPO 给"错在哪个 token"的导航。论文实验结论:
| 模型规模 | 加权效果 |
|---|---|
| 0.6B 小模型 | 有一定增益 |
| 7B / 8B 及以上 | 加了反而没用 |
为什么大模型不需要? SDPO 的 dense signal 靠模型自己的 in-context learning "读懂"反馈。大模型已经能从 feedback 推出该改哪,GRPO 那个粗标量就成了冗余噪声;小模型读不懂,才需要 GRPO 红绿灯兜底。
默认建议:先单独跑 SDPO。只有出现 (1) 模型偏小、(2) 反馈 noisy / partial、(3) SDPO 单独跑收敛慢 这三种情况再试加权。
14.7 为什么论文标题没写"环境反馈"
论文标题是 Reinforcement Learning via Self-Distillation,确实没出现 feedback / environment。原因:
- 标题立的是范式,不是某一种 f。环境反馈只是 privileged info 的一种,f 还可以是 sibling success、checklist、参考解。写死"环境反馈"会窄化贡献。
- 论文有一个"无富反馈"实验:把同 batch 成功 sibling 当隐式反馈,这种场景下根本没有报错可看。
- 命名上和 OPSD 拉开距离:OPSD 叫 Self-Distilled Reasoner(像 SFT/蒸馏线),SDPO 故意叫 Reinforcement Learning via Self-Distillation(像 PPO/GRPO 这条 RL 线),定位成"把 verifiable reward 转成自蒸馏信号的通用转换器"。
15. 信息不对称风险与 RLSD / SRPO
15.1 Privileged Information Asymmetry 是什么
SDPO / OPCD / OPSD 里,teacher 和 student 同模型,唯一差别是 teacher 多看了一份 student 推理时拿不到的特权信息 。这个信息差是蒸馏的燃料,也是泄漏的入口:
student 训练时反复看到"只要 出现,答案就对"这个统计规律,推理时即使 不在,也会学着"假装自己看到了 ",直接输出只有看过 才知道的内容。
这不是 reward hacking(钻 verifier 空子),而是 privileged information leakage——模型把训练时的"作弊小抄"内化进了推理路径。
15.2 为什么直接分布匹配一定会泄漏
SDPO / OPCD / OPSD 的损失都是 Reverse KL:student 每把概率挪到 teacher 偏好的 token 上,KL 就下降。损失里没有任何机制阻止 student 把 里的具体内容"猜"出来——只要挪概率能降 loss,student 就学。当 本身就是答案或答案痕迹时,这就退化成伪装成蒸馏的答案抄袭。
15.3 落地已经踩过的坑
OPSD(特权信息 = 参考答案 )实际落地时两个典型症状:
- 推理期幻觉式引用:student 在没有 的推理时会**引用一个根本不存在的"参考答案"**作为推理依据——"根据题解应该选 B",但题解并不存在。
- 训练不稳定:teacher 没有 EMA / trust-region,和 student 一起漂移,效果波动大。
OPCD 风险表现不同:不是"引用不存在答案",而是"错误 context 被写进参数"——teacher 看到的 本身有错,Reverse KL 会把错误知识永久固化。
15.4 三种缓解思路
| 思路 | 代表方法 | 怎么做 | 代价 |
|---|---|---|---|
| 不直接模仿,teacher 只调幅度 | RLSD | teacher 不决定方向,方向锚 verifier;teacher 只给 token 该背多大锅 | 需要可验证 reward |
| 按 sample 路由 | SRPO | correct 走 GRPO,incorrect+有 feedback 才走 SDPO | 需要 correctness 判定 |
| teacher 正则化 | SDPO / OPSD 默认 | EMA、trust-region、stop-gradient、JSD | 只减抖动,不治本 |
15.5 RLSD:teacher 只调幅度,方向归 verifier
论文 Self-Distilled RLVR(arXiv:2604.03128)。核心:teacher 的 logits 只用来算相对比值,绝不直接作为 target distribution。
设 是 privileged 信息(结构化 checklist):
第一步:privileged 信息增益(teacher 看到 后,这个 token 的 log-prob 涨了多少)
第二步:方向来自 verifier( 是 checker 给的组内 advantage,GRPO 那一套)
第三步:方向感知的 token 权重
直觉:
- 这条 rollout 好():privileged 老师也"眼前一亮"的 token 拿更多功劳;
- 这条 rollout 坏():privileged 老师"看了答案就想改"的 token 背更多锅;
- teacher 没感觉的 token()按 GRPO 原样更新。
和 SDPO / OPCD 的本质区别:SDPO 让 feedback 当老师教你写字,RLSD 让 feedback 当红笔只在错处画圈。RLSD 不直接模仿 teacher 分布,所以不会把答案痕迹带进梯度。
15.6 SRPO:让每个 sample 自己选走哪条路
论文 Unifying GRPO and SDPO via Sample Routing(arXiv:2604.02288)。GRPO 稳但信号粗,SDPO 信号密但可能在错误样本上被 teacher 带偏,SRPO 让每个 sample 自己选优化路径。
路由规则:对每个 sample , 表示是否正确, 表示是否有可用 teacher/feedback。
| 样本状态 | 路由到 | 理由 |
|---|---|---|
| correct() | GRPO | 已经对了,verifier reward 强化即可 |
| incorrect + 有 informative feedback | SDPO | 有反馈,teacher 精确定位错在哪个 token |
| incorrect + 无可靠 feedback | GRPO | teacher 没东西教,标量 reward 兜底 |
SDPO branch 再加 teacher entropy 加权:
teacher 越 confident( 小),蒸馏权重越大;越 uncertain,权重越小。
实验:Qwen3-4B/8B 上同时优于 GRPO 和 SDPO;早期多 routing 开销,后期 response 更短,整体训练效率反而更好。
局限:routing 依赖可判定性(开放式任务不好路由);teacher entropy 只是 uncertainty proxy;超参 / threshold 敏感。
15.7 OPCD / OPSD / SDPO 三方对比
| 维度 | OPCD | OPSD | SDPO |
|---|---|---|---|
| privileged info | 长 system prompt / 经验知识 | 本次题的参考答案 | 环境报错 / sibling 成功解 |
| 提出者 | Microsoft | UCLA/HKU/Meta | ETH/MPI/MIT/Stanford |
| 典型任务 | system prompt 蒸馏、文字游戏 | 竞赛数学(AIME/HMMT) | 代码(LCB v6)、工具使用 |
| 训练完推理时 | 扔掉(内化进参数) | 本来就没有 | 本来就没有 |
| 主要风险 | 错误 context 写进参数 | 推理时"引用不存在的答案"幻觉 | teacher reliability 依赖 feedback 质量 |
| 教师正则化 | 推荐外部 teacher;self 版不稳 | 原版不用 EMA/trust-region | EMA / trust-region 默认 |
| 核心数据点 | Qwen3-8B Math 75.0→79.7 | Qwen3-8B 52.2 vs GRPO 51.3,token 效率 4–8× | LCB v6 48.8% vs GRPO 41.2%,1/4 训练时间 |
一句话:
- OPCD 像把厚厚的操作手册背下来,以后上班不用带手册;
- OPSD 像考试时老师把标准答案给你看一遍让你照着学解题——问题是学生可能直接背答案;
- SDPO 像做完题老师把批改卷子发下来,你看着红叉自己改。
15.8 演进逻辑
SDPO 证明了"feedback 能当 dense 监督" → 大家发现直接模仿会泄漏 → RLSD 把方向和幅度拆开 → SRPO 进一步承认不是每个 sample 都该用同一套 loss。这和 13.6 的"监督源模块化"是同一件事的不同侧面:state(on-policy rollout)/ direction(verifier)/ magnitude(teacher log-ratio)三个模块可以独立替换。
参考资料
- DAPO 论文:https://dapo-sia.github.io/
- GTPO/GRPO-S:https://arxiv.org/html/2508.04349
- EP-GRPO:https://arxiv.org/html/2605.04960
- CE-GPPO:https://arxiv.org/html/2509.20712
- EARL:https://arxiv.org/html/2511.12033
- GSPO:Qwen3 技术报告
- 熵崩溃监控:https://arxiv.org/html/2606.18487
- Base AI CodeAct 架构:内部文档
- GKD / OPD:On-Policy Distillation of Language Models (arXiv:2306.13649, ICLR 2024)
- Thinking Machines Lab, On-Policy Distillation:https://thinkingmachines.ai/blog/on-policy-distillation/
- OPCD:On-Policy Context Distillation for Language Models (arXiv:2602.12275)
- OPSDL:On-Policy Self-Distillation for Long-Context LMs (arXiv:2604.17535)
- RLSD:Self-Distilled RLVR (arXiv:2604.03128)
- DAPO 技术报告:arXiv:2503.14476
- VAPO:arXiv:2504.05118
- VPR:Verifiable Process Rewards for Agentic Reasoning (arXiv:2605.10325)
- DGO:Towards Effective Experiential Learning (arXiv:2603.24093)
- SRPO:Sample Routing Policy Optimization (arXiv:2604.02288)
- SDPO:Reinforcement Learning via Self-Distillation (arXiv:2601.20802),代码 https://github.com/lasgroup/SDPO
- OPSD:Self-Distilled Reasoner (arXiv:2601.18734)
- 内部解读:[OPD + RL for Spec agent](内部资源 Distillation 前沿调研](内部资源 最新 8 篇调研](内部资源)