章节总览
后训练、偏好优化与蒸馏 / 15 · 正文
原目录

OPD 与 RLVR 的监督差异,三种散度、SDPO 反馈蒸馏和教师信息不对称问题。

03 · On-Policy Distillation 家族

与 GRPO 平行的另一条后训练线:OPD 全景、SDPO 详解、信息不对称风险、RLSD / SRPO。返回总览

13. On-Policy Distillation 家族:与 GRPO 平行的另一条后训练线

GRPO 属于 RLVR(Reinforcement Learning with Verifiable Rewards)线:监督信号来自 outcome verifier,整条序列一个 reward,稀疏。另一条独立但逐渐汇合的线是 On-Policy Distillation(OPD,在策略蒸馏):监督信号来自 teacher 的逐 token 分布,稠密,但方向和幅度都由 teacher 决定。

13.1 散度三选一:Forward KL / Reverse KL / JSD

蒸馏的核心是让 student 分布 pθp_\theta 逼近 teacher 分布 pTp_T,但"逼近"选哪种散度,决定了 mode-covering 还是 mode-seeking:

散度 定义 行为 风险
Forward KL(DKL(pT∥pθ)D_{KL}(p_T \| p_\theta)) teacher 为参考 student 尽量覆盖 teacher 所有峰(mode-covering) 覆盖中间低谷,容易混入错误区域
Reverse KL(DKL(pθ∥pT)D_{KL}(p_\theta \| p_T)) student 为参考 student 坍缩到 teacher 某个峰(mode-seeking) 丢失另一个峰的信息,但更精准
JSD(Jensen-Shannon Divergence) 两者对称平均 双向折中,有界 [0,ln⁡2][0, \ln 2] 梯度更温和,稳定性好

OPD / OPCD / OPSD 这一脉默认用 Reverse KL,因为大模型后训练阶段需要 mode-seeking——让 student 聚焦到 teacher 真正高概率的 token,而不是把 teacher 分布"摊平"。

13.2 OPD 家族树

                        OPD (On-Policy Distillation)
                        student 自己 rollout,teacher 逐 token 打分
                                   │
        ┌──────────────┬───────────┴───────────┬──────────────┐
        ▼              ▼                       ▼              ▼
   GKD            OPD 直接版              特权上下文自蒸馏    环境反馈自蒸馏
   可混固定数据    外部强 teacher          (OPSD 分支)     (SDPO 分支)
        │              │                       │              │
        │              │         ┌─────────────┼──────┐       │
        │              │         ▼             ▼      ▼       │
        │              │      OPCD          OPSDL   SDFT     │
        │              │   context→参数  短→长上下文  演示→持续   │
        │              │                                     │
        └──────────────┴─────────────┬───────────────────────┘
                                     ▼
                              RL 侧融合(teacher 只给幅度,方向归 verifier)
                                     │
                        ┌────────────┼────────────┐
                        ▼            ▼            ▼
                      RLSD         SRPO         DGO
                  self-distill   sample      experience bank
                  RLVR           routing     + internalize

13.3 关键方法速查

方法 Teacher 是谁 Privileged Information(特权信息) 信号性质 一句话用途
GKD 外部强模型 无(student 自己的轨迹) Reverse KL / JSD 让 student 访问过的状态也进入训练,修 exposure bias
OPD 外部强模型 无(student 自己的轨迹) 采样 Reverse-KL advantage 高效 post-training 配方
OPCD 外部或自 teacher 额外 context cc(长 system prompt / 经验知识) Reverse KL:student 无 context 生成,teacher 带 context 打分 把 context 压进参数,推理时不再带长 prompt,治 lost-in-middle
OPSD 同模型自 teacher 验证后的正确思维链 / 演示 / 反馈 Reverse KL 不引入外部模型,靠"特权信息"制造师生势差
OPSDL 同模型自 teacher 短相关上下文 CSC_S(vs 长上下文 CLC_L) Log-ratio advantage 长上下文 rollout,短上下文自评分,治 lost-in-middle
SDPO 同模型自 teacher 编译器错误日志 / judge 评语 Logits 蒸馏 + RL reward 把环境反馈转成稠密监督
RLSD 同模型自 teacher 结构化答案 / checklist teacher 只调 advantage 幅度,方向锚在 verifier 精细 token 信用分配,但不污染优化方向
SRPO 按 sample 路由 正确样本走 GRPO,失败样本走 SDPO 两条 branch 各自优化 避免一刀切
DGO 外部 + 自 teacher 外部 experience bank 经验引导 rollout + 蒸馏内化 维护跨 batch 的经验库

13.4 OPCD vs SD-RLVR:privileged 老师的两种用法(面试高频对比)

OPCD 和 RLSD(SD-RLVR)的 teacher 同源——都是"自己 + privileged 上下文",但用法完全不同:

维度 OPCD SD-RLVR(RLSD)
属于 纯蒸馏(RFT) RL
Privileged 上下文 完整 system prompt cc 结构化答案 / checklist ff
用它来 模仿 teacher 分布 → 内化进参数 只算 token 信用幅度,方向归 verifier
主打 压 system prompt、治 lost-in-middle 长输出的精细信用分配(保真/绑定/拒识)
泄漏风险 高(直接分布匹配可能把答案痕迹带进梯度) 低(不直接模仿,只当权重)

一句话区分:OPCD 让模型"背下规则",RLSD 让模型"知道这次错在哪个 token"。

13.5 全景对比:蒸馏线 vs RLVR 线

方法 轨迹来源 主监督来源 粒度 方向由谁决定 幅度由谁决定 主要代价
GKD / OPD student + 可混固定数据 外部 teacher 分布 token teacher divergence teacher divergence teacher 成本、散度选择
OPCD context-free student context-aware teacher token context teacher Reverse KL context 质量、self 版本不稳
OPSDL long-context self 同模型看短相关 context token short-context teacher Log-ratio 依赖短 context 抽取
GRPO policy outcome verifier sequence environment 同序列均匀 信用粗,无 critic
DAPO policy outcome verifier sequence + token aggregation environment 仍主要序列级 稳定但非严格 token credit
VAPO policy outcome + learned value token reward / value critic / GAE 系统重、value bias
VPR agent 符号/算法 oracle turn process oracle turn reward 必须有高质量 verifier
RLSD policy environment + self-teacher token environment self-distilled evidence 新工作,实验范围有限

13.6 三个面试 takeaway

  1. On-policy 只解决状态相关,不自动保证监督正确。student 在自己的轨迹上训练能修 train–inference mismatch,但 teacher / verifier 错了,on-policy 只会让错误监督更贴近 student 真实状态。
  2. Dense 只有与 Reliable 相乘才有价值。OPD 的 teacher 分布、VPR 的 process oracle、RLSD 的 environment sign 都是稠密信号,稠密信号会加速学习,也会加速学错。
  3. 未来方向是监督源模块化:State module(on-policy rollout / 看哪里)+ Direction module(verifier / teacher / 看哪走)+ Magnitude module(value / teacher log-ratio / 更新多少)。

14. SDPO 详解:环境反馈如何变成 dense 监督

论文 Reinforcement Learning via Self-Distillation(arXiv:2601.20802),ETH / MPI / MIT / Stanford。第 13 章给的是骨架,这一章展开 SDPO 这个最实用的落地代表。

14.1 先澄清:student 训练时看不到 f

这是最常见的误解。SDPO 里 student 和 teacher 是同一个模型、同一组参数 θ\theta,但它们是两次独立的 forward,不是"一次 forward 里 student 同时看到 f":

Student forward(rollout + 算 loss):
    输入 prompt = [ x,  y_<t ]
    输出分布 π_θ(· | x, y_<t)        ← 没有 f
    梯度回传更新 θ ✅

Teacher forward(事后重打分,stop-gradient):
    输入 prompt = [ x,  f,  y_<t ]
    输出分布 π_θ(· | x, f, y_<t)     ← 多看 f
    梯度不回传 ❌(stopgrad)

Loss = KL( student distribution ‖ teacher distribution )
  • Student 的输入里从来没有 f,和推理时看到的东西一模一样——这就是 "on-policy"。
  • Teacher 是事后用 student 已经走过的 prefix 再跑一遍 forward,只是这次 prompt 里多塞了 f。
  • 两个 forward 共享权重 θ\theta,stop-gradient 把 teacher 那一路梯度掐掉。

14.2 损失函数与优势函数

蒸馏损失(Reverse KL,实践中换对称 JSD 更稳):

LSDPO(θ)=∑tDKL ⁣(πθ(⋅∣x,y<t) ∥ stopgrad⁡[πθ(⋅∣x,f,y<t)]) L_{\text{SDPO}}(\theta) = \sum_t D_{\text{KL}}\!\big(\pi_\theta(\cdot \mid x, y_{<t}) \,\Vert\, \operatorname{stopgrad}[\pi_\theta(\cdot \mid x, f, y_{<t})]\big)

展开成 policy gradient 形式后,优势是 per-token 的:

Ai,tSDPO(y^i,t)=log⁡πθ(y^i,t∣x,fi,yi,<t)πθ(y^i,t∣x,yi,<t) A^{\text{SDPO}}_{i,t}(\hat y_{i,t}) = \log \frac{\pi_\theta(\hat y_{i,t} \mid x, f_i, y_{i,<t})}{\pi_\theta(\hat y_{i,t} \mid x, y_{i,<t})}

  • 教师比学生更支持这个 token → 优势为正,提高概率;
  • 教师比学生更不支持 → 优势为负,压低概率;
  • 师生一致 → 优势为 0,不更新。

对比 GRPO:GRPO 给一整条序列同一个标量 advantage,SDPO 给词表里每个可能的下一个 token 都算一个独立 advantage。

14.3 反馈 f 装什么

信号 例子 备注
环境输出(environment output) 编译错误、单测失败栈、API 报错、执行 trace 最主要、信息最丰富
同 batch 成功解(own solution / sibling) 同 batch G 条 rollout 里有一条成功,这条当其他失败解的"隐式反馈" 没有 rich feedback 时的兜底

反直觉的坑:不要把 student 当前采样的解 yy 也塞进 teacher 的 prompt——教师会倾向于"赞同学生已经写出来的东西",导致熵下降、探索能力变差。

14.4 工程实现要点

技巧 做法 为什么
Top-K 蒸馏 只从 student 侧选 top-100 token 算 KL 降显存,近似足够
对称 JSD 用 Jensen-Shannon 代替 Reverse KL 在线自蒸馏更稳,避免零概率爆炸
教师正则化 EMA(α=0.1\alpha=0.1)或 trust-region(当前教师与初始教师插值) 防止教师跟学生一起漂移
信号粒度 Logits-Level(top-100)> Token-Level(top-1)> Sequence-Level 最粗的 Seq-Level 也优于 GRPO

教师设定 ablation:直接拿 student 当 teacher 最差,冻结初始教师次之,Trust-region + EMA 最优。训练一段后 student 会超过初始 teacher。

14.5 实验效果

  • LiveCodeBench v6:SDPO 48.8% vs GRPO 41.2%,1/4 训练时间达到 GRPO 最终精度;答案长度短 3–7 倍。
  • 规模效应:基模越大收益越大。弱模型"看到反馈也读不懂",可能弱于 GRPO。
  • 抗遗忘:和 off-policy SFT 正确样本相比,SDPO / GRPO 在提领域能力的同时更好保留 holdout 通用能力。
  • Test-time self-distillation:极难题目上,SDPO 把多轮交互历史"压"进权重,发现解所需尝试次数只有 Best-of-k / Multi-turn 的 1/3。

14.6 GRPO + SDPO 加权:什么时候才需要

把两个 advantage 线性混合:

Ai,tmix=λ⋅Ai,tGRPO+(1−λ)⋅Ai,tSDPO A^{\text{mix}}_{i,t} = \lambda \cdot A^{\text{GRPO}}_{i,t} + (1-\lambda)\cdot A^{\text{SDPO}}_{i,t}

直觉:GRPO 给"整条对/错"的红绿灯,SDPO 给"错在哪个 token"的导航。论文实验结论:

模型规模 加权效果
0.6B 小模型 有一定增益
7B / 8B 及以上 加了反而没用

为什么大模型不需要? SDPO 的 dense signal 靠模型自己的 in-context learning "读懂"反馈。大模型已经能从 feedback 推出该改哪,GRPO 那个粗标量就成了冗余噪声;小模型读不懂,才需要 GRPO 红绿灯兜底。

默认建议:先单独跑 SDPO。只有出现 (1) 模型偏小、(2) 反馈 noisy / partial、(3) SDPO 单独跑收敛慢 这三种情况再试加权。

14.7 为什么论文标题没写"环境反馈"

论文标题是 Reinforcement Learning via Self-Distillation,确实没出现 feedback / environment。原因:

  1. 标题立的是范式,不是某一种 f。环境反馈只是 privileged info 的一种,f 还可以是 sibling success、checklist、参考解。写死"环境反馈"会窄化贡献。
  2. 论文有一个"无富反馈"实验:把同 batch 成功 sibling 当隐式反馈,这种场景下根本没有报错可看。
  3. 命名上和 OPSD 拉开距离:OPSD 叫 Self-Distilled Reasoner(像 SFT/蒸馏线),SDPO 故意叫 Reinforcement Learning via Self-Distillation(像 PPO/GRPO 这条 RL 线),定位成"把 verifiable reward 转成自蒸馏信号的通用转换器"。

15. 信息不对称风险与 RLSD / SRPO

15.1 Privileged Information Asymmetry 是什么

SDPO / OPCD / OPSD 里,teacher 和 student 同模型,唯一差别是 teacher 多看了一份 student 推理时拿不到的特权信息 ff。这个信息差是蒸馏的燃料,也是泄漏的入口:

student 训练时反复看到"只要 ff 出现,答案就对"这个统计规律,推理时即使 ff 不在,也会学着"假装自己看到了 ff",直接输出只有看过 ff 才知道的内容。

这不是 reward hacking(钻 verifier 空子),而是 privileged information leakage——模型把训练时的"作弊小抄"内化进了推理路径。

15.2 为什么直接分布匹配一定会泄漏

SDPO / OPCD / OPSD 的损失都是 Reverse KL:student 每把概率挪到 teacher 偏好的 token 上,KL 就下降。损失里没有任何机制阻止 student 把 ff 里的具体内容"猜"出来——只要挪概率能降 loss,student 就学。当 ff 本身就是答案或答案痕迹时,这就退化成伪装成蒸馏的答案抄袭。

15.3 落地已经踩过的坑

OPSD(特权信息 = 参考答案 y∗y^*)实际落地时两个典型症状:

  1. 推理期幻觉式引用:student 在没有 y∗y^* 的推理时会**引用一个根本不存在的"参考答案"**作为推理依据——"根据题解应该选 B",但题解并不存在。
  2. 训练不稳定:teacher 没有 EMA / trust-region,和 student 一起漂移,效果波动大。

OPCD 风险表现不同:不是"引用不存在答案",而是"错误 context 被写进参数"——teacher 看到的 cc 本身有错,Reverse KL 会把错误知识永久固化。

15.4 三种缓解思路

思路 代表方法 怎么做 代价
不直接模仿,teacher 只调幅度 RLSD teacher 不决定方向,方向锚 verifier;teacher 只给 token 该背多大锅 需要可验证 reward
按 sample 路由 SRPO correct 走 GRPO,incorrect+有 feedback 才走 SDPO 需要 correctness 判定
teacher 正则化 SDPO / OPSD 默认 EMA、trust-region、stop-gradient、JSD 只减抖动,不治本

15.5 RLSD:teacher 只调幅度,方向归 verifier

论文 Self-Distilled RLVR(arXiv:2604.03128)。核心:teacher 的 logits 只用来算相对比值,绝不直接作为 target distribution。

设 ff 是 privileged 信息(结构化 checklist):

第一步:privileged 信息增益(teacher 看到 ff 后,这个 token 的 log-prob 涨了多少)

Δt=sg⁡ ⁣(log⁡πθ(yt∣x,f,y<t)−log⁡πθ(yt∣x,y<t)) \Delta_t = \operatorname{sg}\!\big(\log \pi_\theta(y_t \mid x, f, y_{<t}) - \log \pi_\theta(y_t \mid x, y_{<t})\big)

第二步:方向来自 verifier(AiA_i 是 checker 给的组内 advantage,GRPO 那一套)

第三步:方向感知的 token 权重

wt=clip⁡ ⁣(exp⁡(sign⁡(Ai)⋅Δt), e−δ, eδ),A~i,t=Ai⋅wt w_t = \operatorname{clip}\!\big(\exp(\operatorname{sign}(A_i)\cdot \Delta_t),\ e^{-\delta},\ e^{\delta}\big), \qquad \tilde A_{i,t} = A_i \cdot w_t

直觉:

  • 这条 rollout 好(Ai>0A_i>0):privileged 老师也"眼前一亮"的 token 拿更多功劳;
  • 这条 rollout 坏(Ai<0A_i<0):privileged 老师"看了答案就想改"的 token 背更多锅;
  • teacher 没感觉的 token(Δt≈0\Delta_t \approx 0)按 GRPO 原样更新。

和 SDPO / OPCD 的本质区别:SDPO 让 feedback 当老师教你写字,RLSD 让 feedback 当红笔只在错处画圈。RLSD 不直接模仿 teacher 分布,所以不会把答案痕迹带进梯度。

15.6 SRPO:让每个 sample 自己选走哪条路

论文 Unifying GRPO and SDPO via Sample Routing(arXiv:2604.02288)。GRPO 稳但信号粗,SDPO 信号密但可能在错误样本上被 teacher 带偏,SRPO 让每个 sample 自己选优化路径。

路由规则:对每个 sample ii,cic_i 表示是否正确,mim_i 表示是否有可用 teacher/feedback。

zSDPO=(1−ci)⋅mi,zGRPO=1−zSDPO z_{\text{SDPO}} = (1-c_i)\cdot m_i, \qquad z_{\text{GRPO}} = 1 - z_{\text{SDPO}}

样本状态 路由到 理由
correct(ci=1c_i=1) GRPO 已经对了,verifier reward 强化即可
incorrect + 有 informative feedback SDPO 有反馈,teacher 精确定位错在哪个 token
incorrect + 无可靠 feedback GRPO teacher 没东西教,标量 reward 兜底

SDPO branch 再加 teacher entropy 加权:

Ht=−∑vqt(v)log⁡qt(v),wt∝exp⁡(−βHt) H_t = -\sum_v q_t(v)\log q_t(v), \qquad w_t \propto \exp(-\beta H_t)

teacher 越 confident(HtH_t 小),蒸馏权重越大;越 uncertain,权重越小。

实验:Qwen3-4B/8B 上同时优于 GRPO 和 SDPO;早期多 routing 开销,后期 response 更短,整体训练效率反而更好。

局限:routing 依赖可判定性(开放式任务不好路由);teacher entropy 只是 uncertainty proxy;超参 β\beta / threshold 敏感。

15.7 OPCD / OPSD / SDPO 三方对比

维度 OPCD OPSD SDPO
privileged info ff 长 system prompt / 经验知识 本次题的参考答案 y∗y^* 环境报错 / sibling 成功解
提出者 Microsoft UCLA/HKU/Meta ETH/MPI/MIT/Stanford
典型任务 system prompt 蒸馏、文字游戏 竞赛数学(AIME/HMMT) 代码(LCB v6)、工具使用
训练完推理时 ff 扔掉(内化进参数) 本来就没有 本来就没有
主要风险 错误 context 写进参数 推理时"引用不存在的答案"幻觉 teacher reliability 依赖 feedback 质量
教师正则化 推荐外部 teacher;self 版不稳 原版不用 EMA/trust-region EMA / trust-region 默认
核心数据点 Qwen3-8B Math 75.0→79.7 Qwen3-8B 52.2 vs GRPO 51.3,token 效率 4–8× LCB v6 48.8% vs GRPO 41.2%,1/4 训练时间

一句话:

  • OPCD 像把厚厚的操作手册背下来,以后上班不用带手册;
  • OPSD 像考试时老师把标准答案给你看一遍让你照着学解题——问题是学生可能直接背答案;
  • SDPO 像做完题老师把批改卷子发下来,你看着红叉自己改。

15.8 演进逻辑

SDPO 证明了"feedback 能当 dense 监督" → 大家发现直接模仿会泄漏 → RLSD 把方向和幅度拆开 → SRPO 进一步承认不是每个 sample 都该用同一套 loss。这和 13.6 的"监督源模块化"是同一件事的不同侧面:state(on-policy rollout)/ direction(verifier)/ magnitude(teacher log-ratio)三个模块可以独立替换。



参考资料