章节总览
后训练、偏好优化与蒸馏 / 08 · 正文
原目录

从 Forward / Reverse KL 入手,比较 OPD、SFT 和 RL 的数据分布及监督信号。

来源:内部资源 飞书原文:内部资源

On-Policy Distillation:OPD 和 SFT/RL 比较

符号速查表

阅读本文前可先参考以下符号的读法与含义:

符号 读法 含义
xx "x" / eks prompt(输入提示)
yy "y" / wai 模型生成的 response(完整序列)
yty_t "y t" 第 tt 个生成的 token
y<ty_{<t} "y less than t" 第 tt 个 token 之前已生成的所有 token
LL "L" / el response 的 token 总数(序列长度)
sts_t "s t" 第 tt 步的状态(prefix),即 st=(x,y<t)s_t=(x,y_{<t})
πθ\pi_\theta "pi theta" / 派西塔 student 模型的策略(概率分布),θ\theta 是可训练参数
πT\pi_T "pi T" / 派T teacher 模型的策略(概率分布),TT=Teacher,参数固定
πθ(y∣x)\pi_\theta(y\mid x) "pi theta of y given x" 给定 prompt xx,student 生成完整序列 yy 的概率
πθ(yt∣st)\pi_\theta(y_t\mid s_t) "pi theta of y t given s t" 给定 prefix sts_t,student 生成第 tt 个 token 的条件概率
ptp_t "p t" student 在第 tt 个 prefix 上的 next-token 分布,pt(v)=πθ(v∣st)p_t(v)=\pi_\theta(v\mid s_t)
qtq_t "q t" teacher 在第 tt 个 prefix 上的 next-token 分布,qt(v)=πT(v∣st)q_t(v)=\pi_T(v\mid s_t)
P,QP, Q "P" "Q" / 皮 丘 一般概率分布(KL 中 P 为目标分布,Q 为近似分布)
DKL(P∥Q)D_{KL}(P\|Q) "D K L of P given Q" P 对 Q 的 KL 散度,衡量两个概率分布的差异
E\mathbb{E} "E" / 期望 期望(expectation),Ex∼Q[⋅]\mathbb{E}_{x\sim Q}[\cdot] 表示 xx 服从 QQ 下求期望
D\mathcal D "花体D" / mathcal D prompt 的数据分布
V\mathcal V "花体V" / mathcal V 词表(vocabulary)
R(x,y)R(x,y) "R of x y" 奖励函数(Reward),给定 prompt x 和 response y 的得分
∏\prod "product" / 连乘 连乘符号,∏t=1L\prod_{t=1}^{L} 表示从第 1 到第 LL 项相乘
∑\sum "sum" / 求和 求和符号
∣\mid "given" / 给定 条件符号,A∣BA\mid B 表示"给定 B 时 A"
∥\| "given" / 双竖线 KL 散度中的方向分隔符,DKL(P∥Q)D_{KL}(P\|Q) 表示"P 对 Q"

On-Policy Distillation(OPD)解决的问题是:如何让 student 在自己真实会访问的生成状态上,获得比最终 Reward 更稠密、比固定轨迹更贴近serving分布时候的监督信号

本文尝试重点回答五个问题:

  1. OPD 的 on-policy 到底指什么
  2. OPD 的 sequence KL 如何分解成 prefix 上的 token-level KL
  3. sampled-token OPD 与 full-vocabulary OPD 分别在估计什么
  4. OPD 相比 SFT 和 outcome-reward RL 改变了什么
  5. OPD 适用于哪些场景,又会在什么条件下失效

本文中的 OPD 是一类训练范式,不是唯一固定的 loss。共同部分是:trajectory 由当前 student 生成,teacher 在 student-generated prefix 上提供分布监督。具体监督 metric 可以是 forward KL 散度、reverse KL 散度或其他能衡量概率分布距离的工具

预备知识:KL 散度与 Forward / Reverse KL

KL 散度(Kullback-Leibler Divergence)衡量两个概率分布之间的差异。设 PP 为目标分布,QQ 为近似分布,则:

DKL(P∥Q)=∑xP(x)log⁡P(x)Q(x)D_{KL}(P \| Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)}

它满足非负性(DKL≥0D_{KL} \geq 0,当且仅当 P=QP=Q 时取零),但不满足对称性:DKL(P∥Q)≠DKL(Q∥P)D_{KL}(P\|Q) \neq D_{KL}(Q\|P)。这一非对称性正是 forward KL 与 reverse KL 的来源,也是理解 OPD 行为的关键。

Forward KL:DKL(P∥Q)D_{KL}(P \| Q)

以目标分布 PP 加权。当 P(x)>0P(x) > 0 但 Q(x)→0Q(x) \to 0 时,log⁡(P/Q)→+∞\log(P/Q) \to +\infty,惩罚极大。因此 PP 有质量的地方,QQ 绝对不能为零——QQ 必须铺开覆盖 PP 的每一个区域,行为上称为 Mode-Covering(模态覆盖)。若 PP 是多峰分布,QQ 倾向于把所有峰都罩住,结果可能比较平、比较散。

在 LLM 语境下,forward KL 由 teacher 概率加权:只要 teacher 认为某个 token 重要,就能直接推动 student 提高该 token 的概率,即使 student 原本几乎不会采到它。SFT、off-policy KD 与 full-vocabulary forward KL 都具有这种 mode-covering 作用,适合冷启动和扩展 student 的 action support。

Reverse KL:DKL(Q∥P)D_{KL}(Q \| P)

以近似分布 QQ 加权。当 Q(x)>0Q(x) > 0 但 P(x)=0P(x) = 0 时,log⁡(Q/P)→+∞\log(Q/P) \to +\infty,惩罚极大。因此 QQ 有质量的地方,PP 必须也有质量——QQ 不敢把概率质量放在 PP 没有的地方,行为上称为 Mode-Seeking(模态寻找)。QQ 倾向于集中在 PP 的某一个高概率峰上,可能完全忽略其他峰。

现代 reasoning OPD 通常使用 reverse KL(式 8),即 DKL(πθ∥πT)D_{KL}(\pi_\theta \| \pi_T),以 student 分布 pp 为 QQ、teacher 分布 qq 为 PP。其 mode-seeking 特性意味着:若某个关键 token 在 student 下的概率近似为零,student 几乎不会生成对应状态,reverse KL 也难以把它从零召回。这正是 OPD 不能完全替代 SFT 的根本原因(详见后文"OPD 不能完全替代 SFT")。

公式细节:为什么乘 Q(x)、为什么用 log

以 reverse KL DKL(Q∥P)=∑xQ(x)log⁡Q(x)P(x)D_{KL}(Q\|P)=\sum_x Q(x)\log\frac{Q(x)}{P(x)} 为例,拆解两个最常见的疑问。

为什么要乘 Q(x)

log⁡Q(x)P(x)\log\frac{Q(x)}{P(x)} 是每个 x 处的点态差异,它随 x 变化,本身是一个随机变量。要把它压缩成一个标量衡量"整体差多少",就需要求期望——而期望的权重正是 Q(x):

DKL(Q∥P)=Ex∼Q[log⁡Q(x)P(x)]D_{KL}(Q\|P)=\mathbb{E}_{x\sim Q}\left[\log\frac{Q(x)}{P(x)}\right]

∑xQ(x)⋅[⋯ ]\sum_x Q(x)\cdot[\cdots] 就是离散分布下求期望的写法。权重 Q(x) 代表"这个 x 在 Q 看来有多重要":Q 概率大的地方,差异权重就大;Q 概率为零的地方直接被忽略。

如果不乘 Q(x),直接把点态差异相加会怎样? 设 Q={A:0.9, B:0.1},P={A:0.5, B:0.5}:

A B
log⁡(Q/P)\log(Q/P) +0.59 -1.61

直接相加:0.59 + (-1.61) = -1.02,负数,没有意义。乘 Q(x) 加权后:0.9×0.59 + 0.1×(-1.61) = 0.37 > 0。A 是 Q 的主场(权重 0.9),正贡献压过了 B 的负贡献。

为什么要用 log

1. 把"概率比"翻译成"比特差"。 信息论中符号 x 的最优码长为 −log⁡P(x)-\log P(x)(概率越小码长越长)。用 P 的编码传输 x 比用 Q 的编码多花的比特数为:

(−log⁡P(x))−(−log⁡Q(x))=log⁡Q(x)P(x)(-\log P(x))-(-\log Q(x))=\log\frac{Q(x)}{P(x)}

具体例子:Q={A:1/2, B:1/4, C:1/8, D:1/8},P 为均匀分布(每个 1/4,码长均为 2 bits):

符号 Q(x) P 的码长 Q 的码长 多花的比特 = log⁡2(Q/P)\log_2(Q/P)
A 1/2 2 1 +1
B 1/4 2 2 0
C 1/8 2 3 -1
D 1/8 2 3 -1

按 Q 的出现频率加权平均:12(1)+14(0)+18(−1)+18(−1)=0.25\frac{1}{2}(1)+\frac{1}{4}(0)+\frac{1}{8}(-1)+\frac{1}{8}(-1)=0.25 bits,即 DKL(Q∥P)=0.25D_{KL}(Q\|P)=0.25。物理意义:数据服从 Q 却用了 P 的编码,平均每个符号浪费 0.25 比特。

2. 把自回归的连乘变成连加。 这对 LLM 至关重要。式 (10) 的分解:

log⁡πθ(y∣x)πT(y∣x)=∑t=1Llog⁡πθ(yt∣st)πT(yt∣st)\log\frac{\pi_\theta(y\mid x)}{\pi_T(y\mid x)}=\sum_{t=1}^{L}\log\frac{\pi_\theta(y_t\mid s_t)}{\pi_T(y_t\mid s_t)}

sequence 概率是连乘,log 之后变成连加,sequence-level KL 才能精确分解到每个 prefix 上的 token-level KL。没有 log,OPD 的整个数学结构就不成立。

为什么整体一定非负:Jensen 不等式

虽然每一项 log⁡(Q/P)\log(Q/P) 可以为负,但加权求和后整体非负,由 Jensen 不等式严格保证。

log 是凹函数(图像向上拱),凹函数满足:函数的平均值 ≤ 平均值的函数值,即 E[f(X)]≤f(E[X])\mathbb{E}[f(X)]\leq f(\mathbb{E}[X])。

这两句话说的是两种不同的计算顺序:

说法 计算顺序 数学表达
函数的平均值 先把每个 X 代入函数 f,再对结果求平均 E[f(X)]\mathbb{E}[f(X)]
平均值的函数值 先把 X 求平均,再代入函数 f f(E[X])f(\mathbb{E}[X])

以 f(x)=log⁡xf(x)=\log x,XX 以 50% 概率取 1、50% 概率取 9 为例:

  • 平均值的函数值(先平均再 log):log⁡(1+92)=log⁡5≈1.61\log\left(\frac{1+9}{2}\right)=\log 5\approx1.61
  • 函数的平均值(先 log 再平均):log⁡1+log⁡92=0+2.202≈1.10\frac{\log 1+\log 9}{2}=\frac{0+2.20}{2}\approx1.10
  • 1.10≤1.611.10\leq1.61 ✓

几何上,凹函数的曲线始终在弦的上方:在均值 E[X]=5\mathbb{E}[X]=5 处,曲线上的点(先平均再函数)比弦上的点(先函数再平均)更高,两者的高度差就是 f(E[X])−E[f(X)]f(\mathbb{E}[X])-\mathbb{E}[f(X)]。

凹函数的 Jensen 不等式示意图

把 DKL(Q∥P)D_{KL}(Q\|P) 改写。原式为 Ex∼Q[log⁡(Q/P)]\mathbb{E}_{x\sim Q}[\log(Q/P)],利用 log⁡(a/b)=−log⁡(b/a)\log(a/b)=-\log(b/a) 改写为:

DKL(Q∥P)=−Ex∼Q[log⁡P(x)Q(x)]D_{KL}(Q\|P)=-\mathbb{E}_{x\sim Q}\left[\log\frac{P(x)}{Q(x)}\right]

改写的目的是让里面变成 log⁡(P/Q)\log(P/Q),从而可以令 X=P/QX=P/Q 后对 log⁡X\log X 直接用 Jensen。以下用具体例子 Q={A:0.9, B:0.1}Q=\{A:0.9,\ B:0.1\},P={A:0.5, B:0.5}P=\{A:0.5,\ B:0.5\} 逐步演示。

第一步:令 X=P(x)Q(x)X=\frac{P(x)}{Q(x)},X 是随机变量。 xx 服从 QQ 分布,所以 XX 的取值随 xx 变化:

x Q(x) X = P(x)/Q(x)
A 0.9 0.5/0.9 ≈ 0.556
B 0.1 0.5/0.1 = 5

即 XX 以 90% 概率取 0.556,以 10% 概率取 5。

第二步:为什么 E[X]=1\mathbb{E}[X]=1?

Ex∼Q[X]=∑xQ(x)⋅P(x)Q(x)\mathbb{E}_{x\sim Q}[X]=\sum_x Q(x)\cdot\frac{P(x)}{Q(x)}

分子的 Q(x)Q(x) 与分母的 Q(x)Q(x) 约掉,剩下 ∑xP(x)=1\sum_x P(x)=1。这一步不依赖 P、Q 的具体取值,只要两者都是合法概率分布就恒成立。数值验证:0.9×0.556+0.1×5=0.5+0.5=10.9\times0.556+0.1\times5=0.5+0.5=1。

E[X]=1\mathbb{E}[X]=1 的含义。 X=P(x)/Q(x)X=P(x)/Q(x) 是 P 和 Q 在每个 xx 处的概率比值,按 Q 的概率加权平均后恰好为 1。直觉上:Q 概率大的地方 XX 偏小(分母大),Q 概率小的地方 XX 偏大(分母小),加权平均后正好抵消——因为两者都是归一化的概率分布,总量都是 1。这不是巧合,是数学恒等式。

为什么要约掉 Q(x)Q(x)? Q(x)Q(x) 同时出现在期望的权重和 XX 的分母中,约掉后才能利用 P 是概率分布(总和为 1)这一性质。不约掉则无法直接看出期望等于多少。

Forward KL 和 Reverse KL 都成立吗?完整推导链如下。 注意第②步的负号是关键,DKL=−E[log⁡X]D_{KL}=-\mathbb{E}[\log X],不是 DKL=E[X]D_{KL}=\mathbb{E}[X]:

步骤 Reverse KL DKL(Q∥P)D_{KL}(Q\|P) Forward KL DKL(P∥Q)D_{KL}(P\|Q)
① 原式 ∑Q(x)log⁡Q(x)P(x)\sum Q(x)\log\frac{Q(x)}{P(x)} ∑P(x)log⁡P(x)Q(x)\sum P(x)\log\frac{P(x)}{Q(x)}
② 改写(翻分子分母,加负号) −∑Q(x)log⁡P(x)Q(x)=−Ex∼Q[log⁡X]-\sum Q(x)\log\frac{P(x)}{Q(x)}=-\mathbb{E}_{x\sim Q}[\log X] −∑P(x)log⁡Q(x)P(x)=−Ex∼P[log⁡Y]-\sum P(x)\log\frac{Q(x)}{P(x)}=-\mathbb{E}_{x\sim P}[\log Y]
③ 令随机变量 X=P(x)Q(x)X=\frac{P(x)}{Q(x)} Y=Q(x)P(x)Y=\frac{Q(x)}{P(x)}
④ 算期望(约掉) E[X]=∑Q(x)P(x)Q(x)=∑P(x)=1\mathbb{E}[X]=\sum Q(x)\frac{P(x)}{Q(x)}=\sum P(x)=1 E[Y]=∑P(x)Q(x)P(x)=∑Q(x)=1\mathbb{E}[Y]=\sum P(x)\frac{Q(x)}{P(x)}=\sum Q(x)=1
⑤ Jensen(log 是凹函数) E[log⁡X]≤log⁡(E[X])=log⁡1=0\mathbb{E}[\log X]\leq\log(\mathbb{E}[X])=\log 1=0 E[log⁡Y]≤log⁡(E[Y])=log⁡1=0\mathbb{E}[\log Y]\leq\log(\mathbb{E}[Y])=\log 1=0
⑥ 加负号得非负 DKL=−E[log⁡X]≥0D_{KL}=-\mathbb{E}[\log X]\geq 0 DKL=−E[log⁡Y]≥0D_{KL}=-\mathbb{E}[\log Y]\geq 0

关键规则:期望的权重分布 = 随机变量分母中的分布,才能约掉。 Reverse KL 权重是 Q、令 X=P/QX=P/Q(分母 Q),匹配;Forward KL 权重是 P、令 Y=Q/PY=Q/P(分母 P),匹配。若搞反(如 Reverse KL 中令 X=Q/PX=Q/P),则 ∑Q(x)⋅Q(x)/P(x)\sum Q(x)\cdot Q(x)/P(x) 不能约,也不等于 1。第④步的 E[X]=1\mathbb{E}[X]=1 只是中间量,最终通过第⑤步 Jensen 和第⑥步的负号才得到 DKL≥0D_{KL}\geq 0。

第三步:对 log⁡X\log X 用 Jensen。 log 是凹函数,满足 E[f(X)]≤f(E[X])\mathbb{E}[f(X)]\leq f(\mathbb{E}[X]),代入 f=log⁡f=\log:

E[log⁡X]≤log⁡(E[X])=log⁡1=0\mathbb{E}[\log X]\leq\log(\mathbb{E}[X])=\log 1=0

数值验证:E[log⁡X]=0.9×log⁡(0.556)+0.1×log⁡(5)=−0.368≤0\mathbb{E}[\log X]=0.9\times\log(0.556)+0.1\times\log(5)=-0.368\leq0。

第四步:加负号得到非负性。 因为 E[log⁡X]≤0\mathbb{E}[\log X]\leq0,两边乘 −1-1(不等号翻转):

DKL(Q∥P)=−E[log⁡X]≥0D_{KL}(Q\|P)=-\mathbb{E}[\log X]\geq 0

数值:−(−0.368)=0.368≥0-(-0.368)=0.368\geq0。

"负数项是局部节省"的含义。 回到原式 DKL=∑xQ(x)log⁡(Q/P)D_{KL}=\sum_x Q(x)\log(Q/P):

x Q(x) log(Q/P) Q(x)×log(Q/P) 含义
A 0.9 +0.588 +0.529 Q 在 A 上更集中,用 P 编码多花比特
B 0.1 -1.609 -0.161 Q 在 B 上更稀疏,用 P 编码反而省比特

B 项的负数就是"局部节省"——Q 概率小的地方,P 的编码反而更短。但 B 的权重仅 0.1,而 A 权重 0.9 且 Q(A)>P(A),正贡献压过负贡献,合计 0.529−0.161=0.368>00.529-0.161=0.368>0。Jensen 不等式从数学上保证:只要 P、Q 都是合法概率分布,正贡献必然压过负贡献,整体非负。

对比总结

Forward KL DKL(P∥Q)D_{KL}(P\|Q) Reverse KL DKL(Q∥P)D_{KL}(Q\|P)
加权方 目标分布 PP 近似分布 QQ
行为 Mode-Covering 模态覆盖 Mode-Seeking 模态寻找
QQ 的倾向 覆盖 PP 的所有区域 集中在 PP 的某个峰
风险 过度发散、平均化 模态丢失、多样性压缩
LLM 中的典型用途 SFT、off-policy KD、冷启动 OPD、on-policy 策略迁移

预备知识:自回归分解

(符号含义见文首速查表)

大语言模型是自回归的——一个 token 一个 token 依次生成,整句话的概率等于每个位置条件概率的连乘:

πθ(y∣x)=∏t=1Lπθ(yt∣st),st=(x,y<t)\pi_\theta(y\mid x)=\prod_{t=1}^{L}\pi_\theta(y_t\mid s_t),\qquad s_t=(x,y_{<t})

∏t=1L\prod_{t=1}^{L} 读作 "product from t equals 1 to L",表示从第 1 到第 LL 个 token 的连乘。

以生成 "我 爱 编 程" 为例:

P(我爱编程∣x)=P(我∣x)×P(爱∣x,我)×P(编∣x,我爱)×P(程∣x,我爱编)P(\text{我爱编程}\mid x)=P(\text{我}\mid x)\times P(\text{爱}\mid x,\text{我})\times P(\text{编}\mid x,\text{我爱})\times P(\text{程}\mid x,\text{我爱编})

teacher 同理。两个模型的序列概率比等于各 token 概率比的连乘:

πθ(y∣x)πT(y∣x)=∏t=1Lπθ(yt∣st)πT(yt∣st)\frac{\pi_\theta(y\mid x)}{\pi_T(y\mid x)}=\prod_{t=1}^{L}\frac{\pi_\theta(y_t\mid s_t)}{\pi_T(y_t\mid s_t)}

再利用 log⁡(a×b)=log⁡a+log⁡b\log(a\times b)=\log a+\log b,连乘就变成了连加:

log⁡πθ(y∣x)πT(y∣x)=∑t=1Llog⁡πθ(yt∣st)πT(yt∣st)\log\frac{\pi_\theta(y\mid x)}{\pi_T(y\mid x)}=\sum_{t=1}^{L}\log\frac{\pi_\theta(y_t\mid s_t)}{\pi_T(y_t\mid s_t)}

这个分解是 OPD 的数学根基:sequence-level KL 因此可以精确拆到每个 prefix 上的 token-level KL,不需要对指数级的序列空间求和,只需在 student 实际生成的轨迹上逐 token 计算概率比。

问题定义

设 prompt 来自数据分布 x∼Dx\sim\mathcal D。student policy 为 πθ\pi_\theta,固定 teacher policy 为 πT\pi_T。student 自回归生成 response:

y=(y1,…,yL)∼πθ(⋅∣x),πθ(y∣x)=∏t=1Lπθ(yt∣x,y<t).(1)y=(y_1,\ldots,y_L)\sim\pi_\theta(\cdot\mid x),\qquad \pi_\theta(y\mid x)=\prod_{t=1}^{L}\pi_\theta(y_t\mid x,y_{<t}).\tag{1}

第 tt 个 prefix state 为:

st=(x,y<t).(2)s_t=(x,y_{<t}).\tag{2}

在同一个 student-generated state 上,student 与 teacher 分别给出完整 next-token distribution:

pt(v)=πθ(v∣st),qt(v)=πT(v∣st),v∈V.(3)p_t(v)=\pi_\theta(v\mid s_t),\qquad q_t(v)=\pi_T(v\mid s_t),\qquad v\in\mathcal V.\tag{3}

“On-policy”只说明式(2)的 prefix 来自当前 student。teacher 不负责生成训练 trajectory,而是在 student 已经到达的状态上提供监督

SFT

**在固定轨迹分布上做最大似然。**给定固定 demonstration y∗y^*,SFT 最小化 negative log-likelihood:

LSFT(θ)=−E(x,y∗)∼DSFT[∑t=1∣y∗∣log⁡πθ(yt∗∣x,y<t∗)].(4)\mathcal L_{SFT}(\theta)=-\mathbb E_{(x,y^*)\sim\mathcal D_{SFT}}\left[\sum_{t=1}^{|y^*|}\log\pi_\theta(y_t^*\mid x,y_{<t}^*)\right].\tag{4}

式(4)它的监督很稠密,可以看作是对 one-hot empirical target 的 cross-entropy。但所有 prefix 都来自数据或 teacher:

st∼ddata or dT,not dπθ.(5)s_t\sim d_{data}\ \text{or}\ d_T,\qquad \text{not}\ d_{\pi_\theta}.\tag{5}

训练时 student 总是在正确 prefix 上预测下一个 token;推理时 prefix 却由 student 自己生成。若早期 token 出错,后续状态可能从未在训练中出现,误差会沿自回归过程累积。这是 SFT 的 exposure bias

SFT 的优势是:teacher 可以直接展示 student 当前几乎不可能采到的 token、知识与完整策略,因此比较适合冷启动和扩展 student 的初始策略

Outcome-Reward RL

**在 Student 轨迹上优化稀疏结果,**传统 RL 或 RLVR 直接最大化 student rollout 的任务 Reward:

JRL(θ)=Ex∼D, y∼πθ(⋅∣x)[R(x,y)].(6)J_{RL}(\theta)=\mathbb E_{x\sim\mathcal D,\,y\sim\pi_\theta(\cdot\mid x)}[R(x,y)].\tag{6}

Policy-gradient theorem 给出:

∇θJRL=E[∑t=1LA^t∇θlog⁡πθ(yt∣st)].(7)\nabla_\theta J_{RL}=\mathbb E\left[\sum_{t=1}^{L}\widehat A_t\nabla_\theta\log\pi_\theta(y_t\mid s_t)\right].\tag{7}

RL 的 prefix 与推理分布一致,因此没有式(5)的 teacher-forcing mismatch;外部 Reward 还允许 student 发现 teacher 没有展示过的策略。

困难在于:数学、代码等 RLVR 常只有 sequence-level 0/1 Reward。同一个 A^\widehat A 被分给上千个 token,无法直接指出错误从哪个 prefix 开始。全对或全错 group 还可能没有相对 Advantage,导致rollout 不产生梯度

OPD 的 Sequence-level Objective

现代 reasoning OPD 常把 student sequence distribution 与 teacher sequence distribution 的 reverse KL 作为目标:

LOPD(θ)=Ex∼D[DKL ⁣(πθ(⋅∣x)∥πT(⋅∣x))].(8)\mathcal L_{OPD}(\theta)=\mathbb E_{x\sim\mathcal D}\left[D_{KL}\!\left(\pi_\theta(\cdot\mid x)\Vert\pi_T(\cdot\mid x)\right)\right].\tag{8}

展开 KL 定义:

LOPD(θ)=Ex, y∼πθ[log⁡πθ(y∣x)πT(y∣x)].(9)\mathcal L_{OPD}(\theta)=\mathbb E_{x,\,y\sim\pi_\theta}\left[\log\frac{\pi_\theta(y\mid x)}{\pi_T(y\mid x)}\right].\tag{9}

利用自回归分解:

log⁡πθ(y∣x)πT(y∣x)=∑t=1Llog⁡πθ(yt∣st)πT(yt∣st).(10)\log\frac{\pi_\theta(y\mid x)}{\pi_T(y\mid x)}=\sum_{t=1}^{L}\log\frac{\pi_\theta(y_t\mid s_t)}{\pi_T(y_t\mid s_t)}.\tag{10}

式 (10) 即前文预备知识中自回归分解的结果:序列概率比的 log 等于各 token 概率比的 log 之和。

再对每个 prefix 上的 action 取条件期望:

Eyt∼pt[log⁡pt(yt)qt(yt)]=DKL(pt∥qt).(11)\mathbb E_{y_t\sim p_t}\left[\log\frac{p_t(y_t)}{q_t(y_t)}\right]=D_{KL}(p_t\Vert q_t).\tag{11}

因此 sequence reverse KL 可精确分解为 student trajectory 上的 conditional KL 之和:

LOPD(θ)=Ex, y∼πθ[∑t=1LDKL ⁣(πθ(⋅∣st)∥πT(⋅∣st))].(12)\mathcal L_{OPD}(\theta)=\mathbb E_{x,\,y\sim\pi_\theta}\left[\sum_{t=1}^{L}D_{KL}\!\left(\pi_\theta(\cdot\mid s_t)\Vert\pi_T(\cdot\mid s_t)\right)\right].\tag{12}

式(12)是 OPD 最核心的数学结构:trajectory distribution 来自 student,而每个访问状态上的局部目标由 teacher distribution 定义

式 (12) 的期望是 Ex,y∼πθ[⋯ ]\mathbb{E}_{x, y\sim\pi_\theta}[\cdots],即轨迹 y 是从 student 自己的策略 πθ\pi_\theta 采样出来的。这意味着"在哪些状态 /prefix 上计算损失" 这件事本身就受 θ\theta 影响—— 你改了参数,采样到的轨迹分布也会变

数学上,完整的梯度需要同时考虑:

  • 损失函数本身对 θ\theta 的导数(直接项)
  • 采样分布 dπθd_{\pi_\theta} 随 θ\theta 变化带来的导数(分布依赖项)

实际的时候会使用semi-gradient 近似

  • 先用当前策略 rollout 出一批 prefix,把这些 prefix 当作固定样本
  • 只在这些固定 prefix 上对 conditional KL 做反向传播
  • 不把梯度回传到离散采样过程

这就是 semi-gradient—— 只对目标函数的 "直接部分" 求导,忽略状态分布随参数变化的间接影响。这和强化学习里 Q-learning 的 semi-gradient 是同一个思路:把采样到的状态当作固定的,只对价值函数的参数求导

Teacher 作为稠密隐式 Reward

定义逐 token teacher signal:

rT(st,at)=log⁡πT(at∣st)−log⁡πθ(at∣st).(13)r_T(s_t,a_t)=\log\pi_T(a_t\mid s_t)-\log\pi_\theta(a_t\mid s_t).\tag{13}

在 student action distribution 下取期望:

Eat∼πθ[rT(st,at)]=−DKL ⁣(πθ(⋅∣st)∥πT(⋅∣st)).(14)\mathbb E_{a_t\sim\pi_\theta}[r_T(s_t,a_t)]=-D_{KL}\!\left(\pi_\theta(\cdot\mid s_t)\Vert\pi_T(\cdot\mid s_t)\right).\tag{14}

所以最大化式(13)的期望等价于最小化局部 reverse KL。与普通 Reward 不同,rTr_T 依赖当前 student policy;它不是环境给出的固定结果,而是 teacher 定义的局部行为目标

Full-vocabulary、Sampled-token 与 Top-K OPD

Full-vocabulary OPD

在每个 prefix 上直接计算:

ℓtfull=∑v∈Vpt(v)log⁡pt(v)qt(v).(15)\ell_t^{full}=\sum_{v\in\mathcal V}p_t(v)\log\frac{p_t(v)}{q_t(v)}.\tag{15}

它直接比较完整 next-token distribution,监督最稠密;但保存 student/teacher vocabulary logits 的内存和通信成本约为 O(BL∣V∣)O(BL|\mathcal V|),BB代表batch_size,LL代表序列长度,∣V∣|\mathcal V|为词表大小

Sampled-token OPD

若只查询 student 实际采到的 token,定义:

ℓ^t=log⁡pt(yt)−log⁡qt(yt),yt∼pt.(16)\widehat\ell_t=\log p_t(y_t)-\log q_t(y_t),\qquad y_t\sim p_t.\tag{16}

根据式(11):

Eyt∼pt[ℓ^t]=DKL(pt∥qt).(17)\mathbb E_{y_t\sim p_t}[\widehat\ell_t]=D_{KL}(p_t\Vert q_t).\tag{17}

所以式(16)是局部 conditional KL 数值的无偏单样本估计,同时方差较大。工程中常把负的 logprob gap 视为 stop-gradient Advantage:

A^tOPD=sg⁡ ⁣[log⁡qt(yt)−log⁡pt(yt)],(18)\widehat A_t^{OPD}=\operatorname{sg}\!\left[\log q_t(y_t)-\log p_t(y_t)\right],\tag{18}

Jsampled(θ)=E[∑tA^tOPDlog⁡πθ(yt∣st)].(19)J_{sampled}(\theta)=\mathbb E\left[\sum_t\widehat A_t^{OPD}\log\pi_\theta(y_t\mid s_t)\right].\tag{19}

需要区分“KL 数值的无偏估计”和“完整 sequence objective 的精确梯度”。式(19)还常只使用当前的 token signal,而不把未来 teacher signal 归因给更早 action。因此它是更低成本的 sampled semi-gradient,不能解释成对式(8)全部 state-distribution derivative 的精确求导。

Top-K OPD

Top-K OPD 只保留 student 或师生联合高概率候选集合 StS_t,在归一化后的子分布上计算 KL:

pˉt(v)=pt(v)1[v∈St]∑u∈Stpt(u),qˉt(v)=qt(v)1[v∈St]∑u∈Stqt(u).(20)\bar p_t(v)=\frac{p_t(v)\mathbf 1[v\in S_t]}{\sum_{u\in S_t}p_t(u)},\qquad \bar q_t(v)=\frac{q_t(v)\mathbf 1[v\in S_t]}{\sum_{u\in S_t}q_t(u)}.\tag{20}

ℓttopk=DKL(pˉt∥qˉt).(21)\ell_t^{topk}=D_{KL}(\bar p_t\Vert\bar q_t).\tag{21}

它在 sampled-token 与 full-vocabulary 之间折中,但会丢失集合外的概率密度信息。teacher 与 student 的 top-K overlap 也通常是判断 OPD 是否可学的重要指标。

OPD 与 SFT 和 Outcome-Reward RL对比

为什么 OPD 相比 SFT 更有效

训练状态分布从 Teacher 变为 Student

SFT 的局部损失在固定状态分布上取期望:

LSFT=Es∼ddata[ℓ(πθ;s)].(22)\mathcal L_{SFT}=\mathbb E_{s\sim d_{data}}[\ell(\pi_\theta;s)].\tag{22}

OPD 则在当前 student occupancy 上取期望:

LOPD=Es∼dπθ[D(πθ(⋅∣s),πT(⋅∣s))].(23)\mathcal L_{OPD}=\mathbb E_{s\sim d_{\pi_\theta}}\left[D(\pi_\theta(\cdot\mid s),\pi_T(\cdot\mid s))\right].\tag{23}

式(23)把监督预算集中在 student 真正会到达的 prefix,包括 teacher demonstration 中没有出现过的错误 prefix。随着 student 更新,dπθd_{\pi_\theta} 也同步刷新。

OPD 不能完全替代 SFT

Reverse-KL OPD 只能在 student 已经能够访问的高概率区域中有效塑形。若关键策略在 student 下的概率近似为零,student 几乎不会生成对应状态,teacher signal 也难以把它从零召回。常见两阶段结构是:

teacher-generated SFT / off-policy KD ⟶ OPD.(24)\text{teacher-generated SFT / off-policy KD}\ \longrightarrow\ \text{OPD}.\tag{24}

第一阶段把新知识与新轨迹放入 student support;第二阶段在 student 自己的状态分布上修正 exposure bias。

先看一下 state coverage 与 action support。 对一般discount MDP,student 的未归一化状态访问分布为:

dπθ(s)=∑t=0∞γtPr⁡(st=s∣πθ),Sθ=supp⁡(dπθ)={s∣dπθ(s)>0}d^{\pi_\theta}(s)=\sum_{t=0}^{\infty}\gamma^t\Pr(s_t=s\mid\pi_\theta),\qquad \mathcal S_\theta=\operatorname{supp}(d^{\pi_\theta})=\{s\mid d^{\pi_\theta}(s)>0\}

Sθ\mathcal S_\theta 描述 student 能访问哪些状态。对每个已访问状态,action support 另行定义为:

Aθ(s)=supp⁡(πθ(⋅∣s)),Xθ={(s,a)∣s∈Sθ, a∈Aθ(s)}\mathcal A_\theta(s)=\operatorname{supp}(\pi_\theta(\cdot\mid s)),\qquad \mathcal X_\theta=\{(s,a)\mid s\in\mathcal S_\theta,\ a\in\mathcal A_\theta(s)\}

扩大 Sθ\mathcal S_\theta 表示 rollout 到达了更多 prefix;扩大 Aθ(s)\mathcal A_\theta(s) 则表示在某个给定 prefix 上,更多 action 获得了可被采样的概率。两者位于不同层次:student 可以仅依靠原本已有的高概率 token 组合访问更多 prefix,却不让任何固定 prefix 上的候选 token 集合变大。新的 state–action pair 也可能只是来自新增状态,而不是原状态下新增 action。

在 LLM 中,state 就是 prefix st=(x,y<t)s_t=(x,y_{<t})。On-policy rollout 会把 teacher 带到 student 实际产生的正确或错误 prefix,因此改善的是 state-side exposure bias;但 sampled-token OPD 的 action 仍满足 at∼πθ(⋅∣st)a_t\sim\pi_\theta(\cdot\mid s_t)。如果 teacher 偏好的 token 在该 prefix 下几乎不会被 student 采到,teacher 就很少有机会通过这个 token 提供直接监督。

Reverse KL 为什么难以从零“召回”动作。 固定一个已访问状态,记 p(a)=πθ(a∣s)p(a)=\pi_\theta(a\mid s)、q(a)=πT(a∣s)q(a)=\pi_T(a\mid s)。Reverse KL 为:

DKL(p∥q)=∑ap(a)log⁡p(a)q(a)D_{KL}(p\Vert q)=\sum_a p(a)\log\frac{p(a)}{q(a)}

当 teacher 固定,且 q(a)>0q(a)>0 覆盖 student support 时,正确的参数梯度是:

∇θDKL(p∥q)=Ea∼p[(log⁡p(a)−log⁡q(a))∇θlog⁡p(a)]\nabla_\theta D_{KL}(p\Vert q)=\mathbb E_{a\sim p}\left[\left(\log p(a)-\log q(a)\right)\nabla_\theta\log p(a)\right]

上式没有单独的 ∇θlog⁡q(a)\nabla_\theta\log q(a),因为 teacher 参数不随 θ\theta 更新。若 student logits 为 zz 且 p=softmax⁡(z)p=\operatorname{softmax}(z),对候选 token bb 还可以写成:

∂DKL(p∥q)∂zb=p(b)(log⁡p(b)q(b)−DKL(p∥q))\frac{\partial D_{KL}(p\Vert q)}{\partial z_b}=p(b)\left(\log\frac{p(b)}{q(b)}-D_{KL}(p\Vert q)\right)

显式包含因子 p(b)p(b):在严格截断或 mask 后若 p(b)=0p(b)=0,该动作没有直接梯度;若 p(b)p(b) 极小,梯度与在有限 rollout 中被采到的概率也都极小。普通 softmax 在精确实数下通常对整个词表给出正概率,概率小到在有限 group、top-p/top-k 截断或有限精度下近似不可见。

Full-vocabulary reverse-KL OPD 能消除 sampled-token Monte Carlo 的漏采和方差,并通过 softmax coupling 同时改变多个 logits;但DKL(p∥q)D_{KL}(p\Vert q)仍由 student 概率 p(a)p(a) 加权,因此几何上仍是 mode-seeking,不能等同于 action support expansion。

相比之下,forward KL 为:

DKL(q∥p)=∑aq(a)log⁡q(a)p(a),∇θDKL(q∥p)=−Ea∼q[∇θlog⁡p(a)]D_{KL}(q\Vert p)=\sum_a q(a)\log\frac{q(a)}{p(a)},\qquad \nabla_\theta D_{KL}(q\Vert p)=-\mathbb E_{a\sim q}\left[\nabla_\theta\log p(a)\right]

由 teacher 概率 q(a)q(a) 加权:只要 teacher 认为某动作重要,它就能直接推动 student 提高该动作概率,即使 student 很少自行采到它。Teacher-generated SFT、off-policy KD 与 full-vocabulary forward KL 都具有这种 mode-covering 作用

因此更准确的分工是:SFT 或 off-policy KD 先把 teacher 的关键 action 和 trajectory 放入 student 的有效 support;OPD 再沿 student 自己访问的状态持续纠偏。前者主要解决“student 根本不会走这一步”,后者主要解决“student 真走到这里以后如何避免继续犯错”

为什么 OPD 相比 Outcome-Reward RL 更高效

监督密度不同

终局 RL 对一条 trajectory 通常只有一个结果信号:

y1:L ⟼ R(x,y).(25)y_{1:L}\ \longmapsto\ R(x,y).\tag{25}

OPD 对每个访问状态都可以给出局部 teacher signal:

(s1,y1),…,(sL,yL) ⟼ rT(s1,y1),…,rT(sL,yL).(26)(s_1,y_1),\ldots,(s_L,y_L)\ \longmapsto\ r_T(s_1,y_1),\ldots,r_T(s_L,y_L).\tag{26}

这使错误 response 也能产生大量训练信息,并显著降低“整条答案错了,但不知道从哪里开始错”的 credit-assignment 难度。

OPD 与 RL 优化的目标不同

RL 的方向由外部reward RR 定义;只要 verifier 可信,student 可以发现 teacher 从未展示过的策略。OPD 的方向由 teacher distribution 定义,主要任务是迁移和恢复 teacher 已具备的行为。

因此 OPD 训练更高效并不意味着它在能力发现上支配 RL。更准确的分工是:

RL: search and discoverOPD: transfer and amortize.(27)\text{RL: search and discover}\qquad \text{OPD: transfer and amortize}.\tag{27}

Qwen3 在同一 off-policy distilled 8B 初始化上报告:RL 使用约 17,920 GPU hours,OPD 使用约 1,800 GPU hours;其 OPD 在对应数学与代码评测上也更高。这是在特定 teacher、数据和任务下的结果,不是所有任务都能有固定十倍提升的定律。

OPD 的应用

应用方向 Teacher 与监督信号 价值与适用条件
Strong-to-Weak Distillation 大 teacher 在小 student 的自生成 prefix 上提供 logits 把 reasoning、instruction following 或模式切换能力迁移到低成本模型;Qwen3 对多种 Dense 和 MoE lightweight models 使用“off-policy distillation 冷启动 + OPD”的两阶段结构
数学、代码与长链推理 teacher 在错误推理轨迹的早期分叉点提供局部信号 减少终局 0/1 Reward 的 credit-assignment 稀疏性;适合有强 reasoning teacher、但 verifier 稀疏或 RL rollout 昂贵的场景
通用序列任务与 Instruction Tuning GKD 式的 student-state distillation 已在摘要、机器翻译、算术推理和 FLAN instruction tuning 中验证,说明 OPD 的核心价值并不限于 RLVR
个性化与持续学习 用更新前 checkpoint 作为 teacher,在当前模型轨迹上恢复行为
Learn new knowledge -> opd restore behavior -> conitinue learning
模型学习企业知识或领域语料后,可能遗忘 instruction following、语气、格式、工具调用与预算行为,OPD 用于把这些行为恢复回来
摊销昂贵 RL 策略 高成本 RL 搜索出的最终 policy 作为 teacher 把强策略迁移给原始模型、小模型或多个部署版本;部署模型不需要重复经历完整 RL curriculum
On-Policy Self-Distillation teacher 与 student 共享参数,通过正确答案、reference solution、hint 等 privileged context 打破对称(式 29) 不部署独立大 teacher 也能获得稠密监督πS(⋅∣x)=πθ(⋅∣x),πT(⋅∣x,y∗)=πθ(⋅∣x,y∗)\pi_S(\cdot\mid x)=\pi_\theta(\cdot\mid x),\qquad \pi_T(\cdot\mid x,y^*)=\pi_\theta(\cdot\mid x,y^*)
其中 y∗y^* 可以是正确答案、reference solution、hint 或其他 privileged context。teacher 在 student rollout 上解释和利用这些信息,从而在不部署独立大 teacher 的情况下提供稠密监督。
OPD 与 RL 联合 teacher KL 作为主要监督的一部分,与 verifier reward 联合优化J(θ)=Ey∼πθ[R(x,y)]−α Es∼dπθ[D ⁣(πθ(⋅∣s),πT(⋅∣s))]J(\theta)=\mathbb E_{y\sim\pi_\theta}[R(x,y)]-\alpha\,\mathbb E_{s\sim d_{\pi_\theta}}\left[D\!\left(\pi_\theta(\cdot\mid s),\pi_T(\cdot\mid s)\right)\right] 适用于 teacher 是有用但不完美的行为先验、verifier 才是最终目标的场景:RL 提供超越或纠正 teacher 的通道,OPD 提供 dense shaping 与行为保持;不应与只用于防漂移的弱 reference regularization 混为一谈

应用场景详解:Teacher 不一定是更大的模型

OPD 的核心是"在 student 自己的状态分布上,用一个 teacher 分布提供稠密监督"。teacher 不一定是更大的模型,只要能提供比最终 Reward 更稠密的信号即可。以下是除强到弱蒸馏之外的典型用法:

1. 持续学习:防止灾难性遗忘。 用更新前的 checkpoint 作为 teacher,在当前模型学习新知识后,用 OPD 把旧行为恢复回来。典型场景是模型学了企业知识库或领域语料后,遗忘了 instruction following、语气、格式、工具调用与预算行为。流程为 Learn new knowledge → OPD restore behavior → continue learning。这里 teacher 不是"更强"的模型,而是"更守规矩"的旧版本,OPD 在当前模型的轨迹上逐 token 拉回旧行为,比简单混合旧数据重训更精准。

2. On-Policy Self-Distillation:不需要独立大 teacher。 teacher 和 student 共享同一套参数,通过 privileged context 打破对称:πS(⋅∣x)=πθ(⋅∣x)\pi_S(\cdot\mid x)=\pi_\theta(\cdot\mid x),πT(⋅∣x,y∗)=πθ(⋅∣x,y∗)\pi_T(\cdot\mid x,y^*)=\pi_\theta(\cdot\mid x,y^*),其中 y∗y^* 可以是正确答案、reference solution、hint 等。teacher 在 student rollout 过程中"看到"正确答案从而提供更优的 next-token 分布,student 看不到答案只能靠自己推理。这样不部署独立大 teacher 也能获得稠密监督。

3. 摊销昂贵 RL 策略。 RL 训练(尤其是长链推理的 RLVR)成本极高,把 RL 搜索出的最终强策略作为 teacher,用 OPD 快速迁移给更小的部署模型、同一模型的多个版本或量化版本。部署模型不需要重复经历完整 RL curriculum。Qwen3 报告 RL 使用约 17,920 GPU hours,OPD 仅使用约 1,800 GPU hours。

4. OPD 与 RL 联合训练。 OPD 不替代 RL,而是互补:RL 提供外部 verifier Reward,负责搜索和发现 teacher 不会的新解法;OPD 提供稠密 shaping 和行为保持,防止 RL 把模型训崩(输出重复、格式崩坏)。适用于 teacher 有用但不完美、verifier 才是最终目标的场景。注意这和"弱 reference regularization"不同——这里 teacher KL 是主要监督的一部分,不是仅仅防漂移。

5. 通用序列任务,不限于推理。 OPD 的价值不限于数学/代码 RLVR,已在摘要、机器翻译、算术推理和 FLAN instruction tuning 中验证。任何有强 teacher、但终局 Reward 稀疏或 rollout 昂贵的场景都适用。

核心洞察:teacher 不一定是"更大的模型",它可以是旧版本、带答案的自己、RL 训出的策略——只要能在 student 的状态上提供稠密信号,OPD 就适用。

用法 teacher 是谁 解决什么问题
强到弱蒸馏 更大的模型 能力迁移、降本部署
持续学习 更新前的 checkpoint 防止灾难性遗忘
Self-Distillation 同一模型 + privileged context 不需要独立大 teacher
摊销 RL RL 训出的强策略 避免重复昂贵 RL
OPD+RL 联合 有用但不完美的 teacher 稠密 shaping + 外部探索
通用任务 任意强 teacher 替代稀疏终局 Reward

局限

失效条件机制备注
强 Teacher 不等于有效 TeacherOPD 是否有效主要取决于三个条件:
  • teacher 与 student 的 thinking pattern 是否相容
  • 两者在 student-visited prefix 上的高概率 token support 是否重叠
  • teacher 是否拥有 student 尚未掌握的新知识或策略
更大的 teacher 可能因为局部分布与 student 不重叠而提供近似平坦、难以利用的梯度;思维模式更接近的较小 teacher 反而可能更有效
长轨迹中的 Teacher 反馈会退化student prefix 越深,越可能偏离 teacher 自然生成的状态。teacher 从深层 student prefix 继续生成时的正确率优势会下降,过长 response 还可能出现 suffix entropy 与 gradient spike,再向前传播OPD 修复的是 student 的 train–test state mismatch,不保证 teacher 对任意 off-manifold student state (轨迹越长,student 自己生成的 prefix 越可能偏离 teacher 的自然分布)都可靠
Reverse KL 的单峰化teacher 高熵或存在多条合理路径时,reverse KL 的 mode-seeking 会压缩 student 多样性需要同时监控 pass@1、pass@K、top-1/top-K probability mass 和 token entropy,而不能只看 teacher KL 是否下降
计算与系统成本每轮 OPD 至少包含 student rollout、teacher forward 和 student backward。Full-vocabulary KL 还需要处理词表级 logits大 teacher、MoE、长 context 和跨 tokenizer 会增加显存、通信与调度成本
纯 OPD 不保证超越 Teacher纯 distribution matching 的固定点是 student 在访问状态上逼近 teacher,它没有可靠环境 Reward 所提供的外部改进标准若目标是发现 teacher 不会的新解法,仍需搜索、RL、verifier 或更强 privileged information

结论

OPD 最准确的定位不是“在线版 SFT”,也不是“更便宜的 RL”,而是在 student 自身状态分布上进行的稠密策略迁移。

三类方法的分工可以概括为:

SFT establishes support ⟶ OPD transfers densely ⟶ RL explores against the real objective\boxed{\text{SFT establishes support}\ \longrightarrow\ \text{OPD transfers densely}\ \longrightarrow\ \text{RL explores against the real objective}}

SFT 让 student 看见原本不会生成的知识和轨迹;OPD 在 student 真正会遇到的 prefix 上逐 token 迁移 teacher;RL 依据外部 Reward 搜索 teacher 之外的改进。实际后训练系统通常需要三者组合,而不是寻找一个统一替代品。

参考文献

  1. On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes
  2. Qwen3 Technical Report
  3. On-Policy Distillation
  4. Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models
  5. Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe
  6. Entropy-Aware On-Policy Distillation of Language Models