从交叉熵
到偏好学习

一个答案应该获得多少概率,一对答案应该怎样排序:沿着同一条损失函数,看懂 Bradley–Terry、奖励模型与 DPO。

在普通分类里,我们告诉模型“正确类别是 A”;在偏好学习里,我们告诉模型“同一问题的两个答案,A 比 B 更好”。两种任务的监督对象不同,却都可以归结为一件事:让预测概率更好地解释观察到的标签。

Bradley–Terry 提供了从两个答案的分数到偏好概率的关系。在这个概率上计算交叉熵,就得到常说的 Bradley–Terry loss。下面先从最简单的“给正确结果多少概率”开始。

1 给正确结果的概率越小,代价越大

假设已经观察到结果 A。模型预测 A 的概率是 p,用负对数似然衡量这次预测:

ℓ=−logp

如果模型给 A 的概率是 0.9,损失约为 0.105;只给 0.1,损失约为 2.303。预测越不相信实际发生的结果,付出的代价越大。这里使用自然对数,损失单位为 nat。

一次观察的代价
01234500.250.50.751损失 / nat模型预测 P(A)

给实际结果的概率

0.700

负对数似然

0.357

观察到 A,损失取 −log P(A)。

图 1 · 拖动概率,或将观察结果切换为 B。标签决定取哪条曲线;横轴始终是模型预测的 P(A)。曲线按公式计算。

取对数也让多个样本更容易合并。将样本的联合似然写成各项概率的乘积,再取负对数,乘积就变成了求和:

−1Nlog∏i=1Npθ(yi∣xi)=−1N∑i=1Nlogpθ(yi∣xi)

N 是样本数,xi 是输入,yi 是观察到的标签。最小化这个平均损失,就是最大化训练标签的似然。

2 交叉熵:按目标分布计算平均代价

把视野从“一次观察”扩大到“一组可能结果”。设目标分布是 q=(q1,…,qK),模型预测是 p=(p1,…,pK)。交叉熵(cross-entropy)就是按目标分布,对每种结果的负对数概率加权:

H(q,p)=−∑k=1Kqklogpk

如果一条样本的正确类别是第 c 类,标签采用 one-hot 表示:qc=1,其余为 0。求和中只有一项保留下来,于是又回到了 −logpc。[1]

类别目标 q预测 p对损失的贡献
A10.70−log 0.70 ≈ 0.357
B00.200
C00.100

模型通常先输出一组未经归一化的实数 zk,称为 logits,再经过 softmax 得到概率:

pk=ezk∑jezj

虽然 one-hot 标签只留下正确类别的对数概率,这个概率的分母仍包含所有类别。提高错误类别的 logit,也会改变正确类别的概率。

交叉熵还可以拆成两部分:

H(q,p)=H(q)+DKL(q‖p)

H(q)=−∑kqklogqk 是目标分布自身的熵;DKL(q‖p)=∑kqklog(qk/pk) 衡量预测与目标的差异。目标固定时,最小化交叉熵与最小化这个方向的 KL 散度等价。one-hot 目标的熵为 0;存在真实分歧的软标签,目标熵一般大于 0。

3 二分类:两个 logits 可以化成一个分数差

现在只剩 A、B 两类。用 t=1 表示标签为 A,t=0 表示标签为 B。若预测 A 的概率是 p,B 的概率就是 1−p:

ℓBCE=−tlogp−(1−t)log(1−p)

这就是二分类交叉熵。当标签为 A,保留第一项;标签为 B,保留第二项。[2]

如果 A、B 的 logits 分别是 zA,zB,二类 softmax 可以直接改写:

pA=ezAezA+ezB=11+e−(zA−zB)=σ(zA−zB)

这里 σ(u)=1/(1+e−u)。两个 logits 的 softmax,等价于对它们的差做 sigmoid。这一步正是从普通分类走向成对偏好学习的连接。

4 Bradley–Terry:把答案比较变成二分类

回到月相问题。答案 A 用太阳照射和观测角度解释月相;答案 B 将月相解释成地球阴影。标注者更偏好 A。训练数据提供的是“谁更好”,而不是两个答案的绝对分数。

同一个奖励模型 rθ 分别读取“问题 + A”和“问题 + B”,输出 rA,rB。Bradley–Terry 模型用它们的差预测偏好:

Pθ(A≻B∣x)=erθ(x,A)erθ(x,A)+erθ(x,B)=σ(Δ),Δ=rA−rB

这个等式定义了一种偏好模型:同一问题下,分数较高的答案更可能被选中。将预测概率与比较标签放进 BCE,就得到了偏好训练的损失。[3, §3]

静态图同一奖励模型分别给两个答案打分,以分数差预测偏好,再与比较标签计算交叉熵。
图 2 · 两次评分共享参数 θ。偏好标签进入损失函数,梯度再传回这套参数;标签本身不提供目标奖励分数。

如果将每对数据排成“优选答案 yw、非优选答案 yl”的顺序,比较标签始终为 1。于是:

LBT=−E(x,yw,yl)~D[logσ(rθ(x,yw)−rθ(x,yl))]

D 是偏好数据集。对一对答案而言,损失等价于 softplus(−Δ)=log(1+e−Δ)。因此,常说的 BT loss,就是以奖励分数差为 logit 的二分类交叉熵。InstructGPT 用这种目标训练偏好奖励模型。[4, §3.5]

两个分数,一次比较
优选答案 A−0.50
与
非优选答案 B0.50

偏好概率 · σ(Δ)

00.51-6-3036P(A ≻ B)分数差 Δ

损失 · −log σ(Δ)

0246-6-3036损失 / nat分数差 Δ
P(A ≻ B)26.9%
BT loss1.313
∂ℓ / ∂Δ−0.731

模型把 A 排在 B 后面,梯度会推动分数差增大。

二类 softmax + 交叉熵
1.3133
分数差 sigmoid + BCE
1.3133
−logsigmoid · BT
1.3133
图 3 · 标签固定为 A ≻ B。分数设为 rA = c + Δ/2、rB = c − Δ/2。改变共同平移只移动评分零点,概率、损失和梯度都不变。

这里的分数没有固定的百分制含义。给同一问题下两个答案同时加上一个常数,分数差不变;但将两个分数乘以同一个正数,会放大或缩小分数差,进而改变偏好置信度。预测“更可能被偏好”,也不等于预测“答案完全正确”。

5 梯度:预测与标签的差,决定纠正力度

将 BCE 写成 logit Δ 的函数,求导后得到一个简洁的结果:

∂ℓ∂Δ=σ(Δ)−t=p−t

固定 A 为优选答案时 t=1。如果 Δ=−1,模型预测 A 被选中的概率约为 0.269,梯度就是 −0.731。梯度下降沿相反方向更新,会推动分数差增大。

静态图以分数差负一为例,预测减标签得到负梯度,在分数层面提高优选答案、降低非优选答案的相对分数。
图 4 · 梯度表达的是局部纠正方向。实际模型更新共享参数 θ,单个答案的分数还会受其他样本与参数耦合影响。
把 Δ 当作一个独立参数

固定标签 t = 1,学习率 η = 0.5。每次按 Δ←Δ−0.5[σ(Δ)−1] 更新。

更新次数0
分数差 Δ−1.000
损失1.313

从排反的一对答案开始。

上面的按钮演示一个独立标量的优化。真实奖励模型的梯度则是:

∇θℓ=(p−t)[∇θrθ(x,A)−∇θrθ(x,B)]

排反且自信的比较,给出较大的纠正信号;已经明显排对的比较,信号较小。多分类 softmax 交叉熵也有对应关系 ∂ℓ/∂zk=pk−qk:预测与目标之差,是这类损失共同的梯度结构。

6 有分歧时,损失不必降到零

假设同一对答案被比较 100 次,80 次选 A、20 次选 B。此时经验目标是 q=0.8,平均损失为:

ℓq=−qlogp−(1−q)log(1−p)

最优预测是 p=q=0.8,对应分数差 Δ*=log[q/(1−q)]=log4≈1.386。最小损失约 0.5004,正好等于这个目标的熵;此时 KL 散度为 0。

有分歧的标注
0246-6-3036平均损失 / nat模型分数差 Δ

模型预测 P(A ≻ B)

50.0%

最优分数差 Δ*

1.386

模型比标注分布更犹豫,最优预测应是 80%。

交叉熵 H(q,p)0.6931
=
目标熵 H(q)0.5004
+
KL(q ∥ p)0.1927
图 5 · 调整标注比例与模型分数差,观察交叉熵的分解。空心点标出曲线的最小值,实心点表示当前预测。这里展示的是构造的概率算例。

因此,“一直把分数差拉大”只适用于同向偏好且没有其他约束的情形。对于有分歧的标注,过度自信会抬高另一部分观测的损失。如果一个模型面对的所有比较都能被完全分开,又没有正则化等约束,某些分数差才可能持续增大,使损失逼近零。

7 同样的交叉熵,在训练谁?

损失外形相似,不代表训练任务相同。关键要看三个对象:预测什么、标签是什么、更新哪套参数。

静态图SFT、BT奖励模型和DPO对照:预测对象和更新参数不同,但都可用交叉熵表达。
图 6 · SFT 监督下一个 token;BT-RM 监督整对答案的偏好;DPO 用策略与参考模型的对数概率比构造偏好 logit,直接更新策略模型。

SFT 读取问题与示范答案的已有前缀,预测下一个 token。每个受监督的位置都有一个真实 token 标签:

LSFT=−∑j∈Mlogπθ(yj∣x,y<j)

M 是参与训练的位置集合;实际实现还会按选定的 token 或序列口径归一化。这里的分类空间是词表。

偏好奖励模型 RM 输入一份完整回答,输出一个标量。训练时比较两个标量,学习相对偏好;在常见的 PPO-RLHF 中,训练好的 RM 再给策略生成的回答提供奖励。Critic 则预测从当前状态继续生成的预期回报,通常拟合回报目标;它与偏好 RM 的监督任务不同。[4]

DPO 将奖励重参数化为策略相对于参考模型的对数概率比。同一问题下仅依赖问题的加项,在两个答案相减时消去。定义:

r^θ(x,y)=βlogπθ(y∣x)πref(y∣x)
LDPO=−Elogσ[r^θ(x,yw)−r^θ(x,yl)]

πθ 是被训练的语言模型,πref 是固定参考模型,β>0 控制相应的正则化权衡。这里使用的是完整答案的条件对数概率,通常由各 token 的对数概率求和。标准 DPO 直接更新生成模型,不需要单独训练一个显式 RM 或进行 PPO 采样循环。[3, §4]

交叉熵是一种对预测概率的训练准则;Bradley–Terry 是一种从评分到偏好概率的模型。把两者连起来,才得到偏好奖励模型常用的训练目标。

8 在代码里,保留 logits 更稳定

实现时,直接把未经 sigmoid 的分数差交给 BCEWithLogitsLoss,或使用 logsigmoid。这些形式能避免先算出接近 0 的概率、再取对数造成的数值问题。[2]

import torch
import torch.nn.functional as F

# reward_model 是同一个网络,分别输出每个答案的标量分数。
r_chosen = reward_model(prompt, chosen)      # [batch]
r_rejected = reward_model(prompt, rejected)  # [batch]
delta = r_chosen - r_rejected

# 三种等价写法:标签为 chosen 胜出,未额外加权或正则化。
loss = -F.logsigmoid(delta).mean()
loss = F.softplus(-delta).mean()
loss = F.binary_cross_entropy_with_logits(
    delta, torch.ones_like(delta)
)

loss.backward()

如果输入顺序固定为 A、B,标签里既有 0 也有 1,就使用真实的比较标签 target。若用多类 CrossEntropyLoss,则传入原始 logits 与类别索引,函数内部完成 log-softmax;不要提前再做一次 softmax。

理解这条关系后,读到 −logσ(rw−rl) 就可以按顺序解开:两个分数形成差,分数差形成偏好概率,交叉熵衡量这个概率是否符合比较标签。

参考资料

  1. PyTorch · CrossEntropyLoss。类别索引、概率标签与 log-softmax 的接口定义。
  2. PyTorch · BCEWithLogitsLoss。二分类交叉熵与稳定计算。
  3. Rafailov et al. Direct Preference Optimization: Your Language Model is Secretly a Reward Model,§3–4,公式 1、2、5、7。
  4. Ouyang et al. Training language models to follow instructions with human feedback,§3.5,奖励模型与强化学习。
  5. Bradley & Terry (1952). Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons。