从交叉熵
到偏好学习
一个答案应该获得多少概率,一对答案应该怎样排序:沿着同一条损失函数,看懂 Bradley–Terry、奖励模型与 DPO。
在普通分类里,我们告诉模型“正确类别是 A”;在偏好学习里,我们告诉模型“同一问题的两个答案,A 比 B 更好”。两种任务的监督对象不同,却都可以归结为一件事:让预测概率更好地解释观察到的标签。
Bradley–Terry 提供了从两个答案的分数到偏好概率的关系。在这个概率上计算交叉熵,就得到常说的 Bradley–Terry loss。下面先从最简单的“给正确结果多少概率”开始。
1 给正确结果的概率越小,代价越大
假设已经观察到结果 A。模型预测 A 的概率是 ,用负对数似然衡量这次预测:
如果模型给 A 的概率是 0.9,损失约为 0.105;只给 0.1,损失约为 2.303。预测越不相信实际发生的结果,付出的代价越大。这里使用自然对数,损失单位为 nat。
给实际结果的概率
0.700
负对数似然
0.357
观察到 A,损失取 −log P(A)。
取对数也让多个样本更容易合并。将样本的联合似然写成各项概率的乘积,再取负对数,乘积就变成了求和:
是样本数, 是输入, 是观察到的标签。最小化这个平均损失,就是最大化训练标签的似然。
2 交叉熵:按目标分布计算平均代价
把视野从“一次观察”扩大到“一组可能结果”。设目标分布是 ,模型预测是 。交叉熵(cross-entropy)就是按目标分布,对每种结果的负对数概率加权:
如果一条样本的正确类别是第 类,标签采用 one-hot 表示:,其余为 0。求和中只有一项保留下来,于是又回到了 。[1]
| 类别 | 目标 q | 预测 p | 对损失的贡献 |
|---|---|---|---|
| A | 1 | 0.70 | −log 0.70 ≈ 0.357 |
| B | 0 | 0.20 | 0 |
| C | 0 | 0.10 | 0 |
模型通常先输出一组未经归一化的实数 ,称为 logits,再经过 softmax 得到概率:
虽然 one-hot 标签只留下正确类别的对数概率,这个概率的分母仍包含所有类别。提高错误类别的 logit,也会改变正确类别的概率。
交叉熵还可以拆成两部分:
是目标分布自身的熵; 衡量预测与目标的差异。目标固定时,最小化交叉熵与最小化这个方向的 KL 散度等价。one-hot 目标的熵为 0;存在真实分歧的软标签,目标熵一般大于 0。
3 二分类:两个 logits 可以化成一个分数差
现在只剩 A、B 两类。用 表示标签为 A, 表示标签为 B。若预测 A 的概率是 ,B 的概率就是 :
这就是二分类交叉熵。当标签为 A,保留第一项;标签为 B,保留第二项。[2]
如果 A、B 的 logits 分别是 ,二类 softmax 可以直接改写:
这里 。两个 logits 的 softmax,等价于对它们的差做 sigmoid。这一步正是从普通分类走向成对偏好学习的连接。
4 Bradley–Terry:把答案比较变成二分类
回到月相问题。答案 A 用太阳照射和观测角度解释月相;答案 B 将月相解释成地球阴影。标注者更偏好 A。训练数据提供的是“谁更好”,而不是两个答案的绝对分数。
同一个奖励模型 分别读取“问题 + A”和“问题 + B”,输出 。Bradley–Terry 模型用它们的差预测偏好:
这个等式定义了一种偏好模型:同一问题下,分数较高的答案更可能被选中。将预测概率与比较标签放进 BCE,就得到了偏好训练的损失。[3, §3]
静态图
如果将每对数据排成“优选答案 、非优选答案 ”的顺序,比较标签始终为 1。于是:
是偏好数据集。对一对答案而言,损失等价于 。因此,常说的 BT loss,就是以奖励分数差为 logit 的二分类交叉熵。InstructGPT 用这种目标训练偏好奖励模型。[4, §3.5]
偏好概率 · σ(Δ)
损失 · −log σ(Δ)
模型把 A 排在 B 后面,梯度会推动分数差增大。
- 二类 softmax + 交叉熵
- 1.3133
- 分数差 sigmoid + BCE
- 1.3133
- −logsigmoid · BT
- 1.3133
这里的分数没有固定的百分制含义。给同一问题下两个答案同时加上一个常数,分数差不变;但将两个分数乘以同一个正数,会放大或缩小分数差,进而改变偏好置信度。预测“更可能被偏好”,也不等于预测“答案完全正确”。
5 梯度:预测与标签的差,决定纠正力度
将 BCE 写成 logit 的函数,求导后得到一个简洁的结果:
固定 A 为优选答案时 。如果 ,模型预测 A 被选中的概率约为 0.269,梯度就是 −0.731。梯度下降沿相反方向更新,会推动分数差增大。
静态图
固定标签 t = 1,学习率 η = 0.5。每次按 更新。
从排反的一对答案开始。
上面的按钮演示一个独立标量的优化。真实奖励模型的梯度则是:
排反且自信的比较,给出较大的纠正信号;已经明显排对的比较,信号较小。多分类 softmax 交叉熵也有对应关系 :预测与目标之差,是这类损失共同的梯度结构。
6 有分歧时,损失不必降到零
假设同一对答案被比较 100 次,80 次选 A、20 次选 B。此时经验目标是 ,平均损失为:
最优预测是 ,对应分数差 。最小损失约 0.5004,正好等于这个目标的熵;此时 KL 散度为 0。
模型预测 P(A ≻ B)
50.0%
最优分数差 Δ*
1.386
模型比标注分布更犹豫,最优预测应是 80%。
因此,“一直把分数差拉大”只适用于同向偏好且没有其他约束的情形。对于有分歧的标注,过度自信会抬高另一部分观测的损失。如果一个模型面对的所有比较都能被完全分开,又没有正则化等约束,某些分数差才可能持续增大,使损失逼近零。
7 同样的交叉熵,在训练谁?
损失外形相似,不代表训练任务相同。关键要看三个对象:预测什么、标签是什么、更新哪套参数。
静态图
SFT 读取问题与示范答案的已有前缀,预测下一个 token。每个受监督的位置都有一个真实 token 标签:
是参与训练的位置集合;实际实现还会按选定的 token 或序列口径归一化。这里的分类空间是词表。
偏好奖励模型 RM 输入一份完整回答,输出一个标量。训练时比较两个标量,学习相对偏好;在常见的 PPO-RLHF 中,训练好的 RM 再给策略生成的回答提供奖励。Critic 则预测从当前状态继续生成的预期回报,通常拟合回报目标;它与偏好 RM 的监督任务不同。[4]
DPO 将奖励重参数化为策略相对于参考模型的对数概率比。同一问题下仅依赖问题的加项,在两个答案相减时消去。定义:
是被训练的语言模型, 是固定参考模型, 控制相应的正则化权衡。这里使用的是完整答案的条件对数概率,通常由各 token 的对数概率求和。标准 DPO 直接更新生成模型,不需要单独训练一个显式 RM 或进行 PPO 采样循环。[3, §4]
交叉熵是一种对预测概率的训练准则;Bradley–Terry 是一种从评分到偏好概率的模型。把两者连起来,才得到偏好奖励模型常用的训练目标。
8 在代码里,保留 logits 更稳定
实现时,直接把未经 sigmoid 的分数差交给 BCEWithLogitsLoss,或使用 logsigmoid。这些形式能避免先算出接近 0 的概率、再取对数造成的数值问题。[2]
import torch
import torch.nn.functional as F
# reward_model 是同一个网络,分别输出每个答案的标量分数。
r_chosen = reward_model(prompt, chosen) # [batch]
r_rejected = reward_model(prompt, rejected) # [batch]
delta = r_chosen - r_rejected
# 三种等价写法:标签为 chosen 胜出,未额外加权或正则化。
loss = -F.logsigmoid(delta).mean()
loss = F.softplus(-delta).mean()
loss = F.binary_cross_entropy_with_logits(
delta, torch.ones_like(delta)
)
loss.backward()
如果输入顺序固定为 A、B,标签里既有 0 也有 1,就使用真实的比较标签 target。若用多类 CrossEntropyLoss,则传入原始 logits 与类别索引,函数内部完成 log-softmax;不要提前再做一次 softmax。
理解这条关系后,读到 就可以按顺序解开:两个分数形成差,分数差形成偏好概率,交叉熵衡量这个概率是否符合比较标签。
参考资料
- PyTorch · CrossEntropyLoss。类别索引、概率标签与 log-softmax 的接口定义。
- PyTorch · BCEWithLogitsLoss。二分类交叉熵与稳定计算。
- Rafailov et al. Direct Preference Optimization: Your Language Model is Secretly a Reward Model,§3–4,公式 1、2、5、7。
- Ouyang et al. Training language models to follow instructions with human feedback,§3.5,奖励模型与强化学习。
- Bradley & Terry (1952). Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons。