章节总览
强化学习:从基础到策略优化 / 29 · 正文
原目录

区分训练目标、纯奖励、验证与测试指标,理解 KL、熵和泛化信号。

RL 训练指标与泛化概念总结

基于一次 RLHF/RLAIF 训练(judge-infra-rl-v4-sft-v41-mid,奖励函数 rubric_reward_v3)的实际监控面板讨论整理。


一、Train Reward 下降 + Test Reward 上升,意味着什么?

现象

训练过程中观察到:

  • train/reward/final_rewards.mean 波动甚至下降
  • test/reward 持续上升
  • train/actor/kl_loss 从 ~0.006 单调上升到 ~0.035

最可能的原因:Train Reward 含 KL 惩罚,Test Reward 是纯奖励分

在 PPO/GRPO 类 RLHF 算法中,训练目标为:

objective=reward−β⋅KL(πθ∥πref)\text{objective} = \text{reward} - \beta \cdot \text{KL}(\pi_\theta \| \pi_{\text{ref}})

  • Train reward 记录的是含 KL 惩罚后的总目标(reward 减去 KL 后的净得分)
  • Test reward 通常只算纯 reward model 分数,不含 KL

随着训练推进,策略离参考模型越来越远,KL 单调上升。当 KL 增长速度超过纯 reward 的增长速度时,train 侧净得分下降,而 test 侧纯 reward 仍在上升——这是 RLHF 里最经典的剪刀差。

其他可能原因

原因 说明
训练分布漂移 RL 的训练数据由策略自己 rollout 产生,分布随策略变化。后期模型探索更复杂的输出,reward 波动更大甚至更低,但真实能力在提升——反映在固定 test set 上就是 reward 上升。简单说:train 上的题变难了,test 上的题没变。
Reward hacking? 经典 reward hacking 是 train reward 上升、test 下降,方向相反,所以不是。但如果 train reward 持续下降且 test reward 也开始掉头,则可能是过优化。

排查方法

  1. 看 train/actor 下的 KL 指标(如 kl_loss、ppo_kl),确认 KL 是否单调上升
  2. 确认 train 面板的 final_rewards 是否已经减去 KL penalty
  3. 展开 train/reward/functions/rubric_reward_v3 下的 custom/system 分项,看哪部分在拖后腿
  4. 如果确认是 KL 导致:通常不是坏事,说明模型在有效学习。关注 test reward 是否还在上升、KL 是否大到离谱(一般控制在个位数以内)

二、Train / Valid / Test 三个集合的角色

核心区别

集合 直接改参数?(梯度回传) 间接影响训练方向? 用途
Train ✅ 是 — 前向 + 反向传播,直接更新权重
Valid(验证集) ❌ 否 ✅ 是 早停、选 checkpoint、调超参、调学习率
Test(测试集) ❌ 否 ❌ 应该完全不碰 只在训练全部结束后跑一次,报最终分数

Valid 如何"间接影响训练方向"

Valid 不参与反向传播,不会直接改变任何权重。但它通过决策来塑造训练轨迹:

  1. Early Stopping(早停):valid loss 连续 N 个 epoch 不下降就停训,等于 valid 决定了训练步数
  2. Checkpoint 选择:保存 valid 指标最好的 checkpoint 作为最终模型,等于 valid 决定了交付哪个模型
  3. 学习率调度:如 ReduceLROnPlateau,监控 valid loss,不降就降学习率
  4. 超参调优:根据 valid 表现调 learning rate、weight decay 等,下一轮训练就被 valid 影响

一句话:valid 不碰梯度,但它通过"做决策"来影响训练方向。

为什么 Test 必须完全隔离

正因为 valid 参与了模型选择和超参调优,valid 上的分数通常比真实泛化能力略高——已经在 valid 上"偷偷"过拟合了。所以需要一个完全不碰的 test set 来报最终成绩。test 只跑一次,否则就退化成了第二个 valid。

类比

训练像开车:

  • Train 是发动机和方向盘(直接决定车怎么走)
  • Valid 是导航仪(告诉你走没走对,你看了之后可能转弯、掉头)
  • Test 是终点线(只在到达时看一眼,中途不看)

三、如何判断梯度下降的方向是正确的?

核心结论

判断梯度下降方向对不对,看的是 training loss,不是 valid。 Valid 管的是泛化,不是优化方向。

梯度下降的方向是算出来的

每一个 training step:

θt+1=θt−η⋅∇θLtrain(θt)\theta_{t+1} = \theta_t - \eta \cdot \nabla_\theta \mathcal{L}_{\text{train}}(\theta_t)

方向就是训练损失的负梯度。只要学习率足够小,这个方向数学上保证能让训练损失下降。这里没有"对不对"的问题——它是确定性计算。

确认梯度下降正常工作的信号

信号 说明
Training loss 在下降 梯度下降在正常工作,模型在越来越拟合训练数据
Training loss 不降 出问题了:学习率太大/太小、梯度消失/爆炸、代码 bug、数据问题
Training loss 震荡/发散 学习率太大,或梯度估计噪声太大(RL 常见)

Training loss 就是梯度下降的"指南针"。

Valid 在优化判断中的角色

  • Training loss 降 + valid loss 也降 → 优化方向好,且在泛化
  • Training loss 降 + valid loss 升 → 优化方向没问题(训练拟合得更好了),但在过拟合
  • Training loss 不降 + valid loss 也不降 → 优化本身有问题

注意第二种情况:梯度下降的方向是"正确"的(确实在降低训练损失),只是最终没有产出泛化好的模型。这不是优化器的错,是模型容量/正则化/数据量的问题。

实际训练中的 Sanity Check Checklist

  1. 先过拟合一个极小的 batch:拿 10 条数据反复训,training loss 必须能降到接近 0。做不到就说明代码有 bug。这是最经典的检查。
  2. 看 training loss 曲线:整体趋势必须下降(允许噪声和小波动)
  3. 看梯度范数(grad_norm):稳定在合理范围(不是 NaN、不是爆炸、不是一直为 0)
  4. 看梯度裁剪比例(clipfrac):一直为 0 可能学习率太小;接近 1 可能学习率太大
  5. RL 额外看 advantage / returns:优势估计是否合理,回报是否在提升

四、回到本次 RL 训练的具体应用

面板关键指标解读

指标 观察 解读
kl_loss 从 ~0.006 涨到 ~0.035,单调上升 策略在有效远离参考模型,正常
ppo_kl 一直为 0 可能使用 GRPO 或变体,KL 以 kl_loss 独立项形式加入
grad_norm 稳定在 3-5 梯度流动正常
pg_loss 围绕 0 波动 PPO clipped objective 本身接近 0,正常
pg_clipfrac 一直为 0 梯度从未被裁剪,可能学习率偏小
lr 阶跃后恒定 使用固定学习率或 step decay

当前面板中 "test" 的实际角色

面板中叫 "test" 的集合,功能上更接近 valid:

  • 训练过程中定期评估
  • 用它的 reward 判断训练好不好
  • 很可能用来选 checkpoint 或决定停不停训

所以它已经在间接影响训练决策了。

正确的评估流程建议

  1. 当前 test 集:当 valid 用,随便看,用来选 checkpoint 和监控
  2. 另外留一个完全不看的 held-out 集:训练全部结束后只跑一次,报最终分数

五、一句话总结

  • Train reward 降 + test reward 升:大概率是 KL 惩罚在 train 侧拖了后腿,test 侧算的是纯 reward,不是坏事
  • Valid 不参与梯度更新,但通过早停/选模型/调参间接影响训练方向
  • 梯度下降的正确性由 training loss 验证,valid 只负责判断泛化
  • 真正的 test set 应该全程不碰,只在最后跑一次