RL 训练指标与泛化概念总结
基于一次 RLHF/RLAIF 训练(
judge-infra-rl-v4-sft-v41-mid,奖励函数rubric_reward_v3)的实际监控面板讨论整理。
一、Train Reward 下降 + Test Reward 上升,意味着什么?
现象
训练过程中观察到:
train/reward/final_rewards.mean波动甚至下降test/reward持续上升train/actor/kl_loss从 ~0.006 单调上升到 ~0.035
最可能的原因:Train Reward 含 KL 惩罚,Test Reward 是纯奖励分
在 PPO/GRPO 类 RLHF 算法中,训练目标为:
- Train reward 记录的是含 KL 惩罚后的总目标(reward 减去 KL 后的净得分)
- Test reward 通常只算纯 reward model 分数,不含 KL
随着训练推进,策略离参考模型越来越远,KL 单调上升。当 KL 增长速度超过纯 reward 的增长速度时,train 侧净得分下降,而 test 侧纯 reward 仍在上升——这是 RLHF 里最经典的剪刀差。
其他可能原因
| 原因 | 说明 |
|---|---|
| 训练分布漂移 | RL 的训练数据由策略自己 rollout 产生,分布随策略变化。后期模型探索更复杂的输出,reward 波动更大甚至更低,但真实能力在提升——反映在固定 test set 上就是 reward 上升。简单说:train 上的题变难了,test 上的题没变。 |
| Reward hacking? | 经典 reward hacking 是 train reward 上升、test 下降,方向相反,所以不是。但如果 train reward 持续下降且 test reward 也开始掉头,则可能是过优化。 |
排查方法
- 看
train/actor下的 KL 指标(如kl_loss、ppo_kl),确认 KL 是否单调上升 - 确认 train 面板的
final_rewards是否已经减去 KL penalty - 展开
train/reward/functions/rubric_reward_v3下的 custom/system 分项,看哪部分在拖后腿 - 如果确认是 KL 导致:通常不是坏事,说明模型在有效学习。关注 test reward 是否还在上升、KL 是否大到离谱(一般控制在个位数以内)
二、Train / Valid / Test 三个集合的角色
核心区别
| 集合 | 直接改参数?(梯度回传) | 间接影响训练方向? | 用途 |
|---|---|---|---|
| Train | ✅ 是 | — | 前向 + 反向传播,直接更新权重 |
| Valid(验证集) | ❌ 否 | ✅ 是 | 早停、选 checkpoint、调超参、调学习率 |
| Test(测试集) | ❌ 否 | ❌ 应该完全不碰 | 只在训练全部结束后跑一次,报最终分数 |
Valid 如何"间接影响训练方向"
Valid 不参与反向传播,不会直接改变任何权重。但它通过决策来塑造训练轨迹:
- Early Stopping(早停):valid loss 连续 N 个 epoch 不下降就停训,等于 valid 决定了训练步数
- Checkpoint 选择:保存 valid 指标最好的 checkpoint 作为最终模型,等于 valid 决定了交付哪个模型
- 学习率调度:如
ReduceLROnPlateau,监控 valid loss,不降就降学习率 - 超参调优:根据 valid 表现调 learning rate、weight decay 等,下一轮训练就被 valid 影响
一句话:valid 不碰梯度,但它通过"做决策"来影响训练方向。
为什么 Test 必须完全隔离
正因为 valid 参与了模型选择和超参调优,valid 上的分数通常比真实泛化能力略高——已经在 valid 上"偷偷"过拟合了。所以需要一个完全不碰的 test set 来报最终成绩。test 只跑一次,否则就退化成了第二个 valid。
类比
训练像开车:
- Train 是发动机和方向盘(直接决定车怎么走)
- Valid 是导航仪(告诉你走没走对,你看了之后可能转弯、掉头)
- Test 是终点线(只在到达时看一眼,中途不看)
三、如何判断梯度下降的方向是正确的?
核心结论
判断梯度下降方向对不对,看的是 training loss,不是 valid。 Valid 管的是泛化,不是优化方向。
梯度下降的方向是算出来的
每一个 training step:
方向就是训练损失的负梯度。只要学习率足够小,这个方向数学上保证能让训练损失下降。这里没有"对不对"的问题——它是确定性计算。
确认梯度下降正常工作的信号
| 信号 | 说明 |
|---|---|
| Training loss 在下降 | 梯度下降在正常工作,模型在越来越拟合训练数据 |
| Training loss 不降 | 出问题了:学习率太大/太小、梯度消失/爆炸、代码 bug、数据问题 |
| Training loss 震荡/发散 | 学习率太大,或梯度估计噪声太大(RL 常见) |
Training loss 就是梯度下降的"指南针"。
Valid 在优化判断中的角色
- Training loss 降 + valid loss 也降 → 优化方向好,且在泛化
- Training loss 降 + valid loss 升 → 优化方向没问题(训练拟合得更好了),但在过拟合
- Training loss 不降 + valid loss 也不降 → 优化本身有问题
注意第二种情况:梯度下降的方向是"正确"的(确实在降低训练损失),只是最终没有产出泛化好的模型。这不是优化器的错,是模型容量/正则化/数据量的问题。
实际训练中的 Sanity Check Checklist
- 先过拟合一个极小的 batch:拿 10 条数据反复训,training loss 必须能降到接近 0。做不到就说明代码有 bug。这是最经典的检查。
- 看 training loss 曲线:整体趋势必须下降(允许噪声和小波动)
- 看梯度范数(grad_norm):稳定在合理范围(不是 NaN、不是爆炸、不是一直为 0)
- 看梯度裁剪比例(clipfrac):一直为 0 可能学习率太小;接近 1 可能学习率太大
- RL 额外看 advantage / returns:优势估计是否合理,回报是否在提升
四、回到本次 RL 训练的具体应用
面板关键指标解读
| 指标 | 观察 | 解读 |
|---|---|---|
kl_loss |
从 ~0.006 涨到 ~0.035,单调上升 | 策略在有效远离参考模型,正常 |
ppo_kl |
一直为 0 | 可能使用 GRPO 或变体,KL 以 kl_loss 独立项形式加入 |
grad_norm |
稳定在 3-5 | 梯度流动正常 |
pg_loss |
围绕 0 波动 | PPO clipped objective 本身接近 0,正常 |
pg_clipfrac |
一直为 0 | 梯度从未被裁剪,可能学习率偏小 |
lr |
阶跃后恒定 | 使用固定学习率或 step decay |
当前面板中 "test" 的实际角色
面板中叫 "test" 的集合,功能上更接近 valid:
- 训练过程中定期评估
- 用它的 reward 判断训练好不好
- 很可能用来选 checkpoint 或决定停不停训
所以它已经在间接影响训练决策了。
正确的评估流程建议
- 当前 test 集:当 valid 用,随便看,用来选 checkpoint 和监控
- 另外留一个完全不看的 held-out 集:训练全部结束后只跑一次,报最终分数
五、一句话总结
- Train reward 降 + test reward 升:大概率是 KL 惩罚在 train 侧拖了后腿,test 侧算的是纯 reward,不是坏事
- Valid 不参与梯度更新,但通过早停/选模型/调参间接影响训练方向
- 梯度下降的正确性由 training loss 验证,valid 只负责判断泛化
- 真正的 test set 应该全程不碰,只在最后跑一次