01 · PPO / GRPO 与熵控制
从 Actor-Critic 到 GRPO 去 Critic,再到 DAPO / GTPO 等熵控制变体。返回总览
3. PPO 详解
3.1 Actor-Critic 框架
- Actor(策略网络 π_θ):输入状态,输出动作概率分布。大模型场景下就是 LLM 本身。
- Critic(价值网络 V_φ):输入状态,输出"这个状态值多少分"的标量估计,帮 Actor 算优势函数 A_t。
Critic 通过 GAE(广义优势估计)计算优势:
3.2 重要性采样比率
表示新策略选这个动作的概率比旧策略高。
3.3 PPO-Clip 损失函数
- 动作好(A>0):概率最多涨到 倍,不能一步飞太远。
- 动作差(A<0):概率最多降到 倍。
- ε 通常取 0.2,范围 [0.8, 1.2],对称。
3.4 KL 惩罚
是参考模型(SFT 模型)。防止模型为了刷奖励而"走火入魔"(reward hacking)。
3.5 PPO 在大模型场景的痛点
- Critic 太贵:等于再训一个和 LLM 一样大的网络。
- Critic 不准:大模型状态空间巨大,Critic 很难估准状态价值。
4. GRPO 详解
4.1 核心思路:干掉 Critic
对同一个 prompt 采样 G 条回答,直接比较这 G 条回答的 reward 高低。
4.2 组内相对优势
- G 通常取 8。
- 某条回答组内最好 → Â_i > 0 → 提高概率。
- 全组一样(全对或全错)→ Â_i = 0 → 无梯度信号。
4.3 损失函数
与 PPO 的唯一区别:advantage 从 Critic 估计变成组内相对排名。
4.4 GRPO 的新问题
- 熵崩溃:模型越来越确定,输出多样性下降。
- 信用分配粗:整条序列一个 advantage,长推理链哪步对哪步分不清。
- MoE 适配差:token 级 importance ratio 在 MoE 模型上噪声大。
4.5 Reward / Advantage 粒度谱系
GRPO 里说的 advantage,本质是每个 token 位置上"该涨概率还是该降概率"的权重。从粗到细排:
| 粒度 | 代表方法 | 怎么算 advantage | 问题 |
|---|---|---|---|
| Sequence-level(整条序列一个标量) | GRPO 原版、DAPO | 每条 rollout 一个 reward ,组内 z-score 得 ,所有 token 共享 | 长推理链哪步错分不清,只能"整条对就全夸,整条错就全骂" |
| Turn-level(多步 agent 每步一个) | VPR | agent 每走一步工具调用,oracle 给一个 turn reward | 需要过程 verifier,纯文本题用不上 |
| Token-level(熵重加权) | GTPO / GRPO-S | 序列级 乘以该 token 的熵权重 | 本质还是粗信号的重加权,不是真 token credit |
| Token-level(真 advantage) | VAPO | 轻量 value head + GAE 算 per-token | value head 有 bias,训练不稳 |
| Token-level(蒸馏) | SDPO / RLSD | teacher log-ratio 当 per-token advantage | 需要 privileged info(反馈/答案) |
| Per-vocab(每位置每个候选 token 一个) | SDPO logits 级 | teacher 对词表里每个候选 token 给一个独立 log-ratio | 最细,显存最贵 |
一句话:GRPO 是红绿灯(整条对/错),GTPO 是红绿灯+哪个路口更值得注意,VAPO 是请了个教练每个路口打分,SDPO 是把答案/反馈摊开逐字对标。
4.6 VAPO:把 critic 请回来,但只做轻量版
GRPO 嫌 critic 贵不要了,PPO 有 critic 但太重。VAPO(arXiv:2504.05118,2025)走中间路线:在 actor backbone 上挂一个轻量 value head,只让它估状态价值,不做独立 action distribution。
做法:
- 在共享 backbone 顶端加一个 linear head,输出 scalar ;
- 用 GAE 算 per-token advantage ;
- actor 仍然保留 group relative 的思路,但 advantage 来自 critic 而不是组内 z-score;
- value head 和 actor 共享大部分参数,额外成本远小于训一个独立 PPO critic。
三方对比:
| 维度 | GRPO | PPO | VAPO |
|---|---|---|---|
| Critic | 无 | 独立大网络 | 轻量 value head(共享 backbone) |
| 粒度 | Sequence | Token(GAE) | Token(GAE) |
| 成本 | 低 | 高(critic ≈ 再训一个模型) | 中(只加一个 linear head) |
| 主要风险 | 信用粗 | critic 不准 | value bias,训练不稳 |
一句话:VAPO 是"GRPO 嫌 critic 贵不要了,PPO 嫌 critic 准但是重,VAPO 折中——挂个小 head 给 token 级 advantage"。
5. 与熵相关的 GRPO 变体
5.1 DAPO —— GRPO 的稳定改进版
DAPO(arXiv:2503.14476,2025)是 GRPO 最著名的改进版,四个补丁专门治两个病:熵崩溃和长度偏置。
5.1.1 Clip-Higher:非对称 clip 防熵崩
GRPO 沿用 PPO 的对称 clip (ε=0.2)。DAPO 改成非对称:
比如 (下界 0.8),(上界 1.5)。
- 下界收紧:差动作最多降 20%,防止模型跑偏;
- 上界放宽:好动作可以涨 50%,给探索留空间——这是防熵崩溃的关键。
直觉:对称 clip 把"变好"和"变坏"的幅度卡死在同一个窗口,模型很快发现"不动最安全";放宽上界等于说"看到好动作就大胆涨"。
5.1.2 Dynamic Sampling:丢无效组
GRPO 对同一 prompt 采 G 条 rollout。如果这 G 条全对或全错,组内 z-score 后 ,整条没梯度。DAPO 直接把这种组丢了,不进训练——避免在"没有对比"的数据上浪费算力。
副作用:需要重采样补满 batch,训练流水线复杂度上升。
5.1.3 Token-Level Policy Gradient Loss:治长度偏置
GRPO 原版对每条 rollout 的 loss 是按序列长度平均:
这会导致长序列每个 token 的梯度被稀释——一条 1000 token 的答案和一条 100 token 的答案对 batch 的 loss 贡献一样,但前者每个 token 实际梯度小一个数量级。模型很快学会"写短点更划算"。
DAPO 改成全局 token 平均:
长序列和短序列每个 token 的梯度权重拉平。
5.1.4 Overlong Reward Shaping:治超长截断
超过 max length 的 rollout,GRPO 直接给 0 分(或 -1)。模型很快学会"写短点别超时",推理链越压越短。DAPO 给一个中间 reward(比如部分正确步骤数),不让模型为了不超时而截断推理。
5.1.5 一句话总结
DAPO = GRPO + 非对称 clip 防熵崩 + 丢无效组省算力 + token 平均治长度偏置 + 超长奖励塑形。它是 2025 年大多数 GRPO 衍生工作的默认起点。
5.2 GTPO —— Token 级熵加权
高熵 token(模型不确定的位置)获得更多学习信号。把稀疏终端 reward 变成 token 级稠密信号。
5.3 GRPO-S —— Sequence 级熵加权
用整条序列的平均熵调整 reward:。GTPO 的粗粒度版本。
5.4 EP-GRPO —— 熵门控 + 策略散度
- 熵门控调制 advantage
- 策略散度作 token 级学习信号
- 稀疏 reward → 稠密过程指导信号
5.5 CE-GPPO —— 修正 DAPO 的熵爆炸
DAPO 放宽上界用力过猛会导致熵爆炸。CE-GPPO 用梯度保持 clip,让熵不崩也不炸。
5.6 EARL —— 熵 Mask 精准探索
只对高熵 token 的梯度加权,低熵 token 保持原样。DAPO + EARL 组合效果最优。
三条技术路线总结
| 路线 | 代表方法 | 怎么做 | 解决什么 |
|---|---|---|---|
| Clip 调整 | DAPO → CE-GPPO | 改 clip 上下界不对称程度 | 熵太低或太高 |
| 熵加权 reward | GTPO / GRPO-S | 用熵值给 advantage 加权 | 长链信用分配粗 |
| 熵门控/mask | EP-GRPO / EARL | 只让高熵位置梯度通过 | 精准探索 |
6. 熵崩溃:如何监控
一级指标:策略熵曲线
每个 token 位置计算 ,对 batch 取平均。
- 正常:初期熵较高,缓慢下降,同时 reward 在涨。
- 崩溃:前 200-500 步单调掉 70%-90%,reward 早饱和。
- 经验阈值:前 500 步熵下降超过 80% 触发预警。
二级辅助指标
| 指标 | 健康状态 | 崩溃前兆 |
|---|---|---|
| 组内 reward 标准差 | 保持一定水平 | 趋近于 0(组内无区分度) |
| Pass@1 vs Pass@k | 差距大(多试几次能提分) | 差距收窄(采样多样性消失) |
| 输出长度分布 | 有自然方差 | 锁定在窄区间(length pinning) |
| KL 散度 | 有一定距离 | 归零或贴地(策略不再更新) |
| 输出 PPL | 自然范围 | 持续下降(分布过于集中) |
陷阱指标:模板崩溃
单 token 熵看着正常,但不同 prompt 都输出差不多的推理路径。需要看回答两两相似度,不能只盯熵曲线。
组合预警信号
熵单调下降 ∧ 预测饱和 ∧ 长度锁定 ∧ 组内 reward std→0
7. 策略熵的统计粒度
- 每个 token 位置都计算瞬时熵 。
- 序列内平均:一条 rollout 内所有 token 的 取平均。
- batch 内平均:再对所有 rollout 取平均,就是日志里的 entropy 曲线。
- 更细分析:看百分位数(如最低 10% token 的熵),比平均值更早预警。