章节总览
强化学习:从基础到策略优化 / 13 · 正文
原目录

Actor–Critic、重要性采样与 PPO 裁剪,再到 GRPO 去 Critic 和熵控制。

01 · PPO / GRPO 与熵控制

从 Actor-Critic 到 GRPO 去 Critic,再到 DAPO / GTPO 等熵控制变体。返回总览

3. PPO 详解

3.1 Actor-Critic 框架

  • Actor(策略网络 π_θ):输入状态,输出动作概率分布。大模型场景下就是 LLM 本身。
  • Critic(价值网络 V_φ):输入状态,输出"这个状态值多少分"的标量估计,帮 Actor 算优势函数 A_t。

Critic 通过 GAE(广义优势估计)计算优势:

At=∑l=0∞(γλ)lδt+l,δt=rt+γV(st+1)−V(st)A_t = \sum_{l=0}^{\infty}(\gamma\lambda)^l \delta_{t+l}, \quad \delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)

3.2 重要性采样比率

rt(θ)=πθ(at∣st)πθold(at∣st)r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}

rt>1r_t > 1 表示新策略选这个动作的概率比旧策略高。

3.3 PPO-Clip 损失函数

LCLIP(θ)=Et[min⁡(rt(θ)⋅At, clip(rt(θ), 1−ε, 1+ε)⋅At)]L^{CLIP}(\theta) = \mathbb{E}_t\left[\min\left(r_t(\theta) \cdot A_t,\ \text{clip}(r_t(\theta),\ 1-\varepsilon,\ 1+\varepsilon) \cdot A_t\right)\right]

  • 动作好(A>0):概率最多涨到 (1+ε)(1+\varepsilon) 倍,不能一步飞太远。
  • 动作差(A<0):概率最多降到 (1−ε)(1-\varepsilon) 倍。
  • ε 通常取 0.2,范围 [0.8, 1.2],对称。

3.4 KL 惩罚

L=LCLIP+β⋅KL(πθ∥πref)L = L^{CLIP} + \beta \cdot \text{KL}(\pi_\theta \| \pi_{ref})

πref\pi_{ref} 是参考模型(SFT 模型)。防止模型为了刷奖励而"走火入魔"(reward hacking)。

3.5 PPO 在大模型场景的痛点

  1. Critic 太贵:等于再训一个和 LLM 一样大的网络。
  2. Critic 不准:大模型状态空间巨大,Critic 很难估准状态价值。

4. GRPO 详解

4.1 核心思路:干掉 Critic

对同一个 prompt 采样 G 条回答,直接比较这 G 条回答的 reward 高低。

4.2 组内相对优势

A^i=Ri−mean(R1,...,RG)std(R1,...,RG)\hat{A}_i = \frac{R_i - \text{mean}(R_1, ..., R_G)}{\text{std}(R_1, ..., R_G)}

  • G 通常取 8。
  • 某条回答组内最好 → Â_i > 0 → 提高概率。
  • 全组一样(全对或全错)→ Â_i = 0 → 无梯度信号。

4.3 损失函数

LGRPO=E[1G∑i=1G1∣oi∣∑t=1∣oi∣min⁡(rt(θ)⋅A^i, clip(rt(θ),1−ε,1+ε)⋅A^i)]+β⋅KLL_{GRPO} = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|o_i|}\sum_{t=1}^{|o_i|}\min\left(r_t(\theta)\cdot\hat{A}_i,\ \text{clip}(r_t(\theta),1-\varepsilon,1+\varepsilon)\cdot\hat{A}_i\right)\right] + \beta\cdot\text{KL}

与 PPO 的唯一区别:advantage 从 Critic 估计变成组内相对排名。

4.4 GRPO 的新问题

  1. 熵崩溃:模型越来越确定,输出多样性下降。
  2. 信用分配粗:整条序列一个 advantage,长推理链哪步对哪步分不清。
  3. MoE 适配差:token 级 importance ratio 在 MoE 模型上噪声大。

4.5 Reward / Advantage 粒度谱系

GRPO 里说的 advantage,本质是每个 token 位置上"该涨概率还是该降概率"的权重。从粗到细排:

粒度 代表方法 怎么算 advantage 问题
Sequence-level(整条序列一个标量) GRPO 原版、DAPO 每条 rollout 一个 reward rir_i,组内 z-score 得 A^i\hat A_i,所有 token 共享 长推理链哪步错分不清,只能"整条对就全夸,整条错就全骂"
Turn-level(多步 agent 每步一个) VPR agent 每走一步工具调用,oracle 给一个 turn reward 需要过程 verifier,纯文本题用不上
Token-level(熵重加权) GTPO / GRPO-S 序列级 A^i\hat A_i 乘以该 token 的熵权重 HtH_t 本质还是粗信号的重加权,不是真 token credit
Token-level(真 advantage) VAPO 轻量 value head + GAE 算 per-token AtA_t value head 有 bias,训练不稳
Token-level(蒸馏) SDPO / RLSD teacher log-ratio 当 per-token advantage 需要 privileged info(反馈/答案)
Per-vocab(每位置每个候选 token 一个) SDPO logits 级 teacher 对词表里每个候选 token 给一个独立 log-ratio 最细,显存最贵

一句话:GRPO 是红绿灯(整条对/错),GTPO 是红绿灯+哪个路口更值得注意,VAPO 是请了个教练每个路口打分,SDPO 是把答案/反馈摊开逐字对标。

4.6 VAPO:把 critic 请回来,但只做轻量版

GRPO 嫌 critic 贵不要了,PPO 有 critic 但太重。VAPO(arXiv:2504.05118,2025)走中间路线:在 actor backbone 上挂一个轻量 value head,只让它估状态价值,不做独立 action distribution。

做法:

  • 在共享 backbone 顶端加一个 linear head,输出 scalar V(st)V(s_t);
  • 用 GAE 算 per-token advantage AtA_t;
  • actor 仍然保留 group relative 的思路,但 advantage 来自 critic 而不是组内 z-score;
  • value head 和 actor 共享大部分参数,额外成本远小于训一个独立 PPO critic。

三方对比:

维度 GRPO PPO VAPO
Critic 无 独立大网络 轻量 value head(共享 backbone)
粒度 Sequence Token(GAE) Token(GAE)
成本 低 高(critic ≈ 再训一个模型) 中(只加一个 linear head)
主要风险 信用粗 critic 不准 value bias,训练不稳

一句话:VAPO 是"GRPO 嫌 critic 贵不要了,PPO 嫌 critic 准但是重,VAPO 折中——挂个小 head 给 token 级 advantage"。


5. 与熵相关的 GRPO 变体

5.1 DAPO —— GRPO 的稳定改进版

DAPO(arXiv:2503.14476,2025)是 GRPO 最著名的改进版,四个补丁专门治两个病:熵崩溃和长度偏置。

5.1.1 Clip-Higher:非对称 clip 防熵崩

GRPO 沿用 PPO 的对称 clip [0.8,1.2][0.8, 1.2](ε=0.2)。DAPO 改成非对称:

clip(rt, 1−εlow, 1+εhigh),εhigh>εlow\text{clip}(r_t,\ 1-\varepsilon_{\text{low}},\ 1+\varepsilon_{\text{high}}),\quad \varepsilon_{\text{high}} > \varepsilon_{\text{low}}

比如 εlow=0.2\varepsilon_{\text{low}}=0.2(下界 0.8),εhigh=0.5\varepsilon_{\text{high}}=0.5(上界 1.5)。

  • 下界收紧:差动作最多降 20%,防止模型跑偏;
  • 上界放宽:好动作可以涨 50%,给探索留空间——这是防熵崩溃的关键。

直觉:对称 clip 把"变好"和"变坏"的幅度卡死在同一个窗口,模型很快发现"不动最安全";放宽上界等于说"看到好动作就大胆涨"。

5.1.2 Dynamic Sampling:丢无效组

GRPO 对同一 prompt 采 G 条 rollout。如果这 G 条全对或全错,组内 z-score 后 A^i=0\hat A_i = 0,整条没梯度。DAPO 直接把这种组丢了,不进训练——避免在"没有对比"的数据上浪费算力。

副作用:需要重采样补满 batch,训练流水线复杂度上升。

5.1.3 Token-Level Policy Gradient Loss:治长度偏置

GRPO 原版对每条 rollout 的 loss 是按序列长度平均:

Li=1∣oi∣∑t=1∣oi∣L_i = \frac{1}{|o_i|}\sum_{t=1}^{|o_i|}

这会导致长序列每个 token 的梯度被稀释——一条 1000 token 的答案和一条 100 token 的答案对 batch 的 loss 贡献一样,但前者每个 token 实际梯度小一个数量级。模型很快学会"写短点更划算"。

DAPO 改成全局 token 平均:

L=1∑i∣oi∣∑i∑tL = \frac{1}{\sum_i |o_i|}\sum_i\sum_t

长序列和短序列每个 token 的梯度权重拉平。

5.1.4 Overlong Reward Shaping:治超长截断

超过 max length 的 rollout,GRPO 直接给 0 分(或 -1)。模型很快学会"写短点别超时",推理链越压越短。DAPO 给一个中间 reward(比如部分正确步骤数),不让模型为了不超时而截断推理。

5.1.5 一句话总结

DAPO = GRPO + 非对称 clip 防熵崩 + 丢无效组省算力 + token 平均治长度偏置 + 超长奖励塑形。它是 2025 年大多数 GRPO 衍生工作的默认起点。

5.2 GTPO —— Token 级熵加权

At′=A^i⋅(1+α⋅Ht)A'_t = \hat{A}_i \cdot (1 + \alpha \cdot H_t)

高熵 token(模型不确定的位置)获得更多学习信号。把稀疏终端 reward 变成 token 级稠密信号。

5.3 GRPO-S —— Sequence 级熵加权

用整条序列的平均熵调整 reward:Ri′=Ri⋅f(Hˉi)R'_i = R_i \cdot f(\bar{H}_i)。GTPO 的粗粒度版本。

5.4 EP-GRPO —— 熵门控 + 策略散度

  • 熵门控调制 advantage
  • 策略散度作 token 级学习信号
  • 稀疏 reward → 稠密过程指导信号

5.5 CE-GPPO —— 修正 DAPO 的熵爆炸

DAPO 放宽上界用力过猛会导致熵爆炸。CE-GPPO 用梯度保持 clip,让熵不崩也不炸。

5.6 EARL —— 熵 Mask 精准探索

只对高熵 token 的梯度加权,低熵 token 保持原样。DAPO + EARL 组合效果最优。

三条技术路线总结

路线 代表方法 怎么做 解决什么
Clip 调整 DAPO → CE-GPPO 改 clip 上下界不对称程度 熵太低或太高
熵加权 reward GTPO / GRPO-S 用熵值给 advantage 加权 长链信用分配粗
熵门控/mask EP-GRPO / EARL 只让高熵位置梯度通过 精准探索

6. 熵崩溃:如何监控

一级指标:策略熵曲线

每个 token 位置计算 Ht=−∑vπ(v)log⁡π(v)H_t = -\sum_v \pi(v) \log \pi(v),对 batch 取平均。

  • 正常:初期熵较高,缓慢下降,同时 reward 在涨。
  • 崩溃:前 200-500 步单调掉 70%-90%,reward 早饱和。
  • 经验阈值:前 500 步熵下降超过 80% 触发预警。

二级辅助指标

指标 健康状态 崩溃前兆
组内 reward 标准差 保持一定水平 趋近于 0(组内无区分度)
Pass@1 vs Pass@k 差距大(多试几次能提分) 差距收窄(采样多样性消失)
输出长度分布 有自然方差 锁定在窄区间(length pinning)
KL 散度 有一定距离 归零或贴地(策略不再更新)
输出 PPL 自然范围 持续下降(分布过于集中)

陷阱指标:模板崩溃

单 token 熵看着正常,但不同 prompt 都输出差不多的推理路径。需要看回答两两相似度,不能只盯熵曲线。

组合预警信号

熵单调下降 ∧ 预测饱和 ∧ 长度锁定 ∧ 组内 reward std→0


7. 策略熵的统计粒度

  • 每个 token 位置都计算瞬时熵 HtH_t。
  • 序列内平均:一条 rollout 内所有 token 的 HtH_t 取平均。
  • batch 内平均:再对所有 rollout 取平均,就是日志里的 entropy 曲线。
  • 更细分析:看百分位数(如最低 10% token 的熵),比平均值更早预警。