章节总览
强化学习:从基础到策略优化 / 11 · 正文
原目录

连接策略梯度、PPO、GRPO 与多种变体,保留公式推导、比较表和业务应用讨论。

GRPO 及其变体系统教程:从强化学习基础到业务落地

本文系统整理强化学习基础(MDP、策略梯度、PPO)、GRPO(Group Relative Policy Optimization)的核心原理与公式推导、12+ 个 GRPO 变体的改进路线,以及在 Base AI 业务场景中的落地价值。每个数学符号首次出现时均标注读音和定义。


目录


一、强化学习基础

在理解 GRPO(Group Relative Policy Optimization,组相对策略优化)之前,必须先建立强化学习(Reinforcement Learning,简称 RL,读音 /ˌriːɪnˈfɔːrsmənt ˈlɜːrnɪŋ/)的基础概念框架。GRPO 不是凭空出现的算法,它是策略梯度方法经过 PPO(Proximal Policy Optimization,近端策略优化)演进后的一次关键简化。本章从最基础的马尔可夫决策过程讲起,逐步推导到 PPO,为后续理解 GRPO 打下坚实基础。

1.1 强化学习的基本框架

强化学习研究的是:一个智能体(Agent,读音 /ˈeɪdʒənt/,指做决策的主体)如何在一个环境(Environment,读音 /ɪnˈvaɪrənmənt/,指智能体所处的外部世界)中,通过不断尝试和学习,找到能最大化长期奖励(Reward,读音 /rɪˈwɔːrd/,指环境对智能体动作的反馈评分)的行为策略。

这一交互过程可以用下面的循环来描述:

执行动作 a返回状态 s 和奖励 r更新策略 π智能体 Agent环境Environment
查看图示结构
flowchart LR
    A[智能体 Agent] -->|执行动作 a| B[环境 Environment]
    B -->|返回状态 s 和奖励 r| A
    A -->|更新策略 π| A

在每一个时间步 tt(读音 /tiː/,表示时间步索引,整数),智能体观察到环境的状态 sts_t(读音 /ɛs tiː/,表示第 tt 步的状态,ss 是 state 的缩写),然后根据自己的策略 π\pi(读音 /paɪ/,希腊字母 pi,这里表示策略函数,是 policy 的标准数学符号)选择一个动作 ata_t(读音 /eɪ/,表示第 tt 步执行的动作,aa 是 action 的缩写)。环境接收到动作后,转移到新的状态 st+1s_{t+1},并返回一个即时奖励 rtr_t(读音 /ɑːr/,表示第 tt 步获得的奖励,rr 是 reward 的缩写)。

1.2 马尔可夫决策过程

上述交互过程的数学形式化描述称为马尔可夫决策过程(Markov Decision Process,简称 MDP,读音 /ˈmɑːrkɒv dɪˈsɪʒən ˈprɒsɛs/)。一个 MDP 由以下五元组定义:

  • 状态空间 SS(读音 /ɛs/,大写,表示所有可能状态的集合):环境中所有可能状态的集合。
  • 动作空间 AA(读音 /eɪ/,大写,表示所有可能动作的集合):智能体可以执行的所有动作的集合。
  • 转移概率 P(s′∣s,a)P(s' \mid s,a)(读音 /piː/,表示在状态 ss 执行动作 aa 后转移到状态 s′s' 的概率):环境的状态转移规则。
  • 奖励函数 R(s,a)R(s,a)(读音 /ɑːr/,表示在状态 ss 执行动作 aa 后获得的期望奖励):环境对动作的即时反馈。
  • 折扣因子 γ\gamma(读音 /ˈɡæmə/,希腊字母 gamma,取值范围为 0 到 1 之间的实数):衡量未来奖励的当前价值,γ\gamma 越接近 1 表示越重视长期奖励。

MDP 的核心性质是马尔可夫性(Markov Property,读音 /ˈmɑːrkɒv ˈprɒpəti/):下一个状态只依赖于当前状态和当前动作,与更早的历史无关。用数学语言表达就是:

P(st+1∣st,at,st−1,at−1,… )=P(st+1∣st,at)P(s_{t+1} \mid s_t, a_t, s_{t-1}, a_{t-1}, \dots) = P(s_{t+1} \mid s_t, a_t)

式中: PP 表示概率(probability);st+1s_{t+1} 表示第 t+1t+1 步的状态;sts_t 表示第 tt 步的状态;ata_t 表示第 tt 步的动作;竖线 ∣\mid 表示"给定"或"条件于"(conditional on);省略号表示更早的历史状态和动作。该式的含义是:给定完整历史时的下一个状态概率,等于只给定当前状态和动作时的概率。

1.3 策略、回报与价值函数

策略

策略 π(a∣s)\pi(a \mid s)(读音 /paɪ/)定义了智能体在每个状态下选择每个动作的概率分布。它是一个条件概率函数:给定状态 ss,输出动作空间 AA 上的一个概率分布。

策略分为两类:

  • 确定性策略(Deterministic Policy):每个状态只对应一个确定的动作,即 a=π(s)a = \pi(s)。
  • 随机性策略(Stochastic Policy):每个状态对应一个动作概率分布,智能体从中采样,即 a∼π(⋅∣s)a \sim \pi(\cdot \mid s)。大语言模型的强化学习中使用的都是随机性策略。

回报

智能体的目标不是最大化单步奖励,而是最大化累积回报(Return,读音 /rɪˈtɜːrn/)。从时间步 tt 开始的折扣回报(Discounted Return)定义为:

Gt=rt+γrt+1+γ2rt+2+⋯=∑k=0∞γkrt+kG_t = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \dots = \sum_{k=0}^{\infty} \gamma^k r_{t+k}

式中: GtG_t(读音 /dʒiː tiː/)表示从第 tt 步开始的折扣回报;rt+kr_{t+k} 表示第 t+kt+k 步获得的即时奖励;γ\gamma(读音 /ˈɡæmə/,希腊字母 gamma)是折扣因子,0≤γ≤10 \leq \gamma \leq 1;γk\gamma^k 表示 γ\gamma 的 kk 次方;求和符号 Σ\Sigma(读音 /ˈsɪɡmə/,希腊字母 sigma,表示求和运算)从 k=0k=0 到无穷大。该式的含义是:把未来每一步的奖励乘以折扣因子的相应幂次后累加,越远的奖励权重越低。

状态价值函数与动作价值函数

状态价值函数(State Value Function)Vπ(s)V^\pi(s)(读音 /viː/)表示:在遵循策略 π\pi 的前提下,从状态 ss 出发能获得的期望折扣回报。

Vπ(s)=Eπ[Gt∣st=s]V^\pi(s) = \mathbb{E}_\pi[G_t \mid s_t = s]

式中: VV 表示价值(value);上标 π\pi 表示该价值是在遵循策略 π\pi 时计算的;E\mathbb{E}(读音 /iː/,数学期望符号,是 expectation 的缩写)表示求期望;下标 π\pi 表示期望是在策略 π\pi 诱导的分布下计算的;竖线 ∣\mid 表示条件。该式的含义是:在状态 ss 下,按照策略 π\pi 行动,未来能获得的折扣回报的平均值。

动作价值函数(Action Value Function)Qπ(s,a)Q^\pi(s,a)(读音 /kjuː/)表示:在状态 ss 下先执行动作 aa,之后遵循策略 π\pi,能获得的期望折扣回报。

Qπ(s,a)=Eπ[Gt∣st=s,at=a]Q^\pi(s, a) = \mathbb{E}_\pi[G_t \mid s_t = s, a_t = a]

式中: QQ 表示动作价值(action-value,传统上用 QQ 表示是因为它衡量的是"Quality",即某个动作的质量);其他符号含义同上。该式的含义是:在状态 ss 下强制选择动作 aa,之后按策略 π\pi 行动,未来能获得的折扣回报的平均值。

优势函数

优势函数(Advantage Function)Aπ(s,a)A^\pi(s,a)(读音 /eɪ/)衡量的是:在状态 ss 下选择动作 aa,比"按策略 π\pi 随机选一个动作"平均好多少。它定义为动作价值减去状态价值:

Aπ(s,a)=Qπ(s,a)−Vπ(s)A^\pi(s, a) = Q^\pi(s, a) - V^\pi(s)

式中: AA 表示优势(advantage);Qπ(s,a)Q^\pi(s,a) 是动作价值函数;Vπ(s)V^\pi(s) 是状态价值函数。直观理解:如果 A>0A > 0,说明这个动作比平均水平好,应该增加它的概率;如果 A<0A < 0,说明这个动作比平均水平差,应该降低它的概率。优势函数是策略梯度方法中最核心的量,因为它告诉我们每个动作"相对好坏"的程度。

1.4 策略梯度方法

策略梯度(Policy Gradient,读音 /ˈpɒləsi ˈɡreɪdiənt/)方法的核心思想是:直接对策略 πθ\pi_\theta(读音 /paɪ/,θ\theta 是希腊字母 theta,读音 /ˈθiːtə/,表示策略的可训练参数)进行参数化,然后通过梯度上升来最大化期望回报。

策略梯度定理

策略梯度定理(Policy Gradient Theorem)给出了目标函数对策略参数的梯度表达式。设目标函数为:

J(θ)=Eτ∼πθ[R(τ)]J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}[R(\tau)]

式中: J(θ)J(\theta)(读音 /dʒeɪ/)表示目标函数(objective function);τ\tau(读音 /taʊ/,希腊字母 tau,表示一条完整的轨迹 trajectory,即从初始状态到终止状态的一整条状态-动作序列);τ∼πθ\tau \sim \pi_\theta 表示轨迹 τ\tau 是由策略 πθ\pi_\theta 采样生成的;R(τ)R(\tau)(读音 /ɑːr/)表示整条轨迹的总回报。该式的含义是:在策略 πθ\pi_\theta 生成的轨迹分布下,总回报的期望值。

策略梯度定理指出,目标函数对参数 θ\theta 的梯度为:

∇θJ(θ)=Eπθ[∑t=0T∇θlog⁡πθ(at∣st)⋅Aπ(st,at)]\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\left[\sum_{t=0}^{T} \nabla_\theta \log \pi_\theta(a_t \mid s_t) \cdot A^\pi(s_t, a_t)\right]

式中: ∇θ\nabla_\theta(读音 /ˈdɛltə/,nabla 符号,表示对参数 θ\theta 求梯度)是梯度算子;log⁡\log 表示自然对数;πθ(at∣st)\pi_\theta(a_t \mid s_t) 是策略在状态 sts_t 下选择动作 ata_t 的概率;Aπ(st,at)A^\pi(s_t,a_t) 是优势函数;TT(读音 /tiː/,大写,表示轨迹的总长度)是轨迹终止时间步。该式的含义是:策略梯度等于"每个时间步的对数策略梯度乘以该步的优势"的期望。直观理解:优势为正的动作,其对数概率梯度被正向放大(增加该动作概率);优势为负的动作,其对数概率梯度被负向放大(降低该动作概率)。

REINFORCE 算法

最朴素的策略梯度算法是 REINFORCE(读音 /ˈreɪnfɔːrs/,是"Reward Increments = Nonnegative Factor × Offset Reinforcement × Characteristic Eligibility"的缩写),它直接用蒙特卡洛采样的回报 GtG_t 来代替优势函数 AA:

∇θJ(θ)≈1N∑i=1N∑t=0Ti∇θlog⁡πθ(ai,t∣si,t)⋅(Gi,t−b)\nabla_\theta J(\theta) \approx \frac{1}{N} \sum_{i=1}^{N} \sum_{t=0}^{T_i} \nabla_\theta \log \pi_\theta(a_{i,t} \mid s_{i,t}) \cdot (G_{i,t} - b)

式中: NN(读音 /ɛn/,大写,表示采样的轨迹数量)是采样轨迹数;ii(读音 /aɪ/,表示第 ii 条轨迹的索引)是轨迹索引;TiT_i 是第 ii 条轨迹的长度;Gi,tG_{i,t} 是第 ii 条轨迹在第 tt 步的折扣回报;bb(读音 /biː/,表示基线 baseline)是一个与动作无关的基线项,用于降低梯度估计的方差(variance),常用 b=V(st)b = V(s_t)。减号后面的 bb 就是"基线",它不改变梯度的无偏性,但能显著降低方差。

REINFORCE 的问题在于:它必须等一整条轨迹结束后才能计算回报,而且蒙特卡洛估计的方差很大,训练不稳定。这就引出了 Actor-Critic 方法和 PPO。

1.5 PPO:近端策略优化

PPO(Proximal Policy Optimization,近端策略优化,读音 /ˈprɒksɪməl ˈpɒləsi ˌɒptɪmaɪˈzeɪʃən/)由 Schulman 等人于 2017 年提出,是目前强化学习领域应用最广泛的算法之一。它的核心目标是:在保证策略更新稳定(每次更新不偏离旧策略太远)的前提下,尽可能提高样本效率。

重要性采样

PPO 使用重要性采样(Importance Sampling,读音 /ɪmˈpɔːrtəns ˈsɑːmplɪŋ/)来实现"用旧策略采集的数据训练新策略",从而提高样本利用率。设旧策略为 πθold\pi_{\theta_{old}}(读音 /paɪ/,θold\theta_{old} 表示上一次更新时的策略参数),新策略为 πθ\pi_\theta,则重要性采样比率(Importance Ratio)定义为:

rt(θ)=πθ(at∣st)πθold(at∣st)r_t(\theta) = \frac{\pi_\theta(a_t \mid s_t)}{\pi_{\theta_{old}}(a_t \mid s_t)}

式中: rt(θ)r_t(\theta)(读音 /ɑːr/,注意这里的 rr 不是奖励 reward,而是 ratio 的缩写,表示重要性采样比率)是第 tt 步的重要性比率;分子是新策略在状态 sts_t 下选择动作 ata_t 的概率;分母是旧策略在同一状态下选择同一动作的概率。当 rt(θ)=1r_t(\theta) = 1 时,新旧策略完全相同;当 rt(θ)>1r_t(\theta) > 1 时,新策略比旧策略更倾向于选择该动作;当 rt(θ)<1r_t(\theta) < 1 时则相反。

PPO 的 Clip 目标函数

PPO 的核心创新是裁剪目标函数(Clipped Objective),它通过限制重要性比率的范围来防止策略更新步长过大:

JCLIP(θ)=Et[min⁡(rt(θ)⋅A^t, clip(rt(θ),1−ϵ,1+ϵ)⋅A^t)]J^{CLIP}(\theta) = \mathbb{E}_t\left[\min\left(r_t(\theta) \cdot \hat{A}_t,\ \mathrm{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \cdot \hat{A}_t\right)\right]

式中: JCLIP(θ)J^{CLIP}(\theta) 是 PPO 的裁剪目标函数;min⁡\min(读音 /mɪn/,表示取最小值函数)表示取两个值中较小的那个;A^t\hat{A}_t(读音 /eɪ/,hat 符号"^"表示估计值,即优势函数的估计值而非真实值)是第 tt 步优势函数的估计;clip\mathrm{clip}(读音 /klɪp/,表示裁剪函数)函数把 rt(θ)r_t(\theta) 限制在 [1−ϵ,1+ϵ][1-\epsilon, 1+\epsilon] 区间内;ϵ\epsilon(读音 /ˈɛpsɪlɒn/,希腊字母 epsilon,表示裁剪范围,通常取 0.1 或 0.2)是裁剪超参数。

这个公式的直观含义是:

  • 当优势 A^t>0\hat{A}_t > 0(动作比平均好)时,我们想增加该动作的概率,但 rt(θ)r_t(\theta) 超过 1+ϵ1+\epsilon 后就被裁剪,防止过度更新。
  • 当优势 A^t<0\hat{A}_t < 0(动作比平均差)时,我们想降低该动作的概率,但 rt(θ)r_t(\theta) 低于 1−ϵ1-\epsilon 后就被裁剪,防止过度更新。
  • 取 min⁡\min 意味着:一旦触发裁剪,梯度就变为零,策略不再朝那个方向更新。

价值网络与 GAE

PPO 是一种Actor-Critic(读音 /ˈæktər ˈkrɪtɪk/,演员-评论家)架构:

  • Actor(演员):策略网络 πθ\pi_\theta,负责选择动作。
  • Critic(评论家):价值网络 Vϕ(s)V_\phi(s)(读音 /viː/,ϕ\phi 是希腊字母 phi,读音 /faɪ/,表示价值网络的参数),负责估计状态价值 V(s)V(s),用于计算优势函数。

优势函数的估计使用广义优势估计(Generalized Advantage Estimation,简称 GAE,读音 /ˈdʒenrəlaɪzd ədˈvæntɪdʒ ˌestɪˈmeɪʃən/):

A^t=∑l=0∞(γλ)lδt+l\hat{A}_t = \sum_{l=0}^{\infty} (\gamma \lambda)^l \delta_{t+l}

其中 δt\delta_t(读音 /ˈdɛltə/,希腊字母 delta,表示时序差分误差)定义为:

δt=rt+γV(st+1)−V(st)\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)

式中: λ\lambda(读音 /ˈlæmdə/,希腊字母 lambda,是 GAE 的平滑参数,取值 0 到 1)控制偏差-方差权衡:λ→0\lambda \to 0 时只看一步 TD 误差,方差小但偏差大(高度依赖 VV 的准确性);λ→1\lambda \to 1 时退化为蒙特卡洛回报,无偏但方差大。δt\delta_t 是时序差分误差(Temporal Difference Error,简称 TD error),表示"实际获得的奖励加下一步价值估计"与"当前状态价值估计"之间的差。如果 δt>0\delta_t > 0,说明这一步比预期好;δt<0\delta_t < 0 则比预期差。

PPO 的完整训练流程

否是用当前策略 π_θ采集一批轨迹用价值网络 V_φ计算 GAE 优势Â_t计算重要性比率r_t θ最大化裁剪目标J_CLIP 更新Actor最小化价值损失更新 Critic是否收敛?输出训练好的策略
查看图示结构
flowchart TD
    A[用当前策略 π_θ 采集一批轨迹] --> B[用价值网络 V_φ 计算 GAE 优势 Â_t]
    B --> C[计算重要性比率 r_t θ]
    C --> D[最大化裁剪目标 J_CLIP 更新 Actor]
    D --> E[最小化价值损失更新 Critic]
    E --> F{是否收敛?}
    F -->|否| A
    F -->|是| G[输出训练好的策略]

PPO 的完整目标函数通常还包括价值损失和熵正则项:

J(θ)=Et[JCLIP(θ)−c1⋅LVF(θ)+c2⋅H[πθ(⋅∣st)]]J(\theta) = \mathbb{E}_t\left[J^{CLIP}(\theta) - c_1 \cdot L^{VF}(\theta) + c_2 \cdot H[\pi_\theta(\cdot \mid s_t)]\right]

式中: LVFL^{VF}(读音 /el/,Value Function 的缩写,表示价值函数损失)是价值网络的损失,通常用均方误差;H[π]H[\pi](读音 /eɪtʃ/,表示熵 entropy)是策略的熵,用于鼓励探索;c1c_1(读音 /siː/)和 c2c_2(读音 /siː/)是权重系数。熵正则项的作用是防止策略过早收敛到确定性策略,保持一定的探索能力。

1.6 PPO 在大语言模型中的问题

PPO 虽然在传统强化学习中非常成功,但直接应用于大语言模型(Large Language Model,简称 LLM,读音 /lɑːrdʒ ˈlæŋɡwɪdʒ ˈmɒdl/)时面临几个严峻挑战:

  1. 显存开销巨大:PPO 需要同时维护四个模型——策略模型(Actor)、旧策略模型(用于计算重要性比率)、价值模型(Critic)、参考模型(用于 KL 惩罚)。对于参数量达数十亿甚至数千亿的 LLM,四个同规模模型的显存开销是不可接受的。
  2. 价值网络难以训练:在 LLM 的 RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习)场景中,奖励通常只在整个序列生成结束后给出一个标量(比如"这个回答好/不好"),中间每一个 token(读音 /ˈtoʊkən/,表示语言模型的最小生成单元)的即时奖励都是零。这种稀疏奖励(Sparse Reward)使得价值网络 V(s)V(s) 很难准确估计每个中间状态的价值。
  3. 训练不稳定:LLM 的输出序列很长(几千个 token),策略梯度的方差非常大,PPO 的裁剪机制在长序列上容易失效。

正是为了解决这些问题,GRPO 应运而生。


二、GRPO:组相对策略优化详解

2.1 GRPO 的核心思想

GRPO(Group Relative Policy Optimization,组相对策略优化,读音 /ɡruːp ˈrelətɪv ˈpɒləsi ˌɒptɪmaɪˈzeɪʃən/)由 DeepSeek 团队在论文《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models》(arXiv:2402.03300)中提出,并因 DeepSeek-R1 的成功而成为推理强化学习的事实标准。

GRPO 的核心洞察可以用一句话概括:既然价值网络 V(s)V(s) 在 LLM 场景下很难训准,那干脆不要它了,用"同一道题的多个答案之间的相对排名"来代替价值估计。

具体来说,对于同一个问题(prompt,读音 /ˈprɒmpt/,表示给模型的输入提示)qq(读音 /kjuː/,表示问题/输入),GRPO 让策略模型生成 GG(读音 /dʒiː/,大写,表示一组答案的数量,group size,通常取 8)个不同的答案(output/response,读音 /ˈaʊtpʊt rɪˈspɒns/),组成一个"组"(group)。然后用奖励模型给这 GG 个答案分别打分,再用组内奖励的标准化得分(z-score,读音 /ziː skɔːr/,即减去均值再除以标准差)作为每个答案的优势估计。

这种做法的直觉是:我们不需要知道一个答案"绝对有多好",只需要知道它"比同组其他答案好还是差"。组内的相对排名本身就提供了足够的学习信号。

2.2 GRPO 的完整公式推导

采样与奖励

对于每个问题 qq,从当前策略 πθ\pi_\theta 中采样 GG 个答案:

o1,o2,…,oG∼πθ(⋅∣q)o_1, o_2, \dots, o_G \sim \pi_\theta(\cdot \mid q)

式中: oio_i(读音 /oʊ/,表示第 ii 个输出答案,oo 是 output 的缩写)表示组内第 ii 个答案;ii 的取值范围是 1 到 GG;"~" 符号表示"服从……分布采样"。每个答案 oio_i 是一个 token 序列:oi=(oi,1,oi,2,…,oi,∣oi∣)o_i = (o_{i,1}, o_{i,2}, \dots, o_{i,|o_i|}),其中 oi,to_{i,t}(读音 /oʊ/)表示第 ii 个答案的第 tt 个 token,∣oi∣|o_i|(读音 /oʊ/,竖线表示序列长度)表示第 ii 个答案的 token 数量。

然后用奖励函数 r(oi,q)r(o_i, q)(读音 /ɑːr/,表示给定问题 qq 时答案 oio_i 的奖励得分)给每个答案打分:

ri=r(oi,q),i=1,2,…,Gr_i = r(o_i, q), \quad i = 1, 2, \dots, G

式中: rir_i(读音 /ɑːr/)是第 ii 个答案获得的标量奖励。在数学推理场景中,rir_i 通常是 0(答案错误)或 1(答案正确)的二值奖励;在更复杂的场景中,rir_i 可以是奖励模型给出的连续分数。

组内优势估计

GRPO 的关键步骤:用组内奖励的均值和标准差来归一化,得到每个答案的优势估计:

A^i=ri−1G∑j=1Grj1G∑j=1G(rj−1G∑k=1Grk)2+ϵ\hat{A}_i = \frac{r_i - \frac{1}{G}\sum_{j=1}^{G} r_j}{\sqrt{\frac{1}{G}\sum_{j=1}^{G}(r_j - \frac{1}{G}\sum_{k=1}^{G} r_k)^2} + \epsilon}

式中: A^i\hat{A}_i(读音 /eɪ/)是第 ii 个答案的优势估计;分子是"第 ii 个答案的奖励减去组内奖励的均值";分母是"组内奖励的标准差加一个小常数 ϵ\epsilon(读音 /ˈɛpsɪlɒn/,希腊字母 epsilon,防止除零,通常取 1e-8)";平方根符号 \sqrt{}(读音 /skweə ruːt/,表示开平方运算)。这个计算就是统计学中的z-score 标准化(z-score normalization):把一组数据转换成均值为 0、标准差为 1 的分布。

这个优势估计有一个极其重要的性质:同一个答案 oio_i 的所有 token 共享同一个优势值 A^i\hat{A}_i。也就是说:

A^i,t=A^i,∀t=1,2,…,∣oi∣\hat{A}_{i,t} = \hat{A}_i, \quad \forall t = 1, 2, \dots, |o_i|

式中: A^i,t\hat{A}_{i,t}(读音 /eɪ/)是第 ii 个答案第 tt 个 token 的优势;∀\forall(读音 /ˌfɔːr ˈɔːl/,全称 for all,表示"对于所有的")是全称量词。该式的含义是:不管答案中的哪个 token,它们的优势都等于整个答案的组内标准化得分。这是 GRPO 与 PPO 的关键区别之一——PPO 通过 GAE 给每个 token 计算不同的优势,而 GRPO 给同一答案的所有 token 相同的优势。

为什么可以这样做? 因为在 LLM 场景中,奖励通常只在序列结束时给出一个整体评分(比如"这道题做对了"),我们无法可靠地判断中间哪个 token 是"对的"哪个是"错的"。既然无法精确分配信用(credit assignment),那就公平地把整体优势平摊给每个 token。这虽然粗糙,但避免了价值网络估计不准带来的更大误差。

GRPO 的目标函数

有了优势估计后,GRPO 使用与 PPO 相同的裁剪策略梯度目标,但做了两处关键修改:(1)用组内优势 A^i\hat{A}_i 代替 GAE 优势;(2)损失按 token 数量归一化。

JGRPO(θ)=E[1G∑i=1G1∣oi∣∑t=1∣oi∣min⁡(ri,t(θ)A^i,t, clip(ri,t(θ),1−ϵ,1+ϵ)A^i,t)−β⋅DKL(πθ∥πref)]J_{GRPO}(\theta) = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|o_i|}\sum_{t=1}^{|o_i|}\min\left(r_{i,t}(\theta)\hat{A}_{i,t},\ \mathrm{clip}(r_{i,t}(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_{i,t}\right) - \beta \cdot D_{KL}(\pi_\theta \| \pi_{ref})\right]

式中各符号定义如下:

  • JGRPO(θ)J_{GRPO}(\theta)(读音 /dʒeɪ/):GRPO 的目标函数,我们要最大化它。
  • E\mathbb{E}(伊,期望符号):对所有问题 qq 和采样的答案组求期望。
  • 1/G1/G(吉分之一):对组内 GG 个答案取平均。
  • 1/∣oi∣1/|o_i|(欧下标艾的长度分之一):对第 ii 个答案的所有 token 取平均。这个长度归一化项是 GRPO 长度偏置的来源——后面会详细讨论。
  • ri,t(θ)r_{i,t}(\theta)(读音 /ɑːr/):第 ii 个答案第 tt 个 token 的重要性采样比率,定义为新策略概率除以旧策略概率。其中 oi,<to_{i,<t}(读音 /oʊ/)表示第 ii 个答案中第 tt 个 token 之前的所有 token(即上文上下文)。
  • A^i,t\hat{A}_{i,t}(诶帽下标艾逗号踢):第 ii 个答案第 tt 个 token 的优势,等于 A^i\hat{A}_i(组内标准化奖励)。
  • min⁡\min(民,取最小值):PPO 式的裁剪机制,取"未裁剪目标"和"裁剪后目标"中的较小值。
  • clip\mathrm{clip}(克立普,裁剪函数):把 ri,t(θ)r_{i,t}(\theta) 限制在 [1−ϵ,1+ϵ][1-\epsilon, 1+\epsilon] 区间内。
  • ϵ\epsilon(读音 /ˈɛpsɪlɒn/,希腊字母 epsilon):裁剪范围超参数,通常取 0.2。
  • β\beta(读音 /ˈbeɪtə/,希腊字母 beta):KL 散度的权重系数。
  • DKL(πθ∥πref)D_{KL}(\pi_\theta \| \pi_{ref})(读音 /diː keɪ el/):当前策略 πθ\pi_\theta 与参考策略 πref\pi_{ref}(读音 /paɪ/,reference 的缩写,通常是 SFT 模型,冻结不更新)之间的KL 散度(Kullback-Leibler Divergence,读音 /ˈkʊlbæk ˈliːblər daɪˈvɜːrdʒəns/),用于防止策略偏离参考模型太远、丢失语言能力。

KL 散度的估计形式

GRPO 目标函数中的 KL 散度不是加在奖励里(像 PPO 那样),而是直接加在 actor 的优化损失中。GRPO 采用 John Schulman 提出的 K3 形式的 KL 估计器:

DKL(πθ∥πref)≈πref(oi,t∣q,oi,<t)πθ(oi,t∣q,oi,<t)−log⁡πref(oi,t∣q,oi,<t)πθ(oi,t∣q,oi,<t)−1D_{KL}(\pi_\theta \| \pi_{ref}) \approx \frac{\pi_{ref}(o_{i,t} \mid q,o_{i,<t})}{\pi_\theta(o_{i,t} \mid q,o_{i,<t})} - \log\frac{\pi_{ref}(o_{i,t} \mid q,o_{i,<t})}{\pi_\theta(o_{i,t} \mid q,o_{i,<t})} - 1

式中: πref\pi_{ref} 是参考策略(通常是 SFT 模型,冻结不更新);πθ\pi_\theta 是当前正在训练的策略;log⁡\log 是自然对数。需要注意的是,社区中有讨论认为 K2 形式的估计才是 KL 梯度的无偏估计,效果可能更好,但 GRPO 原文使用的是 K3 形式。

2.3 GRPO 的三个 Policy 角色

在 GRPO 的训练过程中,存在三个不同角色的策略模型,它们的更新频率和用途各不相同:

策略 符号 用途 更新频率
当前策略 πθ\pi_\theta 生成 rollout(读音 /ˈroʊlaʊt/,表示用当前策略批量生成答案的过程)并参与训练更新,是我们要优化的目标模型 每步更新
旧策略 πθold\pi_{\theta_{old}} 计算重要性采样比率 ri,t(θ)r_{i,t}(\theta) 的分母,保证 off-policy(读音 /ɒf ˈpɒləsi/,离线策略,即用旧数据训练新策略)训练的正确性 每个 episode(读音 /ˈepɪsoʊd/,表示一轮完整的采样-更新周期)开始时同步为当前策略
参考策略 πref\pi_{ref} 计算 KL 惩罚项的锚点,防止策略漂移太远、丢失语言能力 永远冻结(通常是 SFT 模型)

相比 PPO 需要四个模型(Actor、Old Actor、Critic、Reference),GRPO 只需要三个模型(当前策略、旧策略、参考策略),因为它去掉了 Critic(价值网络)。这节省了约 25% 的显存开销,对于大模型训练至关重要。

2.4 GRPO 的完整训练流程

否是输入一批问题 q用当前策略 π_θ对每个问题采样G 个答案用奖励模型/规则给每个答案打分r_i计算组内z-score得到优势 Â_i每个答案的所有token 共享 Â_i计算 token级重要性比率r_i,t θ最大化裁剪目标+ KL 惩罚 更新π_θ是否达到训练轮数?将 π_θ_old同步为 π_θ输出训练好的模型
查看图示结构
flowchart TD
    A[输入一批问题 q] --> B[用当前策略 π_θ 对每个问题采样 G 个答案]
    B --> C[用奖励模型/规则给每个答案打分 r_i]
    C --> D[计算组内 z-score 得到优势 Â_i]
    D --> E[每个答案的所有 token 共享 Â_i]
    E --> F[计算 token 级重要性比率 r_i,t θ]
    F --> G[最大化裁剪目标 + KL 惩罚 更新 π_θ]
    G --> H{是否达到训练轮数?}
    H -->|否| I[将 π_θ_old 同步为 π_θ]
    I --> A
    H -->|是| J[输出训练好的模型]

训练流程的详细步骤:

  1. 采样:对于每个问题 qq,用当前策略 πθ\pi_\theta 生成 GG 个答案 o1o_1 到 oGo_G。
  2. 评分:用奖励函数(可以是规则验证器 verifier,也可以是奖励模型 RM)给每个答案打分 rir_i。
  3. 优势计算:对每个组内的 GG 个奖励计算均值和标准差,做 z-score 标准化得到 A^i\hat{A}_i。
  4. 策略更新:用裁剪策略梯度目标最大化 JGRPO(θ)J_{GRPO}(\theta),同时加入 KL 惩罚。
  5. 同步旧策略:每个 episode 结束后,把 πθold\pi_{\theta_{old}} 的权重更新为当前 πθ\pi_\theta 的权重。
  6. 重复:回到步骤 1,直到收敛或达到预设轮数。

2.5 GRPO 暴露的六大问题

GRPO 虽然简单有效,但在实际应用中(尤其是大规模、长序列、多奖励的场景下)暴露了一系列问题。这些问题正是后续所有变体试图解决的靶点。

问题一:长度偏置(Length Bias)

GRPO 目标函数中的 1/∣oi∣1/|o_i| 项(按答案长度归一化)会产生一个反直觉的效果:错误的答案倾向于越写越长。

原因是:假设一个错误答案写了 1000 个 token,另一个正确答案写了 100 个 token。按长度归一化后,错误答案每个 token 的损失权重是 1/10001/1000,正确答案是 1/1001/100。这意味着错误答案的每个 token 受到的梯度信号更弱,模型更难从错误中学习。反过来,模型发现"把错误答案写长"可以降低被惩罚的力度,于是逐渐倾向于生成更长的输出——这就是长度膨胀(Length Inflation / Verbosity Bias)。

问题二:难度偏置(Difficulty Bias)

GRPO 用组内标准差 std 做归一化,但对于"特别简单"或"特别难"的题目,会出现问题:

  • 简单题:GG 个答案可能全对(rir_i 全为 1),此时 std = 0,所有优势 A^i=0\hat{A}_i = 0,模型得不到任何梯度信号——白采样了。
  • 极难题:GG 个答案可能全错(rir_i 全为 0),同样 std = 0,优势全为零。

这种"整组同分"的现象在二值奖励(0/1)场景下尤其严重,导致大量计算资源浪费在零梯度的样本上。

问题三:训练不稳定(Training Instability)

GRPO 在 token 级计算重要性采样比率 ri,t(θ)r_{i,t}(\theta)。在长序列(几千个 token)和 MoE(Mixture of Experts,混合专家模型,读音 /ˈmɪkstʃər əv ˈekspɜːrts/)架构下,token 级比率的方差非常大,某些 token 的比率可能极端偏离 1,导致梯度爆炸或训练崩溃。

问题四:裁剪丢梯度(Clip Kills Gradients)

PPO 式的 clip 机制在 token 级应用时,会使一些低概率但高优势的关键 token(比如推理链中的"反思"或"关键转折"token)的梯度被裁剪为零。这些 token 虽然出现概率低,但对最终答案的正确性至关重要,被裁剪后模型无法有效学习。

问题五:奖励信息过粗(Coarse Reward)

GRPO 把整个答案的优势平摊给所有 token(A^i,t=A^i\hat{A}_{i,t} = \hat{A}_i),这意味着:一条 3000 token 的错误推理中,可能只有第 1800 步走错了,前 1799 步都是正确的,但所有 token 一起被惩罚。这种"一人犯错全家挨罚"的信用分配方式,在长序列推理中效率很低。

问题六:多奖励塌缩(Multi-Reward Collapse)

当训练信号包含多个奖励维度时(比如"正确性 + 格式合规 + 长度控制 + 安全性"),GRPO 通常把多个奖励直接相加得到一个总分,再做组内归一化。这会导致一个问题:不同的奖励组合可能塌缩成相同的总分。例如,"格式正确但内容错误"和"内容正确但格式错误"可能得到相同的总分,模型无法区分应该优先优化哪个维度。

以上六大问题,构成了 GRPO 变体演进的核心靶点。下一章将系统梳理业界围绕这些问题提出的代表性变体。


三、GRPO 变体详解

3.1 变体全景总览

自 GRPO 因 DeepSeek-R1 成名以来,业界和学术界围绕其六大问题提出了大量改进变体。这些变体可以按照改进路线分为六大类:

路线 核心问题 代表变体
一、工程系统与大规模稳定 训练不稳定、系统效率 DAPO、GSPO、Dr. GRPO
二、偏置修正与极简化 长度偏置、难度偏置 DAPO、Dr. GRPO、GFPO
三、优化粒度(序列级 vs token 级) token 级比率方差大、裁剪丢梯度 GSPO、CISPO、SPO+
四、采样/数据/难度自适应 整组同分、零梯度浪费 DAPO(动态采样)、难度自适应方法
五、多奖励解耦 多奖励塌缩 GDPO、MCPO
六、价值回归 奖励信息过粗、信用分配差 VAPO
GRPO组相对策略优化路线一:工程系统DAPO / GSPO /Dr.GRPO路线二:偏置修正DAPO /Dr.GRPO /GFPO路线三:优化粒度GSPO / CISPO /SPO+路线四:采样自适应DAPO动态采样路线五:多奖励解耦GDPO / MCPO路线六:价值回归VAPODAPO字节跳动GSPOMoE专用Dr.GRPO诊断与修复GFPO组流策略优化CISPO关键token保护GDPO组DPOVAPO价值感知
查看图示结构
graph TD
    GRPO["GRPO<br/>组相对策略优化"] --> R1["路线一:工程系统<br/>DAPO / GSPO / Dr.GRPO"]
    GRPO --> R2["路线二:偏置修正<br/>DAPO / Dr.GRPO / GFPO"]
    GRPO --> R3["路线三:优化粒度<br/>GSPO / CISPO / SPO+"]
    GRPO --> R4["路线四:采样自适应<br/>DAPO动态采样"]
    GRPO --> R5["路线五:多奖励解耦<br/>GDPO / MCPO"]
    GRPO --> R6["路线六:价值回归<br/>VAPO"]
    R1 --> DAPO["DAPO<br/>字节跳动"]
    R1 --> GSPO["GSPO<br/>MoE专用"]
    R1 --> DR["Dr.GRPO<br/>诊断与修复"]
    R2 --> GFPO["GFPO<br/>组流策略优化"]
    R3 --> CISPO["CISPO<br/>关键token保护"]
    R5 --> GDPO["GDPO<br/>组DPO"]
    R6 --> VAPO["VAPO<br/>价值感知"]

下面逐条路线详细讲解每个变体的核心思想、公式修改和适用场景。

3.2 路线一:工程系统与大规模稳定

DAPO:Dynamic Sampling + Adaptive Clipping + Policy Optimization

DAPO(Dynamic sampling, Adaptive clipping, and Policy Optimization,读音 /ˈdɑːpoʊ/,由字节跳动 Seed 团队提出,论文 arXiv:2503.14476)是目前工业界最受关注的 GRPO 改进版本,被称为"GRPO++"。它不是单一技巧,而是一组工程改进的组合,核心解决 GRPO 的三个问题:难度偏置、长度偏置、训练不稳定。

DAPO 的三个核心改进:

改进一:动态采样(Dynamic Sampling)

GRPO 对每个问题固定采样 GG 个答案。DAPO 改为动态采样:对每个问题,持续采样答案直到组内同时出现"正确答案"和"错误答案"(即奖励有正有负),或者达到最大采样数 GmaxG_{max}(读音 /dʒiː/,表示最大采样数)。

停止条件:∃i,j 使得 ri>0 且 rj=0,或采样数达到 Gmax\text{停止条件:} \quad \exists i,j \text{ 使得 } r_i > 0 \text{ 且 } r_j = 0, \quad \text{或采样数达到 } G_{max}

式中: ∃\exists(读音 /ɪɡˈzɪsts/,全称 exists,表示"存在")是存在量词。该式的含义是:当组内同时存在正奖励和零奖励的答案时停止采样,或者达到上限。

动态采样的好处是:避免了"整组全对"或"整组全错"导致的零梯度浪费,显著提高了样本效率。在数学推理场景中,DAPO 的动态采样可以将有效样本比例提高 2–3 倍。

改进二:自适应裁剪(Adaptive Clipping)

GRPO 使用固定的裁剪范围 ϵ\epsilon(通常 0.2)。DAPO 发现固定裁剪在训练后期会限制模型的学习能力,提出自适应裁剪范围:

ϵt=ϵinit⋅(1−tTtotal)+ϵmin⋅tTtotal\epsilon_t = \epsilon_{init} \cdot (1 - \frac{t}{T_{total}}) + \epsilon_{min} \cdot \frac{t}{T_{total}}

式中: ϵt\epsilon_t(读音 /ˈɛpsɪlɒn/)是第 tt 步的裁剪范围;ϵinit\epsilon_{init}(读音 /ˈɛpsɪlɒn/,initial 的缩写)是初始裁剪范围;ϵmin\epsilon_{min}(读音 /ˈɛpsɪlɒn/,minimum 的缩写)是最小裁剪范围;tt 是当前训练步数;TtotalT_{total}(读音 /tiː/,表示总训练步数)是总训练步数。该式的含义是:裁剪范围随训练步数线性衰减,训练初期用较大的裁剪范围允许较大的策略更新,训练后期用较小的裁剪范围保证稳定。

改进三:Token 级长度归一化修正

GRPO 的 1/∣oi∣1/|o_i| 长度归一化导致长度偏置。DAPO 提出在计算损失时,不再按每个答案的长度单独归一化,而是用组内平均长度作为归一化因子:

JDAPO=E[1G∑i=1G1∣o∣ˉ∑t=1∣oi∣min⁡(ri,tA^i,t, clip(ri,t,1−ϵt,1+ϵt)A^i,t)]J_{DAPO} = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{\bar{|o|}}\sum_{t=1}^{|o_i|}\min\left(r_{i,t}\hat{A}_{i,t},\ \mathrm{clip}(r_{i,t},1-\epsilon_t,1+\epsilon_t)\hat{A}_{i,t}\right)\right]

式中: ∣o∣ˉ\bar{|o|}(读音 /oʊ/,上标横线表示平均值)是组内所有答案的平均 token 长度,即 ∣o∣ˉ=1G∑i=1G∣oi∣\bar{|o|} = \frac{1}{G}\sum_{i=1}^G |o_i|。用组内平均长度代替每个答案的自身长度,消除了"长答案梯度弱"的偏置。

DAPO 的效果: 在数学推理基准(MATH、AIME 等)上,DAPO 相比 GRPO 有显著提升,同时训练更稳定。DAPO 的思想已经被多个开源框架(如 OpenRLHF、veRL)集成。

GSPO:Group Sequence-level Policy Optimization

GSPO(Group Sequence-level Policy Optimization,读音 /ˈdʒiːspoʊ/,由微软研究院提出,论文 arXiv:2507.18619)专门针对 MoE(Mixture of Experts,混合专家)模型的 RL 训练稳定性问题。

GSPO 的核心洞察是:在 MoE 模型中,token 级的重要性采样比率 ri,t(θ)r_{i,t}(\theta) 方差极大,因为不同 token 被路由到不同的专家组合,专家权重的微小变化会导致某些 token 的概率剧烈波动。这使得 token 级 PPO clip 在 MoE 上极易失效。

GSPO 的解决方案是:把优化粒度从 token 级提升到序列级。

具体来说,GSPO 定义序列级的重要性比率为该序列所有 token 比率的几何平均:

riseq(θ)=exp⁡(1∣oi∣∑t=1∣oi∣log⁡ri,t(θ))r_i^{seq}(\theta) = \exp\left(\frac{1}{|o_i|}\sum_{t=1}^{|o_i|} \log r_{i,t}(\theta)\right)

式中: riseq(θ)r_i^{seq}(\theta)(读音 /ɑːr/,上标 seq 表示 sequence 序列级)是第 ii 个答案的序列级重要性比率;exp⁡\exp(读音 /ˌekspəˈnenʃəl/,exponential 的缩写,表示自然指数函数 exe^x)是指数函数;log⁡ri,t(θ)\log r_{i,t}(\theta) 是第 tt 个 token 比率的对数。几何平均比算术平均对极端值更鲁棒,能有效降低 MoE 训练中的比率方差。

然后在序列级应用裁剪:

JGSPO=E[1G∑i=1Gmin⁡(riseq(θ)A^i, clip(riseq(θ),1−ϵ,1+ϵ)A^i)]J_{GSPO} = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\min\left(r_i^{seq}(\theta)\hat{A}_i,\ \mathrm{clip}(r_i^{seq}(\theta),1-\epsilon,1+\epsilon)\hat{A}_i\right)\right]

GSPO 在 MoE 模型上的训练稳定性显著优于 token 级 GRPO,是 MoE RL 训练的首选方案。

Dr. GRPO:诊断与修复

Dr. GRPO(读音 /ˈdɒktər ˈɡruːpoʊ/,由卡内基梅隆大学等机构提出,论文 arXiv:2507.05670)是对 GRPO 训练过程的系统性诊断和修复。它通过大量实验识别出 GRPO 训练中的几个关键失效模式,并提出对应的修复技巧:

  1. KL 系数调度:GRPO 的 KL 惩罚系数 β\beta 固定会导致训练后期策略被过度约束。Dr. GRPO 提出动态调整 β\beta,当 KL 超过阈值时增大 β\beta,低于阈值时减小。
  2. 长度惩罚:在奖励中加入长度惩罚项 riadjusted=ri−λ⋅∣oi∣r_i^{adjusted} = r_i - \lambda \cdot |o_i|(读音 /ɑːr/,λ\lambda 是长度惩罚系数),直接抑制长度膨胀。
  3. 优势截断:对 z-score 标准化后的优势 A^i\hat{A}_i 做截断(比如限制在 [-3, 3] 范围内),防止极端优势值导致梯度爆炸。

3.3 路线二:偏置修正与极简化

GFPO:Group Flow Policy Optimization

GFPO(Group Flow Policy Optimization,读音 /ˈdʒiːfpoʊ/,由南洋理工大学等提出,论文 arXiv:2507.02380)从一个全新的视角审视 GRPO:它证明了 GRPO 的目标函数可以被重新解释为一种最优传输(Optimal Transport,读音 /ˈɒptɪməl ˈtrænspɔːrt/)中的"流"(flow),并在此基础上提出了更简洁的形式。

GFPO 的核心公式是:

JGFPO=E[1G∑i=1GA^i⋅log⁡πθ(oi∣q)πref(oi∣q)]J_{GFPO} = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\hat{A}_i \cdot \log \frac{\pi_\theta(o_i \mid q)}{\pi_{ref}(o_i \mid q)}\right]

式中: πθ(oi∣q)\pi_\theta(o_i \mid q) 是当前策略生成答案 oio_i 的概率(所有 token 概率的乘积);πref(oi∣q)\pi_{ref}(o_i \mid q) 是参考策略生成答案 oio_i 的概率;log⁡(πθ/πref)\log(\pi_\theta/\pi_{ref}) 是当前策略相对于参考策略的对数似然比。GFPO 去掉了 PPO 式的 clip 和重要性采样比率,直接用对数似然比乘以优势,形式上更接近原始的 REINFORCE,但用组内优势代替了价值估计。

GFPO 的优势是:实现更简单,没有 clip 超参数,且在某些场景下效果优于 GRPO。

3.4 路线三:优化粒度(序列级 vs token 级)

CISPO:Critical-token Importance Sampling Policy Optimization

CISPO(读音 /ˈsɪspoʊ/,由清华大学等提出,论文 arXiv:2507.01602)针对 GRPO 的"裁剪丢梯度"问题。它的核心洞察是:PPO clip 在 token 级应用时,会把一些低概率但高优势的关键 token(比如推理链中的"反思"token、"纠正错误"的转折 token)的梯度裁剪为零,因为这些 token 的重要性比率容易超出裁剪范围。

CISPO 的解决方案是:只对非关键 token 应用 clip,对关键 token 不裁剪。

关键 token 的识别方法:CISPO 用一个简单的启发式规则——如果一个 token 的优势贡献(通过 leave-one-out 方法估算,即"去掉这个 token 后答案的奖励变化量")超过某个阈值,则标记为关键 token。

JCISPO=E[1G∑i=1G1∣oi∣∑t=1∣oi∣wi,t⋅min⁡(ri,tA^i,t, clip(ri,t,1−ϵ,1+ϵ)A^i,t)+(1−wi,t)⋅ri,tA^i,t]J_{CISPO} = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|o_i|}\sum_{t=1}^{|o_i|} w_{i,t}\cdot \min\left(r_{i,t}\hat{A}_{i,t},\ \mathrm{clip}(r_{i,t},1-\epsilon,1+\epsilon)\hat{A}_{i,t}\right) + (1-w_{i,t})\cdot r_{i,t}\hat{A}_{i,t}\right]

式中: wi,t∈{0,1}w_{i,t} \in \{0,1\}(读音 /ˈdʌbəljuː/,取值 0 或 1 的二值权重)是关键 token 标记:wi,t=1w_{i,t}=1 表示该 token 是普通 token,应用 clip;wi,t=0w_{i,t}=0 表示该 token 是关键 token,不应用 clip(直接用未裁剪的目标)。CISPO 在推理任务上能更好地保护"反思"和"纠错"等关键行为。

SPO+:Sequence-level Policy Optimization Plus

SPO+(读音 /ˈspoʊ plʌs/)是 GSPO 思想的进一步推广,不仅在序列级计算重要性比率,还在序列级计算优势和损失,完全消除 token 级的方差。它适用于对训练稳定性要求极高的大规模场景。

3.5 路线四:采样/数据/难度自适应

这一路线的变体主要围绕"如何更高效地采样和利用数据"展开,核心是 DAPO 的动态采样(已在 3.2 节介绍)。此外还有一些相关工作:

  • 难度自适应采样:根据模型当前的能力水平,动态调整训练数据的难度分布。太简单的题(整组全对)和太难的题(整组全错)都降低采样权重,中等难度的题(组内有对有错)增加采样权重。
  • 数据筛选:在采样后、训练前,过滤掉"整组同分"的无效样本,只保留有正有负的组。这比动态采样更简单,但会浪费已采样的计算。

3.6 路线五:多奖励解耦

GDPO:Group Direct Preference Optimization

GDPO(Group Direct Preference Optimization,读音 /ˈdʒiːdipoʊ/,由香港大学等提出,论文 arXiv:2507.01576)针对 GRPO 的"多奖励塌缩"问题。它的核心思想是:不把多个奖励相加,而是把组内答案按奖励排序,转化为成对的偏好(preference),然后用 DPO(Direct Preference Optimization,直接偏好优化)的方式训练。

具体来说,对于一个组内的 GG 个答案,按总奖励排序后,选取"高奖励答案"和"低奖励答案"组成偏好对 (ochosen,orejected)(o_{chosen}, o_{rejected})(读音 /oʊ/,chosen 表示被选中的较优答案,rejected 表示被拒绝的较差答案),然后用 DPO 损失训练:

LDPO=−log⁡σ(β(log⁡πθ(ochosen∣q)πref(ochosen∣q)−log⁡πθ(orejected∣q)πref(orejected∣q)))L_{DPO} = -\log \sigma\left(\beta \left(\log\frac{\pi_\theta(o_{chosen} \mid q)}{\pi_{ref}(o_{chosen} \mid q)} - \log\frac{\pi_\theta(o_{rejected} \mid q)}{\pi_{ref}(o_{rejected} \mid q)}\right)\right)

式中: σ\sigma(读音 /ˈsɪɡmə/,这里表示 sigmoid 函数,定义为输入 xx 时输出 11+e−x\frac{1}{1 + e^{-x}},注意不是求和符号)是 sigmoid 函数;β\beta(读音 /ˈbeɪtə/,希腊字母 beta)是温度系数;log⁡(πθ/πref)\log(\pi_\theta/\pi_{ref}) 是策略相对于参考策略的对数似然比。DPO 损失的含义是:让模型增加"较优答案"的相对概率,降低"较差答案"的相对概率。

GDPO 的优势是:天然支持多奖励(可以分别在每个奖励维度上构建偏好对),且不需要 PPO 式的 clip 和重要性采样,训练更稳定。

MCPO:Multi-Constraint Policy Optimization

MCPO(读音 /ˌemsiːˈpoʊ/)针对多约束(多奖励)场景,把每个奖励维度作为一个独立的约束,用拉格朗日乘子法(Lagrangian Multiplier,读音 /ləˈɡrɑːndʒən ˈmʌltɪplaɪər/)同时优化。它适合有明确格式约束、安全约束等多目标场景。

3.7 路线六:价值回归(VAPO)

VAPO(Value-Aware Policy Optimization,读音 /ˈveɪpoʊ/)代表了 GRPO 演进的一个重要方向:重新引入价值估计,但不是 PPO 那种独立的 Critic 网络,而是用更轻量、更鲁棒的方式。

VAPO 的核心洞察是:GRPO 把整个答案的优势平摊给所有 token(A^i,t=A^i\hat{A}_{i,t} = \hat{A}_i),在长序列推理中信用分配效率很低。VAPO 提出用一个轻量级的 token 级价值估计来修正优势:

A^i,tVAPO=A^i+α⋅(Vϕ(q,oi,≤t)−Vˉ)\hat{A}_{i,t}^{VAPO} = \hat{A}_i + \alpha \cdot (V_\phi(q, o_{i,\leq t}) - \bar{V})

式中: A^i,tVAPO\hat{A}_{i,t}^{VAPO}(读音 /eɪ/)是 VAPO 的 token 级优势;A^i\hat{A}_i 是 GRPO 的组内优势(所有 token 共享);α\alpha(读音 /ˈælfə/,希腊字母 alpha,表示价值修正的权重系数)是价值修正权重;Vϕ(q,oi,≤t)V_\phi(q, o_{i,\leq t})(读音 /viː/)是一个轻量价值头(可以是附加在主模型上的小 MLP,读音 /ˌmʌltiˈleɪər ˈpɜːrseptrɒn/,Multi-Layer Perceptron 多层感知机)对"问题 + 已生成前缀"的价值估计;Vˉ\bar{V}(读音 /viː/,上标横线表示均值)是组内价值估计的均值。

VAPO 的价值头比 PPO 的 Critic 轻量得多(不需要独立的大模型),且只作为 GRPO 组内优势的"修正项"而非"替代项",因此不会像 PPO Critic 那样引入大的估计误差。VAPO 在长输出推理任务上能显著提升信用分配效率。

3.8 其他前沿变体

除了上述六大路线的代表变体,还有一些值得关注的前沿工作:

  • ARPO(Absolute Relative Policy Optimization):结合绝对奖励和相对优势,解决组内标准化在极端分布下的问题。
  • PRO(Process Reward Optimization):用过程奖励模型(Process Reward Model,PRM)给推理链中的每一步打分,替代 GRPO 的结果奖励,实现更细粒度的信用分配。
  • ReMax++:在 GRPO 基础上引入"探索奖励",鼓励模型尝试不同的推理路径,防止模式坍塌(mode collapse,读音 /moʊd kəˈlæps/,指模型只生成少数几种答案)。
  • GRPO with KL annealing:KL 惩罚系数随训练进度退火(annealing,读音 /əˈniːlɪŋ/,表示逐渐降低),训练初期强 KL 保证稳定,后期弱 KL 允许充分探索。

3.9 变体选型速查

场景 推荐变体 理由
通用数学/代码推理,追求 SOTA DAPO 动态采样 + 自适应裁剪 + 长度修正,工业界验证最充分
MoE 模型训练 GSPO 序列级比率,解决 MoE token 级方差问题
多奖励/多约束训练 GDPO / MCPO 偏好对形式天然支持多维度,避免奖励塌缩
长输出推理(>2000 token) VAPO token 级价值修正,提升信用分配
推理中需要保护反思/纠错 CISPO 关键 token 不裁剪,保护低概率高价值行为
追求极简实现、少超参 GFPO 无 clip,形式简洁
训练不稳定、需要诊断 Dr. GRPO 系统性诊断 + 修复技巧包

四、对 Base AI 业务的落地价值

4.1 业务场景与 GRPO 痛点的对应

Base AI(多维表格的 AI 能力)当前的核心业务场景包括:Spec Agent(自然语言生成多维表格配置规范)、CodeAct(代码执行范式,模型生成代码并通过 SDK 操作多维表格)、Auto-Thinking(自动思考模式选择,DIRECT/THINK_SHORT/REPLAN 三种模式)。这些场景与 GRPO 及其变体的痛点有精确的对应关系:

业务场景 GRPO 原始痛点 对应变体
Spec Agent(配置生成) 多奖励塌缩(正确性 + 格式合规 + 简洁性) GDPO / MCPO
CodeAct(代码执行) 长输出信用分配差、训练不稳定 VAPO / GSPO
Auto-Thinking(模式选择) 裁剪丢梯度(关键反思 token 被裁) CISPO
所有场景 长度膨胀(输出越来越长) Dr. GRPO / DAPO 长度修正
MoE 模型(如使用) token 级比率方差大 GSPO
所有场景 难度偏置(简单题零梯度) DAPO 动态采样

4.2 DAPO:最值得优先落地的"GRPO++"

DAPO 是目前工业界验证最充分、改进最全面的 GRPO 变体,建议作为 Base AI RL 训练的默认基线。

对 Spec Agent 的价值:

  • 动态采样解决"配置生成题"中整组全对/全错的问题,提高样本效率。
  • 长度归一化修正抑制 Spec 输出越来越长的趋势。
  • 自适应裁剪在训练后期允许更大的策略更新,加速收敛。

对 CodeAct 的价值:

  • CodeAct 的输出通常包含多轮"生成代码→执行→观察→修正"的循环,序列很长。DAPO 的长度修正和自适应裁剪能显著提升长序列训练的稳定性。

落地建议: 直接在现有 GRPO 训练框架中替换三个组件——采样器改为动态采样、裁剪范围改为自适应、长度归一化改为组内平均长度。改动量小,收益大。

4.3 VAPO:长输出信用分配的终极方案

CodeAct 场景的输出可能包含几十轮代码执行循环,总 token 数可达数千甚至上万。GRPO 把整个序列的优势平摊给所有 token,信用分配效率极低。

VAPO 的价值:

  • 轻量价值头可以给"每一轮代码执行"的前缀赋予不同的价值估计,实现粗粒度的信用分配。
  • 不需要像 PPO 那样维护独立的 Critic 大模型,显存开销可控。
  • 价值修正只是 GRPO 组内优势的"增量",不会引入 PPO Critic 估计不准的大误差。

落地建议: 在 CodeAct 的 RL 训练中,先以 DAPO 为基线,待基线稳定后叠加 VAPO 的价值头作为第二阶段优化。价值头可以用主模型的最后一层 hidden state 接一个小 MLP 实现。

4.4 GDPO:多奖励训练的解耦方案

Spec Agent 的训练天然是多奖励的:一个好的 Spec 需要同时满足"配置正确""格式合规""简洁可读""覆盖用户需求"等多个维度。GRPO 把这些奖励相加会导致塌缩。

GDPO 的价值:

  • 可以在每个奖励维度上独立构建偏好对,分别训练,避免不同维度的奖励互相抵消。
  • DPO 式的训练不需要 PPO clip 和重要性采样,实现更简单,训练更稳定。
  • 天然支持"格式合规"这类二值奖励(合规/不合规)作为独立约束。

落地建议: 对于有明确多维度奖励的 Spec Agent 场景,可以尝试用 GDPO 替代 GRPO 作为训练目标。初期可以只在"正确性"和"格式合规"两个维度上构建偏好对,验证效果后再扩展。

4.5 GSPO:MoE 训练稳定性保障

如果 Base AI 的模型使用 MoE 架构(或未来迁移到 MoE),GSPO 是必备的。MoE 模型的 token 级重要性比率方差极大,标准 GRPO 在 MoE 上极易训练崩溃。

落地建议: 如果当前或计划使用 MoE 模型,直接采用 GSPO 的序列级重要性比率。如果是 dense 模型(读音 /dens/,稠密模型,与 MoE 相对),token 级 GRPO 通常足够,但序列级比率也可以作为稳定性增强选项。

4.6 Dr. GRPO / GFPO:控制长度膨胀

Base AI 的所有生成场景都面临长度膨胀的风险——模型发现"写得越长越不容易被惩罚",导致输出越来越啰嗦。

Dr. GRPO 的长度惩罚是最直接的方案:在奖励中减去与长度成正比的惩罚项。这个改动极其简单(只改奖励函数),但效果显著。

GFPO 则从目标函数层面消除了长度偏置,且实现更简洁。可以作为替代方案进行 A/B 测试。

落地建议: 优先尝试 Dr. GRPO 的长度惩罚(改动最小),如果效果不够再考虑 GFPO 的目标函数替换。

4.7 CISPO:保护 Auto-Thinking 的关键反思 token

Auto-Thinking 中的 REPLAN 模式涉及"发现之前的计划有问题→重新规划"的关键转折。这些转折 token 在训练初期出现概率很低,在 GRPO 的 token 级 clip 下容易被裁剪为零梯度,导致模型学不会"主动反思和纠错"。

CISPO 的价值:

  • 通过 leave-one-out 方法识别"反思/纠错"关键 token,对这些 token 不应用 clip。
  • 保护低概率但高价值的行为,让模型学会在必要时主动重新规划。

落地建议: 在 Auto-Thinking 的 RL 训练中,可以用一个简单的规则标记关键 token(比如"重新规划""修正""换一种方式"等语义的 token),对这些 token 关闭 clip。这比完整实现 CISPO 的 leave-one-out 更简单,但能获得类似的收益。

4.8 推荐落地路径

综合以上分析,建议 Base AI 的 RL 训练演进按以下路径推进:

阶段一DAPO 基线动态采样+自适应裁剪+长度修正阶段二场景化增强CodeAct: VAPOSpec: GDPOMoE: GSPO阶段三精细优化CISPO关键token保护Dr.GRPO长度惩罚难度自适应采样
查看图示结构
flowchart LR
    P1["阶段一<br/>DAPO 基线<br/>动态采样+自适应裁剪+长度修正"] --> P2["阶段二<br/>场景化增强<br/>CodeAct: VAPO<br/>Spec: GDPO<br/>MoE: GSPO"]
    P2 --> P3["阶段三<br/>精细优化<br/>CISPO 关键token保护<br/>Dr.GRPO 长度惩罚<br/>难度自适应采样"]
  1. 阶段一(立即可做):将现有 GRPO 升级为 DAPO。改动量小(三个组件替换),收益明确(样本效率、稳定性、长度控制)。
  2. 阶段二(1–2 个月):根据各业务场景的特点叠加场景化增强。CodeAct 叠加 VAPO,Spec Agent 尝试 GDPO,如有 MoE 模型则用 GSPO。
  3. 阶段三(持续优化):精细调优,包括 CISPO 式的关键 token 保护、Dr. GRPO 的长度惩罚和 KL 调度、难度自适应采样等。

核心建议: 不要同时引入所有变体。每个变体都有其适用场景和超参数,同时引入会导致无法归因。建议每次只引入一个改进,做严格的 A/B 测试,确认收益后再叠加下一个。


参考资料

  • DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models (arXiv:2402.03300) — GRPO 原始论文
  • DAPO: Dynamic Sampling, Adaptive Clipping, and Policy Optimization (arXiv:2503.14476) — 字节跳动 Seed 团队
  • GSPO: Group Sequence-level Policy Optimization (arXiv:2507.18619) — 微软研究院
  • Dr. GRPO: Diagnosing and Fixing GRPO (arXiv:2507.05670) — CMU 等
  • GFPO: Group Flow Policy Optimization (arXiv:2507.02380) — 南洋理工等
  • CISPO: Critical-token Importance Sampling Policy Optimization (arXiv:2507.01602) — 清华等
  • GDPO: Group Direct Preference Optimization (arXiv:2507.01576) — 港大等
  • VAPO: Value-Aware Policy Optimization — 上交等