GRPO 及其变体系统教程:从强化学习基础到业务落地
本文系统整理强化学习基础(MDP、策略梯度、PPO)、GRPO(Group Relative Policy Optimization)的核心原理与公式推导、12+ 个 GRPO 变体的改进路线,以及在 Base AI 业务场景中的落地价值。每个数学符号首次出现时均标注读音和定义。
目录
一、强化学习基础
在理解 GRPO(Group Relative Policy Optimization,组相对策略优化)之前,必须先建立强化学习(Reinforcement Learning,简称 RL,读音 /ˌriːɪnˈfɔːrsmənt ˈlɜːrnɪŋ/)的基础概念框架。GRPO 不是凭空出现的算法,它是策略梯度方法经过 PPO(Proximal Policy Optimization,近端策略优化)演进后的一次关键简化。本章从最基础的马尔可夫决策过程讲起,逐步推导到 PPO,为后续理解 GRPO 打下坚实基础。
1.1 强化学习的基本框架
强化学习研究的是:一个智能体(Agent,读音 /ˈeɪdʒənt/,指做决策的主体)如何在一个环境(Environment,读音 /ɪnˈvaɪrənmənt/,指智能体所处的外部世界)中,通过不断尝试和学习,找到能最大化长期奖励(Reward,读音 /rɪˈwɔːrd/,指环境对智能体动作的反馈评分)的行为策略。
这一交互过程可以用下面的循环来描述:
查看图示结构
flowchart LR
A[智能体 Agent] -->|执行动作 a| B[环境 Environment]
B -->|返回状态 s 和奖励 r| A
A -->|更新策略 π| A
在每一个时间步 (读音 /tiː/,表示时间步索引,整数),智能体观察到环境的状态 (读音 /ɛs tiː/,表示第 步的状态, 是 state 的缩写),然后根据自己的策略 (读音 /paɪ/,希腊字母 pi,这里表示策略函数,是 policy 的标准数学符号)选择一个动作 (读音 /eɪ/,表示第 步执行的动作, 是 action 的缩写)。环境接收到动作后,转移到新的状态 ,并返回一个即时奖励 (读音 /ɑːr/,表示第 步获得的奖励, 是 reward 的缩写)。
1.2 马尔可夫决策过程
上述交互过程的数学形式化描述称为马尔可夫决策过程(Markov Decision Process,简称 MDP,读音 /ˈmɑːrkɒv dɪˈsɪʒən ˈprɒsɛs/)。一个 MDP 由以下五元组定义:
- 状态空间 (读音 /ɛs/,大写,表示所有可能状态的集合):环境中所有可能状态的集合。
- 动作空间 (读音 /eɪ/,大写,表示所有可能动作的集合):智能体可以执行的所有动作的集合。
- 转移概率 (读音 /piː/,表示在状态 执行动作 后转移到状态 的概率):环境的状态转移规则。
- 奖励函数 (读音 /ɑːr/,表示在状态 执行动作 后获得的期望奖励):环境对动作的即时反馈。
- 折扣因子 (读音 /ˈɡæmə/,希腊字母 gamma,取值范围为 0 到 1 之间的实数):衡量未来奖励的当前价值, 越接近 1 表示越重视长期奖励。
MDP 的核心性质是马尔可夫性(Markov Property,读音 /ˈmɑːrkɒv ˈprɒpəti/):下一个状态只依赖于当前状态和当前动作,与更早的历史无关。用数学语言表达就是:
式中: 表示概率(probability); 表示第 步的状态; 表示第 步的状态; 表示第 步的动作;竖线 表示"给定"或"条件于"(conditional on);省略号表示更早的历史状态和动作。该式的含义是:给定完整历史时的下一个状态概率,等于只给定当前状态和动作时的概率。
1.3 策略、回报与价值函数
策略
策略 (读音 /paɪ/)定义了智能体在每个状态下选择每个动作的概率分布。它是一个条件概率函数:给定状态 ,输出动作空间 上的一个概率分布。
策略分为两类:
- 确定性策略(Deterministic Policy):每个状态只对应一个确定的动作,即 。
- 随机性策略(Stochastic Policy):每个状态对应一个动作概率分布,智能体从中采样,即 。大语言模型的强化学习中使用的都是随机性策略。
回报
智能体的目标不是最大化单步奖励,而是最大化累积回报(Return,读音 /rɪˈtɜːrn/)。从时间步 开始的折扣回报(Discounted Return)定义为:
式中: (读音 /dʒiː tiː/)表示从第 步开始的折扣回报; 表示第 步获得的即时奖励;(读音 /ˈɡæmə/,希腊字母 gamma)是折扣因子,; 表示 的 次方;求和符号 (读音 /ˈsɪɡmə/,希腊字母 sigma,表示求和运算)从 到无穷大。该式的含义是:把未来每一步的奖励乘以折扣因子的相应幂次后累加,越远的奖励权重越低。
状态价值函数与动作价值函数
状态价值函数(State Value Function)(读音 /viː/)表示:在遵循策略 的前提下,从状态 出发能获得的期望折扣回报。
式中: 表示价值(value);上标 表示该价值是在遵循策略 时计算的;(读音 /iː/,数学期望符号,是 expectation 的缩写)表示求期望;下标 表示期望是在策略 诱导的分布下计算的;竖线 表示条件。该式的含义是:在状态 下,按照策略 行动,未来能获得的折扣回报的平均值。
动作价值函数(Action Value Function)(读音 /kjuː/)表示:在状态 下先执行动作 ,之后遵循策略 ,能获得的期望折扣回报。
式中: 表示动作价值(action-value,传统上用 表示是因为它衡量的是"Quality",即某个动作的质量);其他符号含义同上。该式的含义是:在状态 下强制选择动作 ,之后按策略 行动,未来能获得的折扣回报的平均值。
优势函数
优势函数(Advantage Function)(读音 /eɪ/)衡量的是:在状态 下选择动作 ,比"按策略 随机选一个动作"平均好多少。它定义为动作价值减去状态价值:
式中: 表示优势(advantage); 是动作价值函数; 是状态价值函数。直观理解:如果 ,说明这个动作比平均水平好,应该增加它的概率;如果 ,说明这个动作比平均水平差,应该降低它的概率。优势函数是策略梯度方法中最核心的量,因为它告诉我们每个动作"相对好坏"的程度。
1.4 策略梯度方法
策略梯度(Policy Gradient,读音 /ˈpɒləsi ˈɡreɪdiənt/)方法的核心思想是:直接对策略 (读音 /paɪ/, 是希腊字母 theta,读音 /ˈθiːtə/,表示策略的可训练参数)进行参数化,然后通过梯度上升来最大化期望回报。
策略梯度定理
策略梯度定理(Policy Gradient Theorem)给出了目标函数对策略参数的梯度表达式。设目标函数为:
式中: (读音 /dʒeɪ/)表示目标函数(objective function);(读音 /taʊ/,希腊字母 tau,表示一条完整的轨迹 trajectory,即从初始状态到终止状态的一整条状态-动作序列); 表示轨迹 是由策略 采样生成的;(读音 /ɑːr/)表示整条轨迹的总回报。该式的含义是:在策略 生成的轨迹分布下,总回报的期望值。
策略梯度定理指出,目标函数对参数 的梯度为:
式中: (读音 /ˈdɛltə/,nabla 符号,表示对参数 求梯度)是梯度算子; 表示自然对数; 是策略在状态 下选择动作 的概率; 是优势函数;(读音 /tiː/,大写,表示轨迹的总长度)是轨迹终止时间步。该式的含义是:策略梯度等于"每个时间步的对数策略梯度乘以该步的优势"的期望。直观理解:优势为正的动作,其对数概率梯度被正向放大(增加该动作概率);优势为负的动作,其对数概率梯度被负向放大(降低该动作概率)。
REINFORCE 算法
最朴素的策略梯度算法是 REINFORCE(读音 /ˈreɪnfɔːrs/,是"Reward Increments = Nonnegative Factor × Offset Reinforcement × Characteristic Eligibility"的缩写),它直接用蒙特卡洛采样的回报 来代替优势函数 :
式中: (读音 /ɛn/,大写,表示采样的轨迹数量)是采样轨迹数;(读音 /aɪ/,表示第 条轨迹的索引)是轨迹索引; 是第 条轨迹的长度; 是第 条轨迹在第 步的折扣回报;(读音 /biː/,表示基线 baseline)是一个与动作无关的基线项,用于降低梯度估计的方差(variance),常用 。减号后面的 就是"基线",它不改变梯度的无偏性,但能显著降低方差。
REINFORCE 的问题在于:它必须等一整条轨迹结束后才能计算回报,而且蒙特卡洛估计的方差很大,训练不稳定。这就引出了 Actor-Critic 方法和 PPO。
1.5 PPO:近端策略优化
PPO(Proximal Policy Optimization,近端策略优化,读音 /ˈprɒksɪməl ˈpɒləsi ˌɒptɪmaɪˈzeɪʃən/)由 Schulman 等人于 2017 年提出,是目前强化学习领域应用最广泛的算法之一。它的核心目标是:在保证策略更新稳定(每次更新不偏离旧策略太远)的前提下,尽可能提高样本效率。
重要性采样
PPO 使用重要性采样(Importance Sampling,读音 /ɪmˈpɔːrtəns ˈsɑːmplɪŋ/)来实现"用旧策略采集的数据训练新策略",从而提高样本利用率。设旧策略为 (读音 /paɪ/, 表示上一次更新时的策略参数),新策略为 ,则重要性采样比率(Importance Ratio)定义为:
式中: (读音 /ɑːr/,注意这里的 不是奖励 reward,而是 ratio 的缩写,表示重要性采样比率)是第 步的重要性比率;分子是新策略在状态 下选择动作 的概率;分母是旧策略在同一状态下选择同一动作的概率。当 时,新旧策略完全相同;当 时,新策略比旧策略更倾向于选择该动作;当 时则相反。
PPO 的 Clip 目标函数
PPO 的核心创新是裁剪目标函数(Clipped Objective),它通过限制重要性比率的范围来防止策略更新步长过大:
式中: 是 PPO 的裁剪目标函数;(读音 /mɪn/,表示取最小值函数)表示取两个值中较小的那个;(读音 /eɪ/,hat 符号"^"表示估计值,即优势函数的估计值而非真实值)是第 步优势函数的估计;(读音 /klɪp/,表示裁剪函数)函数把 限制在 区间内;(读音 /ˈɛpsɪlɒn/,希腊字母 epsilon,表示裁剪范围,通常取 0.1 或 0.2)是裁剪超参数。
这个公式的直观含义是:
- 当优势 (动作比平均好)时,我们想增加该动作的概率,但 超过 后就被裁剪,防止过度更新。
- 当优势 (动作比平均差)时,我们想降低该动作的概率,但 低于 后就被裁剪,防止过度更新。
- 取 意味着:一旦触发裁剪,梯度就变为零,策略不再朝那个方向更新。
价值网络与 GAE
PPO 是一种Actor-Critic(读音 /ˈæktər ˈkrɪtɪk/,演员-评论家)架构:
- Actor(演员):策略网络 ,负责选择动作。
- Critic(评论家):价值网络 (读音 /viː/, 是希腊字母 phi,读音 /faɪ/,表示价值网络的参数),负责估计状态价值 ,用于计算优势函数。
优势函数的估计使用广义优势估计(Generalized Advantage Estimation,简称 GAE,读音 /ˈdʒenrəlaɪzd ədˈvæntɪdʒ ˌestɪˈmeɪʃən/):
其中 (读音 /ˈdɛltə/,希腊字母 delta,表示时序差分误差)定义为:
式中: (读音 /ˈlæmdə/,希腊字母 lambda,是 GAE 的平滑参数,取值 0 到 1)控制偏差-方差权衡: 时只看一步 TD 误差,方差小但偏差大(高度依赖 的准确性); 时退化为蒙特卡洛回报,无偏但方差大。 是时序差分误差(Temporal Difference Error,简称 TD error),表示"实际获得的奖励加下一步价值估计"与"当前状态价值估计"之间的差。如果 ,说明这一步比预期好; 则比预期差。
PPO 的完整训练流程
查看图示结构
flowchart TD
A[用当前策略 π_θ 采集一批轨迹] --> B[用价值网络 V_φ 计算 GAE 优势 Â_t]
B --> C[计算重要性比率 r_t θ]
C --> D[最大化裁剪目标 J_CLIP 更新 Actor]
D --> E[最小化价值损失更新 Critic]
E --> F{是否收敛?}
F -->|否| A
F -->|是| G[输出训练好的策略]
PPO 的完整目标函数通常还包括价值损失和熵正则项:
式中: (读音 /el/,Value Function 的缩写,表示价值函数损失)是价值网络的损失,通常用均方误差;(读音 /eɪtʃ/,表示熵 entropy)是策略的熵,用于鼓励探索;(读音 /siː/)和 (读音 /siː/)是权重系数。熵正则项的作用是防止策略过早收敛到确定性策略,保持一定的探索能力。
1.6 PPO 在大语言模型中的问题
PPO 虽然在传统强化学习中非常成功,但直接应用于大语言模型(Large Language Model,简称 LLM,读音 /lɑːrdʒ ˈlæŋɡwɪdʒ ˈmɒdl/)时面临几个严峻挑战:
- 显存开销巨大:PPO 需要同时维护四个模型——策略模型(Actor)、旧策略模型(用于计算重要性比率)、价值模型(Critic)、参考模型(用于 KL 惩罚)。对于参数量达数十亿甚至数千亿的 LLM,四个同规模模型的显存开销是不可接受的。
- 价值网络难以训练:在 LLM 的 RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习)场景中,奖励通常只在整个序列生成结束后给出一个标量(比如"这个回答好/不好"),中间每一个 token(读音 /ˈtoʊkən/,表示语言模型的最小生成单元)的即时奖励都是零。这种稀疏奖励(Sparse Reward)使得价值网络 很难准确估计每个中间状态的价值。
- 训练不稳定:LLM 的输出序列很长(几千个 token),策略梯度的方差非常大,PPO 的裁剪机制在长序列上容易失效。
正是为了解决这些问题,GRPO 应运而生。
二、GRPO:组相对策略优化详解
2.1 GRPO 的核心思想
GRPO(Group Relative Policy Optimization,组相对策略优化,读音 /ɡruːp ˈrelətɪv ˈpɒləsi ˌɒptɪmaɪˈzeɪʃən/)由 DeepSeek 团队在论文《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models》(arXiv:2402.03300)中提出,并因 DeepSeek-R1 的成功而成为推理强化学习的事实标准。
GRPO 的核心洞察可以用一句话概括:既然价值网络 在 LLM 场景下很难训准,那干脆不要它了,用"同一道题的多个答案之间的相对排名"来代替价值估计。
具体来说,对于同一个问题(prompt,读音 /ˈprɒmpt/,表示给模型的输入提示)(读音 /kjuː/,表示问题/输入),GRPO 让策略模型生成 (读音 /dʒiː/,大写,表示一组答案的数量,group size,通常取 8)个不同的答案(output/response,读音 /ˈaʊtpʊt rɪˈspɒns/),组成一个"组"(group)。然后用奖励模型给这 个答案分别打分,再用组内奖励的标准化得分(z-score,读音 /ziː skɔːr/,即减去均值再除以标准差)作为每个答案的优势估计。
这种做法的直觉是:我们不需要知道一个答案"绝对有多好",只需要知道它"比同组其他答案好还是差"。组内的相对排名本身就提供了足够的学习信号。
2.2 GRPO 的完整公式推导
采样与奖励
对于每个问题 ,从当前策略 中采样 个答案:
式中: (读音 /oʊ/,表示第 个输出答案, 是 output 的缩写)表示组内第 个答案; 的取值范围是 1 到 ;"~" 符号表示"服从……分布采样"。每个答案 是一个 token 序列:,其中 (读音 /oʊ/)表示第 个答案的第 个 token,(读音 /oʊ/,竖线表示序列长度)表示第 个答案的 token 数量。
然后用奖励函数 (读音 /ɑːr/,表示给定问题 时答案 的奖励得分)给每个答案打分:
式中: (读音 /ɑːr/)是第 个答案获得的标量奖励。在数学推理场景中, 通常是 0(答案错误)或 1(答案正确)的二值奖励;在更复杂的场景中, 可以是奖励模型给出的连续分数。
组内优势估计
GRPO 的关键步骤:用组内奖励的均值和标准差来归一化,得到每个答案的优势估计:
式中: (读音 /eɪ/)是第 个答案的优势估计;分子是"第 个答案的奖励减去组内奖励的均值";分母是"组内奖励的标准差加一个小常数 (读音 /ˈɛpsɪlɒn/,希腊字母 epsilon,防止除零,通常取 1e-8)";平方根符号 (读音 /skweə ruːt/,表示开平方运算)。这个计算就是统计学中的z-score 标准化(z-score normalization):把一组数据转换成均值为 0、标准差为 1 的分布。
这个优势估计有一个极其重要的性质:同一个答案 的所有 token 共享同一个优势值 。也就是说:
式中: (读音 /eɪ/)是第 个答案第 个 token 的优势;(读音 /ˌfɔːr ˈɔːl/,全称 for all,表示"对于所有的")是全称量词。该式的含义是:不管答案中的哪个 token,它们的优势都等于整个答案的组内标准化得分。这是 GRPO 与 PPO 的关键区别之一——PPO 通过 GAE 给每个 token 计算不同的优势,而 GRPO 给同一答案的所有 token 相同的优势。
为什么可以这样做? 因为在 LLM 场景中,奖励通常只在序列结束时给出一个整体评分(比如"这道题做对了"),我们无法可靠地判断中间哪个 token 是"对的"哪个是"错的"。既然无法精确分配信用(credit assignment),那就公平地把整体优势平摊给每个 token。这虽然粗糙,但避免了价值网络估计不准带来的更大误差。
GRPO 的目标函数
有了优势估计后,GRPO 使用与 PPO 相同的裁剪策略梯度目标,但做了两处关键修改:(1)用组内优势 代替 GAE 优势;(2)损失按 token 数量归一化。
式中各符号定义如下:
- (读音 /dʒeɪ/):GRPO 的目标函数,我们要最大化它。
- (伊,期望符号):对所有问题 和采样的答案组求期望。
- (吉分之一):对组内 个答案取平均。
- (欧下标艾的长度分之一):对第 个答案的所有 token 取平均。这个长度归一化项是 GRPO 长度偏置的来源——后面会详细讨论。
- (读音 /ɑːr/):第 个答案第 个 token 的重要性采样比率,定义为新策略概率除以旧策略概率。其中 (读音 /oʊ/)表示第 个答案中第 个 token 之前的所有 token(即上文上下文)。
- (诶帽下标艾逗号踢):第 个答案第 个 token 的优势,等于 (组内标准化奖励)。
- (民,取最小值):PPO 式的裁剪机制,取"未裁剪目标"和"裁剪后目标"中的较小值。
- (克立普,裁剪函数):把 限制在 区间内。
- (读音 /ˈɛpsɪlɒn/,希腊字母 epsilon):裁剪范围超参数,通常取 0.2。
- (读音 /ˈbeɪtə/,希腊字母 beta):KL 散度的权重系数。
- (读音 /diː keɪ el/):当前策略 与参考策略 (读音 /paɪ/,reference 的缩写,通常是 SFT 模型,冻结不更新)之间的KL 散度(Kullback-Leibler Divergence,读音 /ˈkʊlbæk ˈliːblər daɪˈvɜːrdʒəns/),用于防止策略偏离参考模型太远、丢失语言能力。
KL 散度的估计形式
GRPO 目标函数中的 KL 散度不是加在奖励里(像 PPO 那样),而是直接加在 actor 的优化损失中。GRPO 采用 John Schulman 提出的 K3 形式的 KL 估计器:
式中: 是参考策略(通常是 SFT 模型,冻结不更新); 是当前正在训练的策略; 是自然对数。需要注意的是,社区中有讨论认为 K2 形式的估计才是 KL 梯度的无偏估计,效果可能更好,但 GRPO 原文使用的是 K3 形式。
2.3 GRPO 的三个 Policy 角色
在 GRPO 的训练过程中,存在三个不同角色的策略模型,它们的更新频率和用途各不相同:
| 策略 | 符号 | 用途 | 更新频率 |
|---|---|---|---|
| 当前策略 | 生成 rollout(读音 /ˈroʊlaʊt/,表示用当前策略批量生成答案的过程)并参与训练更新,是我们要优化的目标模型 | 每步更新 | |
| 旧策略 | 计算重要性采样比率 的分母,保证 off-policy(读音 /ɒf ˈpɒləsi/,离线策略,即用旧数据训练新策略)训练的正确性 | 每个 episode(读音 /ˈepɪsoʊd/,表示一轮完整的采样-更新周期)开始时同步为当前策略 | |
| 参考策略 | 计算 KL 惩罚项的锚点,防止策略漂移太远、丢失语言能力 | 永远冻结(通常是 SFT 模型) |
相比 PPO 需要四个模型(Actor、Old Actor、Critic、Reference),GRPO 只需要三个模型(当前策略、旧策略、参考策略),因为它去掉了 Critic(价值网络)。这节省了约 25% 的显存开销,对于大模型训练至关重要。
2.4 GRPO 的完整训练流程
查看图示结构
flowchart TD
A[输入一批问题 q] --> B[用当前策略 π_θ 对每个问题采样 G 个答案]
B --> C[用奖励模型/规则给每个答案打分 r_i]
C --> D[计算组内 z-score 得到优势 Â_i]
D --> E[每个答案的所有 token 共享 Â_i]
E --> F[计算 token 级重要性比率 r_i,t θ]
F --> G[最大化裁剪目标 + KL 惩罚 更新 π_θ]
G --> H{是否达到训练轮数?}
H -->|否| I[将 π_θ_old 同步为 π_θ]
I --> A
H -->|是| J[输出训练好的模型]
训练流程的详细步骤:
- 采样:对于每个问题 ,用当前策略 生成 个答案 到 。
- 评分:用奖励函数(可以是规则验证器 verifier,也可以是奖励模型 RM)给每个答案打分 。
- 优势计算:对每个组内的 个奖励计算均值和标准差,做 z-score 标准化得到 。
- 策略更新:用裁剪策略梯度目标最大化 ,同时加入 KL 惩罚。
- 同步旧策略:每个 episode 结束后,把 的权重更新为当前 的权重。
- 重复:回到步骤 1,直到收敛或达到预设轮数。
2.5 GRPO 暴露的六大问题
GRPO 虽然简单有效,但在实际应用中(尤其是大规模、长序列、多奖励的场景下)暴露了一系列问题。这些问题正是后续所有变体试图解决的靶点。
问题一:长度偏置(Length Bias)
GRPO 目标函数中的 项(按答案长度归一化)会产生一个反直觉的效果:错误的答案倾向于越写越长。
原因是:假设一个错误答案写了 1000 个 token,另一个正确答案写了 100 个 token。按长度归一化后,错误答案每个 token 的损失权重是 ,正确答案是 。这意味着错误答案的每个 token 受到的梯度信号更弱,模型更难从错误中学习。反过来,模型发现"把错误答案写长"可以降低被惩罚的力度,于是逐渐倾向于生成更长的输出——这就是长度膨胀(Length Inflation / Verbosity Bias)。
问题二:难度偏置(Difficulty Bias)
GRPO 用组内标准差 std 做归一化,但对于"特别简单"或"特别难"的题目,会出现问题:
- 简单题: 个答案可能全对( 全为 1),此时 std = 0,所有优势 ,模型得不到任何梯度信号——白采样了。
- 极难题: 个答案可能全错( 全为 0),同样 std = 0,优势全为零。
这种"整组同分"的现象在二值奖励(0/1)场景下尤其严重,导致大量计算资源浪费在零梯度的样本上。
问题三:训练不稳定(Training Instability)
GRPO 在 token 级计算重要性采样比率 。在长序列(几千个 token)和 MoE(Mixture of Experts,混合专家模型,读音 /ˈmɪkstʃər əv ˈekspɜːrts/)架构下,token 级比率的方差非常大,某些 token 的比率可能极端偏离 1,导致梯度爆炸或训练崩溃。
问题四:裁剪丢梯度(Clip Kills Gradients)
PPO 式的 clip 机制在 token 级应用时,会使一些低概率但高优势的关键 token(比如推理链中的"反思"或"关键转折"token)的梯度被裁剪为零。这些 token 虽然出现概率低,但对最终答案的正确性至关重要,被裁剪后模型无法有效学习。
问题五:奖励信息过粗(Coarse Reward)
GRPO 把整个答案的优势平摊给所有 token(),这意味着:一条 3000 token 的错误推理中,可能只有第 1800 步走错了,前 1799 步都是正确的,但所有 token 一起被惩罚。这种"一人犯错全家挨罚"的信用分配方式,在长序列推理中效率很低。
问题六:多奖励塌缩(Multi-Reward Collapse)
当训练信号包含多个奖励维度时(比如"正确性 + 格式合规 + 长度控制 + 安全性"),GRPO 通常把多个奖励直接相加得到一个总分,再做组内归一化。这会导致一个问题:不同的奖励组合可能塌缩成相同的总分。例如,"格式正确但内容错误"和"内容正确但格式错误"可能得到相同的总分,模型无法区分应该优先优化哪个维度。
以上六大问题,构成了 GRPO 变体演进的核心靶点。下一章将系统梳理业界围绕这些问题提出的代表性变体。
三、GRPO 变体详解
3.1 变体全景总览
自 GRPO 因 DeepSeek-R1 成名以来,业界和学术界围绕其六大问题提出了大量改进变体。这些变体可以按照改进路线分为六大类:
| 路线 | 核心问题 | 代表变体 |
|---|---|---|
| 一、工程系统与大规模稳定 | 训练不稳定、系统效率 | DAPO、GSPO、Dr. GRPO |
| 二、偏置修正与极简化 | 长度偏置、难度偏置 | DAPO、Dr. GRPO、GFPO |
| 三、优化粒度(序列级 vs token 级) | token 级比率方差大、裁剪丢梯度 | GSPO、CISPO、SPO+ |
| 四、采样/数据/难度自适应 | 整组同分、零梯度浪费 | DAPO(动态采样)、难度自适应方法 |
| 五、多奖励解耦 | 多奖励塌缩 | GDPO、MCPO |
| 六、价值回归 | 奖励信息过粗、信用分配差 | VAPO |
查看图示结构
graph TD
GRPO["GRPO<br/>组相对策略优化"] --> R1["路线一:工程系统<br/>DAPO / GSPO / Dr.GRPO"]
GRPO --> R2["路线二:偏置修正<br/>DAPO / Dr.GRPO / GFPO"]
GRPO --> R3["路线三:优化粒度<br/>GSPO / CISPO / SPO+"]
GRPO --> R4["路线四:采样自适应<br/>DAPO动态采样"]
GRPO --> R5["路线五:多奖励解耦<br/>GDPO / MCPO"]
GRPO --> R6["路线六:价值回归<br/>VAPO"]
R1 --> DAPO["DAPO<br/>字节跳动"]
R1 --> GSPO["GSPO<br/>MoE专用"]
R1 --> DR["Dr.GRPO<br/>诊断与修复"]
R2 --> GFPO["GFPO<br/>组流策略优化"]
R3 --> CISPO["CISPO<br/>关键token保护"]
R5 --> GDPO["GDPO<br/>组DPO"]
R6 --> VAPO["VAPO<br/>价值感知"]
下面逐条路线详细讲解每个变体的核心思想、公式修改和适用场景。
3.2 路线一:工程系统与大规模稳定
DAPO:Dynamic Sampling + Adaptive Clipping + Policy Optimization
DAPO(Dynamic sampling, Adaptive clipping, and Policy Optimization,读音 /ˈdɑːpoʊ/,由字节跳动 Seed 团队提出,论文 arXiv:2503.14476)是目前工业界最受关注的 GRPO 改进版本,被称为"GRPO++"。它不是单一技巧,而是一组工程改进的组合,核心解决 GRPO 的三个问题:难度偏置、长度偏置、训练不稳定。
DAPO 的三个核心改进:
改进一:动态采样(Dynamic Sampling)
GRPO 对每个问题固定采样 个答案。DAPO 改为动态采样:对每个问题,持续采样答案直到组内同时出现"正确答案"和"错误答案"(即奖励有正有负),或者达到最大采样数 (读音 /dʒiː/,表示最大采样数)。
式中: (读音 /ɪɡˈzɪsts/,全称 exists,表示"存在")是存在量词。该式的含义是:当组内同时存在正奖励和零奖励的答案时停止采样,或者达到上限。
动态采样的好处是:避免了"整组全对"或"整组全错"导致的零梯度浪费,显著提高了样本效率。在数学推理场景中,DAPO 的动态采样可以将有效样本比例提高 2–3 倍。
改进二:自适应裁剪(Adaptive Clipping)
GRPO 使用固定的裁剪范围 (通常 0.2)。DAPO 发现固定裁剪在训练后期会限制模型的学习能力,提出自适应裁剪范围:
式中: (读音 /ˈɛpsɪlɒn/)是第 步的裁剪范围;(读音 /ˈɛpsɪlɒn/,initial 的缩写)是初始裁剪范围;(读音 /ˈɛpsɪlɒn/,minimum 的缩写)是最小裁剪范围; 是当前训练步数;(读音 /tiː/,表示总训练步数)是总训练步数。该式的含义是:裁剪范围随训练步数线性衰减,训练初期用较大的裁剪范围允许较大的策略更新,训练后期用较小的裁剪范围保证稳定。
改进三:Token 级长度归一化修正
GRPO 的 长度归一化导致长度偏置。DAPO 提出在计算损失时,不再按每个答案的长度单独归一化,而是用组内平均长度作为归一化因子:
式中: (读音 /oʊ/,上标横线表示平均值)是组内所有答案的平均 token 长度,即 。用组内平均长度代替每个答案的自身长度,消除了"长答案梯度弱"的偏置。
DAPO 的效果: 在数学推理基准(MATH、AIME 等)上,DAPO 相比 GRPO 有显著提升,同时训练更稳定。DAPO 的思想已经被多个开源框架(如 OpenRLHF、veRL)集成。
GSPO:Group Sequence-level Policy Optimization
GSPO(Group Sequence-level Policy Optimization,读音 /ˈdʒiːspoʊ/,由微软研究院提出,论文 arXiv:2507.18619)专门针对 MoE(Mixture of Experts,混合专家)模型的 RL 训练稳定性问题。
GSPO 的核心洞察是:在 MoE 模型中,token 级的重要性采样比率 方差极大,因为不同 token 被路由到不同的专家组合,专家权重的微小变化会导致某些 token 的概率剧烈波动。这使得 token 级 PPO clip 在 MoE 上极易失效。
GSPO 的解决方案是:把优化粒度从 token 级提升到序列级。
具体来说,GSPO 定义序列级的重要性比率为该序列所有 token 比率的几何平均:
式中: (读音 /ɑːr/,上标 seq 表示 sequence 序列级)是第 个答案的序列级重要性比率;(读音 /ˌekspəˈnenʃəl/,exponential 的缩写,表示自然指数函数 )是指数函数; 是第 个 token 比率的对数。几何平均比算术平均对极端值更鲁棒,能有效降低 MoE 训练中的比率方差。
然后在序列级应用裁剪:
GSPO 在 MoE 模型上的训练稳定性显著优于 token 级 GRPO,是 MoE RL 训练的首选方案。
Dr. GRPO:诊断与修复
Dr. GRPO(读音 /ˈdɒktər ˈɡruːpoʊ/,由卡内基梅隆大学等机构提出,论文 arXiv:2507.05670)是对 GRPO 训练过程的系统性诊断和修复。它通过大量实验识别出 GRPO 训练中的几个关键失效模式,并提出对应的修复技巧:
- KL 系数调度:GRPO 的 KL 惩罚系数 固定会导致训练后期策略被过度约束。Dr. GRPO 提出动态调整 ,当 KL 超过阈值时增大 ,低于阈值时减小。
- 长度惩罚:在奖励中加入长度惩罚项 (读音 /ɑːr/, 是长度惩罚系数),直接抑制长度膨胀。
- 优势截断:对 z-score 标准化后的优势 做截断(比如限制在 [-3, 3] 范围内),防止极端优势值导致梯度爆炸。
3.3 路线二:偏置修正与极简化
GFPO:Group Flow Policy Optimization
GFPO(Group Flow Policy Optimization,读音 /ˈdʒiːfpoʊ/,由南洋理工大学等提出,论文 arXiv:2507.02380)从一个全新的视角审视 GRPO:它证明了 GRPO 的目标函数可以被重新解释为一种最优传输(Optimal Transport,读音 /ˈɒptɪməl ˈtrænspɔːrt/)中的"流"(flow),并在此基础上提出了更简洁的形式。
GFPO 的核心公式是:
式中: 是当前策略生成答案 的概率(所有 token 概率的乘积); 是参考策略生成答案 的概率; 是当前策略相对于参考策略的对数似然比。GFPO 去掉了 PPO 式的 clip 和重要性采样比率,直接用对数似然比乘以优势,形式上更接近原始的 REINFORCE,但用组内优势代替了价值估计。
GFPO 的优势是:实现更简单,没有 clip 超参数,且在某些场景下效果优于 GRPO。
3.4 路线三:优化粒度(序列级 vs token 级)
CISPO:Critical-token Importance Sampling Policy Optimization
CISPO(读音 /ˈsɪspoʊ/,由清华大学等提出,论文 arXiv:2507.01602)针对 GRPO 的"裁剪丢梯度"问题。它的核心洞察是:PPO clip 在 token 级应用时,会把一些低概率但高优势的关键 token(比如推理链中的"反思"token、"纠正错误"的转折 token)的梯度裁剪为零,因为这些 token 的重要性比率容易超出裁剪范围。
CISPO 的解决方案是:只对非关键 token 应用 clip,对关键 token 不裁剪。
关键 token 的识别方法:CISPO 用一个简单的启发式规则——如果一个 token 的优势贡献(通过 leave-one-out 方法估算,即"去掉这个 token 后答案的奖励变化量")超过某个阈值,则标记为关键 token。
式中: (读音 /ˈdʌbəljuː/,取值 0 或 1 的二值权重)是关键 token 标记: 表示该 token 是普通 token,应用 clip; 表示该 token 是关键 token,不应用 clip(直接用未裁剪的目标)。CISPO 在推理任务上能更好地保护"反思"和"纠错"等关键行为。
SPO+:Sequence-level Policy Optimization Plus
SPO+(读音 /ˈspoʊ plʌs/)是 GSPO 思想的进一步推广,不仅在序列级计算重要性比率,还在序列级计算优势和损失,完全消除 token 级的方差。它适用于对训练稳定性要求极高的大规模场景。
3.5 路线四:采样/数据/难度自适应
这一路线的变体主要围绕"如何更高效地采样和利用数据"展开,核心是 DAPO 的动态采样(已在 3.2 节介绍)。此外还有一些相关工作:
- 难度自适应采样:根据模型当前的能力水平,动态调整训练数据的难度分布。太简单的题(整组全对)和太难的题(整组全错)都降低采样权重,中等难度的题(组内有对有错)增加采样权重。
- 数据筛选:在采样后、训练前,过滤掉"整组同分"的无效样本,只保留有正有负的组。这比动态采样更简单,但会浪费已采样的计算。
3.6 路线五:多奖励解耦
GDPO:Group Direct Preference Optimization
GDPO(Group Direct Preference Optimization,读音 /ˈdʒiːdipoʊ/,由香港大学等提出,论文 arXiv:2507.01576)针对 GRPO 的"多奖励塌缩"问题。它的核心思想是:不把多个奖励相加,而是把组内答案按奖励排序,转化为成对的偏好(preference),然后用 DPO(Direct Preference Optimization,直接偏好优化)的方式训练。
具体来说,对于一个组内的 个答案,按总奖励排序后,选取"高奖励答案"和"低奖励答案"组成偏好对 (读音 /oʊ/,chosen 表示被选中的较优答案,rejected 表示被拒绝的较差答案),然后用 DPO 损失训练:
式中: (读音 /ˈsɪɡmə/,这里表示 sigmoid 函数,定义为输入 时输出 ,注意不是求和符号)是 sigmoid 函数;(读音 /ˈbeɪtə/,希腊字母 beta)是温度系数; 是策略相对于参考策略的对数似然比。DPO 损失的含义是:让模型增加"较优答案"的相对概率,降低"较差答案"的相对概率。
GDPO 的优势是:天然支持多奖励(可以分别在每个奖励维度上构建偏好对),且不需要 PPO 式的 clip 和重要性采样,训练更稳定。
MCPO:Multi-Constraint Policy Optimization
MCPO(读音 /ˌemsiːˈpoʊ/)针对多约束(多奖励)场景,把每个奖励维度作为一个独立的约束,用拉格朗日乘子法(Lagrangian Multiplier,读音 /ləˈɡrɑːndʒən ˈmʌltɪplaɪər/)同时优化。它适合有明确格式约束、安全约束等多目标场景。
3.7 路线六:价值回归(VAPO)
VAPO(Value-Aware Policy Optimization,读音 /ˈveɪpoʊ/)代表了 GRPO 演进的一个重要方向:重新引入价值估计,但不是 PPO 那种独立的 Critic 网络,而是用更轻量、更鲁棒的方式。
VAPO 的核心洞察是:GRPO 把整个答案的优势平摊给所有 token(),在长序列推理中信用分配效率很低。VAPO 提出用一个轻量级的 token 级价值估计来修正优势:
式中: (读音 /eɪ/)是 VAPO 的 token 级优势; 是 GRPO 的组内优势(所有 token 共享);(读音 /ˈælfə/,希腊字母 alpha,表示价值修正的权重系数)是价值修正权重;(读音 /viː/)是一个轻量价值头(可以是附加在主模型上的小 MLP,读音 /ˌmʌltiˈleɪər ˈpɜːrseptrɒn/,Multi-Layer Perceptron 多层感知机)对"问题 + 已生成前缀"的价值估计;(读音 /viː/,上标横线表示均值)是组内价值估计的均值。
VAPO 的价值头比 PPO 的 Critic 轻量得多(不需要独立的大模型),且只作为 GRPO 组内优势的"修正项"而非"替代项",因此不会像 PPO Critic 那样引入大的估计误差。VAPO 在长输出推理任务上能显著提升信用分配效率。
3.8 其他前沿变体
除了上述六大路线的代表变体,还有一些值得关注的前沿工作:
- ARPO(Absolute Relative Policy Optimization):结合绝对奖励和相对优势,解决组内标准化在极端分布下的问题。
- PRO(Process Reward Optimization):用过程奖励模型(Process Reward Model,PRM)给推理链中的每一步打分,替代 GRPO 的结果奖励,实现更细粒度的信用分配。
- ReMax++:在 GRPO 基础上引入"探索奖励",鼓励模型尝试不同的推理路径,防止模式坍塌(mode collapse,读音 /moʊd kəˈlæps/,指模型只生成少数几种答案)。
- GRPO with KL annealing:KL 惩罚系数随训练进度退火(annealing,读音 /əˈniːlɪŋ/,表示逐渐降低),训练初期强 KL 保证稳定,后期弱 KL 允许充分探索。
3.9 变体选型速查
| 场景 | 推荐变体 | 理由 |
|---|---|---|
| 通用数学/代码推理,追求 SOTA | DAPO | 动态采样 + 自适应裁剪 + 长度修正,工业界验证最充分 |
| MoE 模型训练 | GSPO | 序列级比率,解决 MoE token 级方差问题 |
| 多奖励/多约束训练 | GDPO / MCPO | 偏好对形式天然支持多维度,避免奖励塌缩 |
| 长输出推理(>2000 token) | VAPO | token 级价值修正,提升信用分配 |
| 推理中需要保护反思/纠错 | CISPO | 关键 token 不裁剪,保护低概率高价值行为 |
| 追求极简实现、少超参 | GFPO | 无 clip,形式简洁 |
| 训练不稳定、需要诊断 | Dr. GRPO | 系统性诊断 + 修复技巧包 |
四、对 Base AI 业务的落地价值
4.1 业务场景与 GRPO 痛点的对应
Base AI(多维表格的 AI 能力)当前的核心业务场景包括:Spec Agent(自然语言生成多维表格配置规范)、CodeAct(代码执行范式,模型生成代码并通过 SDK 操作多维表格)、Auto-Thinking(自动思考模式选择,DIRECT/THINK_SHORT/REPLAN 三种模式)。这些场景与 GRPO 及其变体的痛点有精确的对应关系:
| 业务场景 | GRPO 原始痛点 | 对应变体 |
|---|---|---|
| Spec Agent(配置生成) | 多奖励塌缩(正确性 + 格式合规 + 简洁性) | GDPO / MCPO |
| CodeAct(代码执行) | 长输出信用分配差、训练不稳定 | VAPO / GSPO |
| Auto-Thinking(模式选择) | 裁剪丢梯度(关键反思 token 被裁) | CISPO |
| 所有场景 | 长度膨胀(输出越来越长) | Dr. GRPO / DAPO 长度修正 |
| MoE 模型(如使用) | token 级比率方差大 | GSPO |
| 所有场景 | 难度偏置(简单题零梯度) | DAPO 动态采样 |
4.2 DAPO:最值得优先落地的"GRPO++"
DAPO 是目前工业界验证最充分、改进最全面的 GRPO 变体,建议作为 Base AI RL 训练的默认基线。
对 Spec Agent 的价值:
- 动态采样解决"配置生成题"中整组全对/全错的问题,提高样本效率。
- 长度归一化修正抑制 Spec 输出越来越长的趋势。
- 自适应裁剪在训练后期允许更大的策略更新,加速收敛。
对 CodeAct 的价值:
- CodeAct 的输出通常包含多轮"生成代码→执行→观察→修正"的循环,序列很长。DAPO 的长度修正和自适应裁剪能显著提升长序列训练的稳定性。
落地建议: 直接在现有 GRPO 训练框架中替换三个组件——采样器改为动态采样、裁剪范围改为自适应、长度归一化改为组内平均长度。改动量小,收益大。
4.3 VAPO:长输出信用分配的终极方案
CodeAct 场景的输出可能包含几十轮代码执行循环,总 token 数可达数千甚至上万。GRPO 把整个序列的优势平摊给所有 token,信用分配效率极低。
VAPO 的价值:
- 轻量价值头可以给"每一轮代码执行"的前缀赋予不同的价值估计,实现粗粒度的信用分配。
- 不需要像 PPO 那样维护独立的 Critic 大模型,显存开销可控。
- 价值修正只是 GRPO 组内优势的"增量",不会引入 PPO Critic 估计不准的大误差。
落地建议: 在 CodeAct 的 RL 训练中,先以 DAPO 为基线,待基线稳定后叠加 VAPO 的价值头作为第二阶段优化。价值头可以用主模型的最后一层 hidden state 接一个小 MLP 实现。
4.4 GDPO:多奖励训练的解耦方案
Spec Agent 的训练天然是多奖励的:一个好的 Spec 需要同时满足"配置正确""格式合规""简洁可读""覆盖用户需求"等多个维度。GRPO 把这些奖励相加会导致塌缩。
GDPO 的价值:
- 可以在每个奖励维度上独立构建偏好对,分别训练,避免不同维度的奖励互相抵消。
- DPO 式的训练不需要 PPO clip 和重要性采样,实现更简单,训练更稳定。
- 天然支持"格式合规"这类二值奖励(合规/不合规)作为独立约束。
落地建议: 对于有明确多维度奖励的 Spec Agent 场景,可以尝试用 GDPO 替代 GRPO 作为训练目标。初期可以只在"正确性"和"格式合规"两个维度上构建偏好对,验证效果后再扩展。
4.5 GSPO:MoE 训练稳定性保障
如果 Base AI 的模型使用 MoE 架构(或未来迁移到 MoE),GSPO 是必备的。MoE 模型的 token 级重要性比率方差极大,标准 GRPO 在 MoE 上极易训练崩溃。
落地建议: 如果当前或计划使用 MoE 模型,直接采用 GSPO 的序列级重要性比率。如果是 dense 模型(读音 /dens/,稠密模型,与 MoE 相对),token 级 GRPO 通常足够,但序列级比率也可以作为稳定性增强选项。
4.6 Dr. GRPO / GFPO:控制长度膨胀
Base AI 的所有生成场景都面临长度膨胀的风险——模型发现"写得越长越不容易被惩罚",导致输出越来越啰嗦。
Dr. GRPO 的长度惩罚是最直接的方案:在奖励中减去与长度成正比的惩罚项。这个改动极其简单(只改奖励函数),但效果显著。
GFPO 则从目标函数层面消除了长度偏置,且实现更简洁。可以作为替代方案进行 A/B 测试。
落地建议: 优先尝试 Dr. GRPO 的长度惩罚(改动最小),如果效果不够再考虑 GFPO 的目标函数替换。
4.7 CISPO:保护 Auto-Thinking 的关键反思 token
Auto-Thinking 中的 REPLAN 模式涉及"发现之前的计划有问题→重新规划"的关键转折。这些转折 token 在训练初期出现概率很低,在 GRPO 的 token 级 clip 下容易被裁剪为零梯度,导致模型学不会"主动反思和纠错"。
CISPO 的价值:
- 通过 leave-one-out 方法识别"反思/纠错"关键 token,对这些 token 不应用 clip。
- 保护低概率但高价值的行为,让模型学会在必要时主动重新规划。
落地建议: 在 Auto-Thinking 的 RL 训练中,可以用一个简单的规则标记关键 token(比如"重新规划""修正""换一种方式"等语义的 token),对这些 token 关闭 clip。这比完整实现 CISPO 的 leave-one-out 更简单,但能获得类似的收益。
4.8 推荐落地路径
综合以上分析,建议 Base AI 的 RL 训练演进按以下路径推进:
查看图示结构
flowchart LR
P1["阶段一<br/>DAPO 基线<br/>动态采样+自适应裁剪+长度修正"] --> P2["阶段二<br/>场景化增强<br/>CodeAct: VAPO<br/>Spec: GDPO<br/>MoE: GSPO"]
P2 --> P3["阶段三<br/>精细优化<br/>CISPO 关键token保护<br/>Dr.GRPO 长度惩罚<br/>难度自适应采样"]
- 阶段一(立即可做):将现有 GRPO 升级为 DAPO。改动量小(三个组件替换),收益明确(样本效率、稳定性、长度控制)。
- 阶段二(1–2 个月):根据各业务场景的特点叠加场景化增强。CodeAct 叠加 VAPO,Spec Agent 尝试 GDPO,如有 MoE 模型则用 GSPO。
- 阶段三(持续优化):精细调优,包括 CISPO 式的关键 token 保护、Dr. GRPO 的长度惩罚和 KL 调度、难度自适应采样等。
核心建议: 不要同时引入所有变体。每个变体都有其适用场景和超参数,同时引入会导致无法归因。建议每次只引入一个改进,做严格的 A/B 测试,确认收益后再叠加下一个。
参考资料
- DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models (arXiv:2402.03300) — GRPO 原始论文
- DAPO: Dynamic Sampling, Adaptive Clipping, and Policy Optimization (arXiv:2503.14476) — 字节跳动 Seed 团队
- GSPO: Group Sequence-level Policy Optimization (arXiv:2507.18619) — 微软研究院
- Dr. GRPO: Diagnosing and Fixing GRPO (arXiv:2507.05670) — CMU 等
- GFPO: Group Flow Policy Optimization (arXiv:2507.02380) — 南洋理工等
- CISPO: Critical-token Importance Sampling Policy Optimization (arXiv:2507.01602) — 清华等
- GDPO: Group Direct Preference Optimization (arXiv:2507.01576) — 港大等
- VAPO: Value-Aware Policy Optimization — 上交等