GRPO 变体知识图谱:总览与导读
从 PPO 到熵控制,再到 On-Policy Distillation 的完整后训练图谱。本目录按主题拆成三个分册,本文件只做导读、家族图谱和术语表。
本目录结构
| 文件 | 内容 | 适合谁读 |
|---|---|---|
| README.md | 你正在看的导读:面试策略 + 家族图谱 + 术语表 | 第一次进来扫一眼 |
| 01-PPO-GRPO-与熵控制.md | PPO / GRPO / DAPO / GTPO / 熵监控 / 统计粒度 | 想搞懂 RLVR 基础与熵控制 |
| 02-CodeAct-与Agent工程.md | CodeAct 沙箱 / TypeScript / Function Calling / SDK / Batch | 想搞懂 Agent 工程怎么跑起来 |
| 03-On-Policy-Distillation家族.md | OPD 家族全景 / SDPO 详解 / 信息不对称与 RLSD / SRPO | 想跟进 2026 自蒸馏新进展 |
1. 面试回答策略
面试官的潜台词
说 GRPO 是"两年前的算法",不是否定 GRPO,而是考察是否跟进了 RLVR(Reinforcement Learning with Verifiable Rewards)领域的最新进展。GRPO 至今仍是推理模型 RL 训练的事实标准。
推荐回答结构(四步走)
第一步:给 GRPO 定位
GRPO 是 DeepSeek 2024 年初提出的,核心是去掉 Critic 网络,用同一个 prompt 的多组 rollout 做组内相对优势估计(z-score 归一化),保留 PPO-Clip + KL 惩罚的结构。
第二步:按改进方向系统讲变体
不要罗列名字,按"采样效率 / 信用分配 / 探索 / MoE 适配 / 结构"五个维度分类,每个维度举一个代表。
第三步:挑一个最熟的展开细节
比如 DAPO 的四点改进,或 GSPO 的 sequence 级 importance ratio。
第四步:收尾给趋势判断
变体不是互相替代,而是组合使用。未来方向:价值模型回归(VAPO)、树搜索/Agent 场景结合。
核心心法
面试官问"还知道哪些变体"时,分类比枚举更重要。说出 5 个维度各一个代表 + 每个解决什么问题,远胜干巴巴罗列 10 个名字。
2. GRPO 变体家族图谱
GRPO (DeepSeek, 2024)
去 Critic · 组内相对优势
PPO-Clip + KL 惩罚
│
┌───────┬───────┼───────┬───────┐
▼ ▼ ▼ ▼ ▼
采样效率 重要性采样 信用分配 探索/熵 结构/树
│ │ │ │ │
DAPO GSPO GTPO XRPO BranchGRPO
NGRPO TIC-GRPO GRPO-S CE-GPPO TreeGRPO
MMR-GRPO DR-GRPO GRPO-λ EARL MGRPO
SAO EP-GRPO
六大方向速查表
| 方向 | 代表变体 | 核心改进 |
|---|---|---|
| ① 采样与数据效率 | DAPO | 动态采样过滤无效组,非对称 Clip-Higher,Token-Level Loss |
| ② 重要性采样/Clip | GSPO (Qwen3) | Token→Sequence 级 Importance Ratio,解决 MoE 路由噪声 |
| ③ 信用分配/奖励塑形 | GTPO / GRPO-S | 熵加权 reward,把稀疏终端奖励变稠密信号 |
| ④ 探索/熵控制 | XRPO / CE-GPPO | 自适应 rollout 分配,梯度保持 clip 协调熵 |
| ⑤ 结构/树搜索 | BranchGRPO | 分支树 Rollout,深度优势估计 |
| ⑥ 融合/其他 | GIFT / POPO | GRPO+DPO 融合;只用正样本 |
分册索引
- 01 · PPO / GRPO 与熵控制:PPO、GRPO、DAPO、GTPO、熵崩溃监控、策略熵统计粒度
- 02 · CodeAct 与 Agent 工程:CodeAct 沙箱、TypeScript、Function Calling、SDK、Batch
- 03 · On-Policy Distillation 家族:OPD 全景、SDPO 详解、信息不对称风险、RLSD、SRPO
术语速查表
写文规则:缩写或专业名词第一次出现时,必须给出英文全称 + 中文解释 + 缩写。下表把全文涉及的后训练 / RL 缩写一次列清。
| 缩写 | 英文全称 | 中文 | 一句话 |
|---|---|---|---|
| PPO | Proximal Policy Optimization | 近端策略优化 | Actor-Critic + Clip,有 critic |
| GRPO | Group Relative Policy Optimization | 组相对策略优化 | DeepSeek 提出,去 critic,组内 z-score |
| DAPO | DAPO(论文以此命名,非标准 acronym) | — | 非对称 Clip-Higher + 动态采样 + Token-Level Loss |
| GSPO | Group Sequence Policy Optimization | — | Qwen3 提出,Token→Sequence 级 Importance Ratio |
| GTPO | Group Token Policy Optimization | — | Token 级熵加权 reward |
| GRPO-S | GRPO-Sequence | — | Sequence 级熵加权 reward |
| VAPO | VAPO(论文以此命名,非标准 acronym) | — | 引入 learned value head 做 token-level advantage |
| VPR | Verifiable Process Rewards | 可验证过程奖励 | 每个 turn 有 oracle-grounded reward |
| RLVR | Reinforcement Learning with Verifiable Rewards | 可验证奖励强化学习 | 用可验证结果做 reward 的 RL 范式 |
| RLHF | Reinforcement Learning from Human Feedback | 人类反馈强化学习 | 用 RM 打分做 reward |
| RFT | Reinforcement Fine-Tuning | 强化微调 | 广义上包括 SFT 之后的 RL / 蒸馏 |
| SFT | Supervised Fine-Tuning | 监督微调 | 在静态数据集上做模仿学习 |
| DPO | Direct Preference Optimization | 直接偏好优化 | 跳过 RM,直接从偏好对优化 |
| KL | Kullback–Leibler Divergence | KL 散度 | 分布距离,有 forward / reverse 之分 |
| JSD | Jensen–Shannon Divergence | JS 散度 | 对称、有界的 KL 变体 |
| GAE | Generalized Advantage Estimation | 广义优势估计 | Critic 算 advantage 的标准方法 |
| OPD | On-Policy Distillation | 在策略蒸馏 | student 在自己 rollout 上向 teacher 学 |
| GKD | Generalized Knowledge Distillation | 广义知识蒸馏 | OPD 代表作中的方法名 |
| OPCD | On-Policy Context Distillation | 在策略上下文蒸馏 | 把 context / system prompt 压进参数 |
| OPSD | On-Policy Self-Distillation | 在策略自蒸馏 | 同模型做 student / privileged teacher 的统称 |
| OPSDL | On-Policy Self-Distillation for Long-Context LMs | 长上下文在策略自蒸馏 | 长 rollout + 短 context 自 teacher |
| SDPO | Self-Distillation Policy Optimization | 自蒸馏策略优化 | 环境反馈条件化的自 teacher |
| SDFT | Self-Distillation Fine-Tuning(持续学习自蒸馏) | 演示条件自蒸馏 | teacher 看专家演示,持续学习防遗忘 |
| RLSD | RLVR with Self-Distillation | 自蒸馏 RLVR | teacher 只调幅度,方向锚 verifier |
| SRPO | Sample Routing Policy Optimization | 样本路由策略优化 | 按 sample 路由到 GRPO 或 SDPO |
| DGO | Dual Guidance Optimization | 双引导优化 | experience bank + 引导 rollout + 蒸馏内化 |
| MoE | Mixture of Experts | 混合专家模型 | 按 token 路由到不同专家子网络 |
| OOD | Out-of-Distribution | 分布外 | 训练分布之外的测试数据 |
| PPL | Perplexity | 困惑度 | 语言模型在测试集上的平均不确定性 |
参考资料
- DAPO 论文:https://dapo-sia.github.io/
- GTPO/GRPO-S:https://arxiv.org/html/2508.04349
- EP-GRPO:https://arxiv.org/html/2605.04960
- CE-GPPO:https://arxiv.org/html/2509.20712
- EARL:https://arxiv.org/html/2511.12033
- GSPO:Qwen3 技术报告
- 熵崩溃监控:https://arxiv.org/html/2606.18487
- Base AI CodeAct 架构:内部文档
- GKD / OPD:On-Policy Distillation of Language Models (arXiv:2306.13649, ICLR 2024)
- Thinking Machines Lab, On-Policy Distillation:https://thinkingmachines.ai/blog/on-policy-distillation/
- OPCD:On-Policy Context Distillation for Language Models (arXiv:2602.12275)
- OPSDL:On-Policy Self-Distillation for Long-Context LMs (arXiv:2604.17535)
- RLSD:Self-Distilled RLVR (arXiv:2604.03128)
- DAPO 技术报告:arXiv:2503.14476
- VAPO:arXiv:2504.05118
- VPR:Verifiable Process Rewards for Agentic Reasoning (arXiv:2605.10325)
- DGO:Towards Effective Experiential Learning (arXiv:2603.24093)
- SRPO:Sample Routing Policy Optimization (arXiv:2604.02288)
- SDPO:Reinforcement Learning via Self-Distillation (arXiv:2601.20802),代码 https://github.com/lasgroup/SDPO
- OPSD:Self-Distilled Reasoner (arXiv:2601.18734)
- 内部解读:[OPD + RL for Spec agent](内部资源 Distillation 前沿调研](内部资源 最新 8 篇调研](内部资源)