章节总览
导航与阅读路线 / 34 · 导航索引
原目录

PPO / GRPO、CodeAct 和 OPD 三条知识线的总览与导读。

GRPO 变体知识图谱:总览与导读

从 PPO 到熵控制,再到 On-Policy Distillation 的完整后训练图谱。本目录按主题拆成三个分册,本文件只做导读、家族图谱和术语表。

本目录结构

文件 内容 适合谁读
README.md 你正在看的导读:面试策略 + 家族图谱 + 术语表 第一次进来扫一眼
01-PPO-GRPO-与熵控制.md PPO / GRPO / DAPO / GTPO / 熵监控 / 统计粒度 想搞懂 RLVR 基础与熵控制
02-CodeAct-与Agent工程.md CodeAct 沙箱 / TypeScript / Function Calling / SDK / Batch 想搞懂 Agent 工程怎么跑起来
03-On-Policy-Distillation家族.md OPD 家族全景 / SDPO 详解 / 信息不对称与 RLSD / SRPO 想跟进 2026 自蒸馏新进展

1. 面试回答策略

面试官的潜台词

说 GRPO 是"两年前的算法",不是否定 GRPO,而是考察是否跟进了 RLVR(Reinforcement Learning with Verifiable Rewards)领域的最新进展。GRPO 至今仍是推理模型 RL 训练的事实标准。

推荐回答结构(四步走)

第一步:给 GRPO 定位

GRPO 是 DeepSeek 2024 年初提出的,核心是去掉 Critic 网络,用同一个 prompt 的多组 rollout 做组内相对优势估计(z-score 归一化),保留 PPO-Clip + KL 惩罚的结构。

第二步:按改进方向系统讲变体

不要罗列名字,按"采样效率 / 信用分配 / 探索 / MoE 适配 / 结构"五个维度分类,每个维度举一个代表。

第三步:挑一个最熟的展开细节

比如 DAPO 的四点改进,或 GSPO 的 sequence 级 importance ratio。

第四步:收尾给趋势判断

变体不是互相替代,而是组合使用。未来方向:价值模型回归(VAPO)、树搜索/Agent 场景结合。

核心心法

面试官问"还知道哪些变体"时,分类比枚举更重要。说出 5 个维度各一个代表 + 每个解决什么问题,远胜干巴巴罗列 10 个名字。


2. GRPO 变体家族图谱

                    GRPO (DeepSeek, 2024)
                   去 Critic · 组内相对优势
                   PPO-Clip + KL 惩罚
                          │
          ┌───────┬───────┼───────┬───────┐
          ▼       ▼       ▼       ▼       ▼
     采样效率  重要性采样  信用分配  探索/熵   结构/树
          │       │       │       │       │
     DAPO    GSPO    GTPO    XRPO   BranchGRPO
     NGRPO   TIC-GRPO GRPO-S  CE-GPPO TreeGRPO
     MMR-GRPO DR-GRPO GRPO-λ  EARL   MGRPO
     SAO           EP-GRPO

六大方向速查表

方向 代表变体 核心改进
① 采样与数据效率 DAPO 动态采样过滤无效组,非对称 Clip-Higher,Token-Level Loss
② 重要性采样/Clip GSPO (Qwen3) Token→Sequence 级 Importance Ratio,解决 MoE 路由噪声
③ 信用分配/奖励塑形 GTPO / GRPO-S 熵加权 reward,把稀疏终端奖励变稠密信号
④ 探索/熵控制 XRPO / CE-GPPO 自适应 rollout 分配,梯度保持 clip 协调熵
⑤ 结构/树搜索 BranchGRPO 分支树 Rollout,深度优势估计
⑥ 融合/其他 GIFT / POPO GRPO+DPO 融合;只用正样本

分册索引

术语速查表

写文规则:缩写或专业名词第一次出现时,必须给出英文全称 + 中文解释 + 缩写。下表把全文涉及的后训练 / RL 缩写一次列清。

缩写 英文全称 中文 一句话
PPO Proximal Policy Optimization 近端策略优化 Actor-Critic + Clip,有 critic
GRPO Group Relative Policy Optimization 组相对策略优化 DeepSeek 提出,去 critic,组内 z-score
DAPO DAPO(论文以此命名,非标准 acronym) — 非对称 Clip-Higher + 动态采样 + Token-Level Loss
GSPO Group Sequence Policy Optimization — Qwen3 提出,Token→Sequence 级 Importance Ratio
GTPO Group Token Policy Optimization — Token 级熵加权 reward
GRPO-S GRPO-Sequence — Sequence 级熵加权 reward
VAPO VAPO(论文以此命名,非标准 acronym) — 引入 learned value head 做 token-level advantage
VPR Verifiable Process Rewards 可验证过程奖励 每个 turn 有 oracle-grounded reward
RLVR Reinforcement Learning with Verifiable Rewards 可验证奖励强化学习 用可验证结果做 reward 的 RL 范式
RLHF Reinforcement Learning from Human Feedback 人类反馈强化学习 用 RM 打分做 reward
RFT Reinforcement Fine-Tuning 强化微调 广义上包括 SFT 之后的 RL / 蒸馏
SFT Supervised Fine-Tuning 监督微调 在静态数据集上做模仿学习
DPO Direct Preference Optimization 直接偏好优化 跳过 RM,直接从偏好对优化
KL Kullback–Leibler Divergence KL 散度 分布距离,有 forward / reverse 之分
JSD Jensen–Shannon Divergence JS 散度 对称、有界的 KL 变体
GAE Generalized Advantage Estimation 广义优势估计 Critic 算 advantage 的标准方法
OPD On-Policy Distillation 在策略蒸馏 student 在自己 rollout 上向 teacher 学
GKD Generalized Knowledge Distillation 广义知识蒸馏 OPD 代表作中的方法名
OPCD On-Policy Context Distillation 在策略上下文蒸馏 把 context / system prompt 压进参数
OPSD On-Policy Self-Distillation 在策略自蒸馏 同模型做 student / privileged teacher 的统称
OPSDL On-Policy Self-Distillation for Long-Context LMs 长上下文在策略自蒸馏 长 rollout + 短 context 自 teacher
SDPO Self-Distillation Policy Optimization 自蒸馏策略优化 环境反馈条件化的自 teacher
SDFT Self-Distillation Fine-Tuning(持续学习自蒸馏) 演示条件自蒸馏 teacher 看专家演示,持续学习防遗忘
RLSD RLVR with Self-Distillation 自蒸馏 RLVR teacher 只调幅度,方向锚 verifier
SRPO Sample Routing Policy Optimization 样本路由策略优化 按 sample 路由到 GRPO 或 SDPO
DGO Dual Guidance Optimization 双引导优化 experience bank + 引导 rollout + 蒸馏内化
MoE Mixture of Experts 混合专家模型 按 token 路由到不同专家子网络
OOD Out-of-Distribution 分布外 训练分布之外的测试数据
PPL Perplexity 困惑度 语言模型在测试集上的平均不确定性

参考资料