模型后训练Post-training事後学習
GRPO 的改进,改在了哪里?What Changes Beyond GRPO?GRPOの改良はどこを変えるのか
同样是“生成、评分、更新”,训练行为却可能很不一样。比较 GRPO 的变体,最直接的方法是沿训练循环定位:它换了哪些样本、怎样比较奖励、又怎样把信号分给 token?“Sample, score, update” can produce very different training behavior. Compare GRPO variants by locating their changes: which samples enter, how rewards are compared, and how the signal reaches tokens.「生成・採点・更新」が同じでも学習の挙動は変わります。変種を理解するには、入れるサンプル、報酬の比較方法、tokenへの信号配分のどこを変えたかを見ます。
静态图Static figure静止図
先定位改动,再比较方法Locate the intervention before comparing methods変更箇所を特定してから比較する
同样是“采样—评分—更新”,改动可能发生在四个位置:哪些回答进入训练,奖励怎样变成优势,怎样衡量新旧策略的差异,以及各 token 的梯度怎样汇总。DAPO、Dr. GRPO、GSPO、CISPO 不是一条逐代替换的升级链;它们针对的失败模式和实验背景不同。The same sample–score–update loop contains four choices: which responses enter training, how rewards become advantages, how policy change is measured, and how token contributions are aggregated. DAPO, Dr. GRPO, GSPO, and CISPO address different failure modes and experimental settings rather than forming a succession of replacements.同じ生成・評価・更新のループにも、採用する回答、報酬から優位性への変換、方策変化の測定、tokenごとの勾配の集約という4つの選択があります。DAPO、Dr. GRPO、GSPO、CISPOは、それぞれ異なる失敗と実験条件を扱っています。
以下统一讨论结果奖励:问题为 x,第 i 条回答为 yᵢ,长度为 Tᵢ,奖励为 Rᵢ;每题采样 G 条。过程奖励、多轮工具执行和不同框架的工程改动需要另列,不能只凭配置中的“grpo”名字推断实际目标。We use outcome rewards throughout: x is a prompt, yᵢ its i-th response, Tᵢ its length, Rᵢ its reward, and G the group size. Process rewards, multi-turn tools, and framework-specific changes need separate documentation; a configuration named “grpo” does not uniquely specify an objective.以下では結果報酬を扱います。xは問題、yᵢはi番目の回答、Tᵢは長さ、Rᵢは報酬、Gはグループサイズです。過程報酬や複数ターンのツール実行、実装固有の変更は別途明示する必要があります。設定名だけでは実際の目的関数は分かりません。
读懂共同的损失与三个策略The shared objective and three policy roles共通の目的関数と3つの方策
当前策略 πθ 负责被优化;采样策略 πold 生成这批回答,其 log-prob 在复用该批数据时保持固定;参考策略 πref 用于可选的 KL 正则。πold 会随新一轮采样刷新,πref 通常较长期固定。比较新旧策略的比率与相对参考模型的 KL,约束的是两种不同的偏离。The current policy πθ is optimized. The behavior policy πold generated this batch, and its logged probabilities stay fixed while that batch is reused. A reference policy πref supplies optional KL regularization. πold refreshes with rollouts; πref usually remains fixed longer. The probability ratio and reference KL measure different departures.現在の方策πθを最適化し、行動方策πoldがそのバッチを生成します。バッチ再利用中はπoldの記録済み確率を固定します。参照方策πrefは任意のKL正則化に使います。πoldは生成ごとに更新され、πrefは通常より長く固定されます。両者は異なるずれを測ります。
同一前缀下,ρᵢₜ = πθ(yᵢₜ | x, yᵢ,<t) / πold(yᵢₜ | x, yᵢ,<t)。令 C(ρ,A) = min{ρA, clip(ρ,1−ε,1+ε)A},常见 GRPO 最大化 J = E[(1/G) Σᵢ (1/Tᵢ) Σₜ C(ρᵢₜ,Aᵢ) − βKref];实现为最小化 loss 时取 L = −J。这里 Kref 表示按指定位置聚合的参考 KL。At the same prefix, ρᵢₜ = πθ(yᵢₜ | x, yᵢ,<t) / πold(yᵢₜ | x, yᵢ,<t). Define C(ρ,A) = min{ρA, clip(ρ,1−ε,1+ε)A}. A common GRPO form maximizes J = E[(1/G) Σᵢ (1/Tᵢ) Σₜ C(ρᵢₜ,Aᵢ) − βKref]; a minimizing implementation uses L = −J. Kref denotes reference KL aggregated over the specified positions.同じ接頭辞でρᵢₜ = πθ(yᵢₜ | x, yᵢ,<t) / πold(yᵢₜ | x, yᵢ,<t)とします。C(ρ,A) = min{ρA, clip(ρ,1−ε,1+ε)A}と置くと、一般的なGRPOはJ = E[(1/G) Σᵢ (1/Tᵢ) Σₜ C(ρᵢₜ,Aᵢ) − βKref]を最大化します。最小化する実装ではL = −Jです。Krefは所定の位置で集約した参照KLです。
clip 不是把最终概率硬限制在某个区间。它在优势对应的方向上让代理目标进入平坦区,停止继续奖励过大的局部变化;共享参数、其他 token 和其他损失仍可改变这个概率。DAPO 和 CISPO 的论文设置移除了参考 KL,但这不能推出所有任务都应删除 KL。Clipping does not impose hard bounds on the resulting probability. It flattens the surrogate in the advantage-dependent direction so that an excessive local change receives no further incentive. Shared parameters, other tokens, and other losses can still move that probability. DAPO and CISPO omit reference KL in their reported settings; that is not a universal prescription.clipは最終的な確率に厳密な上下限を設けません。優位性の符号に応じて代理目的を平坦にし、過大な変化への追加の誘因を止めます。共有パラメータや他のtoken、別の損失は、その確率をなお変え得ます。DAPOとCISPOの設定では参照KLを省きますが、全タスクへの推奨ではありません。
DeepSeekMath · GRPO (2024) · DAPO (2025) · MiniMax-M1 · CISPO (2025)
组内归一化改变了什么What group normalization changesグループ内の正規化が変えるもの
常见优势 Aᵢ = (Rᵢ−R̄)/(σR+δ),δ 是防止除零的小量。若奖励为 [1,0,0,0],采用总体标准差且忽略 δ,优势约为 [1.732,−0.577,−0.577,−0.577]。它回答的是“在本组中更好还是更差”,不是一个跨问题可直接比较的绝对质量分。A common advantage is Aᵢ = (Rᵢ−R̄)/(σR+δ), with a small numerical stabilizer δ. For rewards [1,0,0,0], using population standard deviation and ignoring δ gives approximately [1.732,−0.577,−0.577,−0.577]. This measures relative performance within a group, not absolute quality comparable across prompts.一般的な優位性はAᵢ = (Rᵢ−R̄)/(σR+δ)で、δはゼロ除算を避ける小さな値です。報酬[1,0,0,0]に母標準偏差を使いδを無視すると、約[1.732,−0.577,−0.577,−0.577]です。これはグループ内の相対評価であり、問題間で直接比較できる絶対的な品質ではありません。
若全组奖励相同,结果奖励对应的优势为零;仍启用的 KL 或其他辅助损失可以有梯度。标准差归一化还会改变问题之间的权重:对二元奖励,方差与成功率 p 的 p(1−p) 有关,不能笼统说成“难题总是更重要”。须同时查看组内分布、分组方式与数值稳定项。Identical rewards yield zero outcome advantages, although KL or auxiliary losses may still provide gradients. Standard-deviation normalization also changes weighting across prompts: binary-reward variance depends on p(1−p), where p is success probability, so “harder questions always get more weight” is too crude. Inspect reward distributions, grouping, and the stabilizer together.報酬が全て同じなら結果報酬由来の優位性はゼロですが、KLや補助損失の勾配は残り得ます。標準偏差による正規化は問題間の重みも変えます。二値報酬の分散は成功確率pのp(1−p)に依存するため、「難問ほど常に重い」とは言えません。報酬分布、グループの作り方、安定化項を併せて確認します。
DeepSeekMath · GRPO (2024) · Understanding R1-Zero-Like Training · Dr. GRPO (2025)
DAPO:让有效组进入更新,放宽上裁剪DAPO: informative groups and a higher clip ceilingDAPO:情報のあるグループと上側clipの緩和
Dynamic Sampling 在二元正确性奖励设置中保留 0 < 正确回答数 < G 的组,并继续采样以填满训练批次。这避免把更新预算耗在无组内对比的回答上,却改变了进入更新的数据分布。全对组与全错组被过滤,不等于它们对最终能力或泛化没有价值。With binary correctness rewards, Dynamic Sampling retains groups satisfying 0 < correct responses < G and continues sampling to fill the training batch. This spends update capacity on informative comparisons, while changing the distribution admitted to training. Filtering all-correct and all-wrong groups does not make those prompts irrelevant to final capability or generalization.二値の正誤報酬では、Dynamic Samplingは0 < 正解数 < Gのグループを残し、学習バッチが埋まるまで生成を続けます。比較情報のある回答に更新計算を使えますが、更新対象の分布も変わります。全問正解・全問不正解のグループを除外しても、それらの問題が能力や汎化に不要になるわけではありません。
Clip-Higher 把区间改为 [1−εlow, 1+εhigh],允许 εhigh > εlow。它让正优势、低初始概率的 token 在更大的比率范围内继续获得正向信号。效果取决于熵、离策略程度与复用轮次;并非把上界开得越大越好。重采样开销应计入总生成 token 和墙钟时间。Clip-Higher uses [1−εlow, 1+εhigh], allowing εhigh > εlow. Positive-advantage tokens with low initial probability can retain an incentive over a wider ratio range. The outcome depends on entropy, policy lag, and batch reuse; a larger ceiling is not always better. Count resampling in generated tokens and wall-clock cost.Clip-Higherは[1−εlow, 1+εhigh]を使い、εhigh > εlowを許します。初期確率の低い正の優位性を持つtokenが、より広い比率範囲で正の学習信号を得られます。効果はエントロピー、方策の遅れ、バッチ再利用回数に依存します。再生成の費用も総token数と実時間に含めます。
聚合分母:同一批 token 可以有不同权重Reduction denominators change token weights集約の分母がtokenの重みを変える
令 ℓᵢₜ 为一个 token 的代理项。按回答平均是 (1/G)Σᵢ[(1/Tᵢ)Σₜℓᵢₜ];DAPO 的全局 token 平均是 [ΣᵢΣₜℓᵢₜ]/[ΣᵢTᵢ];固定预算归一化可写成 [ΣᵢΣₜℓᵢₜ]/(G·L),L 是预先固定的长度尺度。三者不是同一个“mean”的不同写法。For a token contribution ℓᵢₜ, response averaging is (1/G)Σᵢ[(1/Tᵢ)Σₜℓᵢₜ]. DAPO’s token averaging is [ΣᵢΣₜℓᵢₜ]/[ΣᵢTᵢ]. A fixed-budget reduction is [ΣᵢΣₜℓᵢₜ]/(G·L), with a predetermined length scale L. These are different weighting rules, not interchangeable meanings of “mean.”tokenの代理項をℓᵢₜとすると、回答平均は(1/G)Σᵢ[(1/Tᵢ)Σₜℓᵢₜ]、DAPOのtoken平均は[ΣᵢΣₜℓᵢₜ]/[ΣᵢTᵢ]、固定予算による正規化は[ΣᵢΣₜℓᵢₜ]/(G·L)です。Lは事前に固定する長さ尺度です。これらは異なる重み付けです。
两条回答分别长 100 与 1000 token。按回答平均时,每个短回答 token 的系数是 1/200,每个长回答 token 是 1/2000;全局 token 平均时都为 1/1100。它同时影响对长回答中好模式的强化和坏模式的惩罚,不能据此断言训练只会变长或只会变短。Take responses of 100 and 1,000 tokens. Response averaging assigns coefficients 1/200 and 1/2000 to their respective tokens; global token averaging assigns both 1/1100. This changes reinforcement of good patterns and suppression of bad patterns in long answers. It alone cannot determine whether responses will become longer or shorter.100tokenと1,000tokenの回答を考えます。回答平均では各tokenの係数はそれぞれ1/200と1/2000、全token平均では共に1/1100です。長い回答の良いパターンの強化と悪いパターンの抑制の両方が変わるため、これだけで回答が長くなるか短くなるかは決まりません。
固定分母与全局 token 平均在一个给定批次内可只差一个尺度,但批次总长度变化时尺度会变。梯度累积、分布式归约、回答 mask 与学习率共同决定实际效果,移植公式时必须核对这些实现细节。For a fixed batch, constant-denominator and global-token reductions can differ only by scale; that scale varies when batch length varies. Gradient accumulation, distributed reduction, response masks, and learning rate jointly determine the implemented behavior. Check them when porting an objective.固定されたバッチでは固定分母と全token平均の差は尺度だけの場合がありますが、総長が変われば尺度も変わります。勾配蓄積、分散集約、回答mask、学習率が実際の挙動を決めるため、目的関数の移植時に確認します。
DAPO (2025) · Understanding R1-Zero-Like Training · Dr. GRPO (2025)
截断处理:长度惩罚不是过程奖励Truncation: a length penalty is not a process reward打ち切り:長さペナルティと過程報酬は別
达到生成上限时,答案可能尚未完成。直接把截断等同于推理错误,会把长度约束混入正确性信号。DAPO 分别研究了屏蔽截断样本的 loss,以及在接近上限时加入软长度惩罚。两种操作改变的位置不同:一个改变参与更新的样本,一个改变奖励。At the generation limit, a response may be unfinished. Treating truncation as a reasoning error mixes a length constraint into correctness supervision. DAPO studies both masking truncated samples from the loss and adding a soft length penalty near the limit. One changes which samples contribute; the other changes their rewards.生成上限に達した回答は未完了かもしれません。打ち切りを推論の誤りと同一視すると、長さ制約が正誤の信号に混ざります。DAPOは、打ち切られた回答のlossをmaskする方法と、上限付近で滑らかな長さペナルティを加える方法を検討します。前者は更新対象、後者は報酬を変えます。
可用分段函数理解软惩罚:最大长度 L、缓冲宽度 b;T ≤ L−b 时 P(T)=0,L−b < T ≤ L 时 P(T)=−(T−L+b)/b,超过 L 时饱和为 −1,再加到正确性奖励上。这是长度 shaping,不是给中间推理步骤打分。实际实验还需记录 EOS、截断标志、mask 与惩罚的组合。A piecewise illustration uses maximum length L and buffer b: P(T)=0 for T ≤ L−b; P(T)=−(T−L+b)/b for L−b < T ≤ L; and −1 beyond L, added to correctness reward. This is length shaping, not grading intermediate reasoning steps. Record EOS handling, truncation flags, masks, and penalty interactions.最大長Lとバッファ幅bを使う区分関数では、T ≤ L−bでP(T)=0、L−b < T ≤ LでP(T)=−(T−L+b)/b、Lを超えると−1とし、正誤報酬に加えます。これは長さの整形であり、途中の推論への採点ではありません。EOS、打ち切りフラグ、mask、ペナルティの組合せも記録します。
Dr. GRPO:移除两种随样本变化的归一化Dr. GRPO: remove two sample-dependent normalizersDr. GRPO:標本に依存する2つの正規化を除く
Dr. GRPO 保留组内均值基线,使用 Aᵢ = Rᵢ−R̄,并移除按回答自身长度 Tᵢ 归一化,改用全程固定的尺度,例如生成预算 L。它同时处理奖励标准差带来的问题权重偏差,以及回答长度带来的 token 权重偏差。只去掉其中一个,不等于完整复现这两项修改。Dr. GRPO retains the group-mean baseline, uses Aᵢ = Rᵢ−R̄, and replaces normalization by each response’s Tᵢ with a fixed scale such as generation budget L. It addresses both reward-standard-deviation weighting and response-length weighting. Removing just one does not reproduce both changes.Dr. GRPOはグループ平均を基準にAᵢ = Rᵢ−R̄とし、回答ごとのTᵢによる正規化を、生成予算Lなどの固定尺度に置き換えます。報酬の標準偏差と回答長による重みの偏りをそれぞれ扱います。片方だけを除いても、両方の変更を再現したことにはなりません。
去掉标准差后,奖励的数值单位会直接影响梯度尺度;把奖励从 0/1 改为 −1/+1,优势就放大两倍。比较实验应记录奖励尺度、固定分母和优化器配置。论文关于长度膨胀和训练偏置的分析提供诊断视角,不能保证任何基模、任务与预算下都优于其他变体。Without standard-deviation normalization, reward units directly affect gradient scale: changing 0/1 rewards to −1/+1 doubles the advantage. Log reward scale, fixed denominator, and optimizer settings. The paper’s analysis of length inflation and optimization bias is a diagnostic lens, not a guarantee of superiority for every model, task, or budget.標準偏差で割らない場合、報酬の単位が勾配尺度に直接影響します。0/1を−1/+1に変えると優位性は2倍です。報酬尺度、固定分母、最適化設定を記録します。長さの増大や最適化の偏りに関する分析は診断に役立ちますが、全てのモデル・タスク・予算で優位である保証ではありません。
Understanding R1-Zero-Like Training · Dr. GRPO (2025)
GSPO:以整条回答衡量策略变化GSPO: measure policy change over a responseGSPO:回答全体で方策の変化を測る
GSPO 定义 sᵢ = exp[(1/Tᵢ)Σₜ log ρᵢₜ],即序列似然比的长度归一化几何平均;目标为 J = E[(1/G)Σᵢ C(sᵢ,Aᵢ)]。裁剪与共享权重作用于整条回答,梯度仍通过回答中的 token log-prob 反传。sᵢ 不是把所有 ρ 直接相乘的原始序列重要性比率。GSPO defines sᵢ = exp[(1/Tᵢ)Σₜ log ρᵢₜ], the length-normalized geometric mean of token ratios, and J = E[(1/G)Σᵢ C(sᵢ,Aᵢ)]. Clipping and the shared weight act at response level; gradients still flow through token log probabilities. sᵢ is not the raw sequence importance ratio obtained by multiplying every ρ.GSPOはsᵢ = exp[(1/Tᵢ)Σₜ log ρᵢₜ]、すなわちtoken比率の長さ正規化された幾何平均を使い、J = E[(1/G)Σᵢ C(sᵢ,Aᵢ)]を最適化します。clipと共通重みは回答単位ですが、勾配は各tokenの対数確率に流れます。sᵢは全ρを掛けた生の系列重要度比とは異なります。
背景是长回答、多次复用 rollout 和 MoE 路由变化下的训练稳定性。序列平均可减弱个别 token 比率尖峰的影响,也可能掩盖局部极端变化。GSPO 与 token 级算法的裁剪阈值尺度不同,不能直接搬用 ε 或比较“裁掉百分比”;序列裁剪率和 token 裁剪率的分母也不同。The motivation is stability with long responses, reused rollouts, and changing MoE routes. Sequence averaging can damp isolated ratio spikes while concealing local extremes. GSPO and token-level algorithms use different clipping scales. Neither ε nor clipping percentages transfer directly: sequence and token clipping fractions also have different denominators.長い回答、rolloutの再利用、MoEの経路変化における安定性が背景です。系列平均は局所的な比率の突出を抑えますが、局所の極端な変化を隠すこともあります。token単位の手法とはclipの尺度が異なり、εをそのまま移せません。系列とtokenのclip率は分母も異なります。
Group Sequence Policy Optimization · GSPO (2025)
CISPO:裁剪权重,保留 log-prob 梯度CISPO: clip weights while retaining log-prob gradientsCISPO:重みをclipし、log-probの勾配を残す
令 wᵢₜ = clip(ρᵢₜ,1−εlow,1+εhigh)。CISPO 的核心最大化项是 sg(wᵢₜ) Aᵢ log πθ(yᵢₜ | x,yᵢ,<t),再按有效 token 聚合;sg 表示停止通过权重反传。它不使用 PPO 的 min 两分支。论文实现主要调上界,并结合动态采样和长度处理。Let wᵢₜ = clip(ρᵢₜ,1−εlow,1+εhigh). CISPO maximizes sg(wᵢₜ) Aᵢ log πθ(yᵢₜ | x,yᵢ,<t), aggregated over valid tokens; sg stops gradients through the weight. It does not use PPO’s two-branch minimum. The reported implementation mainly tunes the upper bound and combines this with dynamic sampling and length handling.wᵢₜ = clip(ρᵢₜ,1−εlow,1+εhigh)とすると、CISPOはsg(wᵢₜ) Aᵢ log πθ(yᵢₜ | x,yᵢ,<t)を有効tokenで集約して最大化します。sgは重み経由の勾配を止めます。PPOの2分岐のminは使いません。論文の実装は主に上限を調整し、動的サンプリングや長さ処理も組み合わせます。
一个局部例子:A=1、ρ=1.5、上界=1.2。PPO 的该代理项已落在常数 1.2 分支;CISPO 则仍给出 1.2∇log πθ 的贡献。关键在“限制权重”而非“裁剪后不更新”,也不是识别某些关键 token 后给它们开豁免。有限权重引入偏差,是否值得要由稳定性、成本与效果共同判断。For A=1, ρ=1.5, and ceiling 1.2, the local PPO surrogate is on its constant 1.2 branch. CISPO still contributes 1.2∇log πθ. The distinction is limiting a weight instead of removing its update, not identifying special tokens for exemption. Bounded weights introduce bias, whose trade-off must be assessed through stability, cost, and performance.A=1、ρ=1.5、上限1.2なら、PPOの局所代理項は定数1.2の分岐に入ります。一方CISPOは1.2∇log πθを寄与させます。更新を止めず重みを制限する点が違いであり、特定の重要tokenを識別して例外にする方式ではありません。重みの制限によるバイアスを安定性・費用・性能と合わせて判断します。
静态图Static figure静止図
熵控制与信用分配是另一组选择Entropy control and credit assignment are separate choicesエントロピー制御と信用割当は別の選択
策略熵 Hₜ = −Σᵥπθ(v | x,y<t)log πθ(v | x,y<t) 衡量当前前缀处的分布不确定性。GTPO 用熵相关权重重分配 token 奖励,GRPO-S 在序列层面处理;它们改变了结果信号的分配。高熵可能是有价值的分叉,也可能来自噪声,因此熵重加权并不等于获得真实的逐步正确性标签。Policy entropy Hₜ = −Σᵥπθ(v | x,y<t)log πθ(v | x,y<t) measures uncertainty at a prefix. GTPO redistributes token rewards with entropy-dependent weights; GRPO-S operates at sequence level. These alter how outcome evidence is allocated. High entropy may mark a useful decision or noise, so reweighting is not equivalent to obtaining ground-truth process labels.方策エントロピーHₜ = −Σᵥπθ(v | x,y<t)log πθ(v | x,y<t)は接頭辞での不確実性です。GTPOはエントロピー依存の重みでtoken報酬を再配分し、GRPO-Sは系列単位で扱います。高エントロピーは有用な分岐にもノイズにもなり得るため、再配分は真の過程ラベルの獲得とは異なります。
价值模型路线则学习 V(s),再用 δₜ = rₜ + γV(sₜ₊₁) − V(sₜ) 与 Aₜ = Σₗ(γλ)ˡδₜ₊ₗ 估计 token 优势。VAPO 属于这条路线,关注价值偏差、长度异质性和稀疏奖励;不能把它简单描述为“GRPO 多挂一个共享线性头”。教师分布蒸馏又引入了另一种监督源,详见关联文章。Value-based methods learn V(s), then estimate token advantages using δₜ = rₜ + γV(sₜ₊₁) − V(sₜ) and Aₜ = Σₗ(γλ)ˡδₜ₊ₗ. VAPO follows this route, addressing value bias, heterogeneous lengths, and sparse rewards; it is not adequately described as GRPO with a shared linear head. Teacher-distribution distillation introduces another supervision source, discussed in the related article.価値ベースの方法はV(s)を学び、δₜ = rₜ + γV(sₜ₊₁) − V(sₜ)とAₜ = Σₗ(γλ)ˡδₜ₊ₗでtokenの優位性を推定します。VAPOはこの系統で、価値の偏り、長さの不均一性、疎な報酬を扱います。単にGRPOに共有線形ヘッドを付けた手法とは言えません。教師分布による蒸留は、関連する別記事で扱います。
GTPO and GRPO-S · entropy weighting · VAPO · value-based optimization
把比较落实到可替换的组件Compare replaceable components交換可能な部品として比較する
下面的表格区分核心改动与需要监控的代价。方法可以组合,但组合后的配置应有自己的完整定义:保留哪种优势、分母、clip、KL 和筛样规则。只写一个算法名称,无法解释复现结果。The table separates core interventions from their costs. Components can be combined, but a combined configuration needs a complete definition of advantages, denominator, clipping, KL, and sample filtering. An algorithm name alone cannot explain a reproduction result.表では中心的な変更と監視すべき代償を分けます。部品は組み合わせられますが、その場合も優位性、分母、clip、KL、標本選択を全て定義します。アルゴリズム名だけでは再現結果を説明できません。
| 方法Method手法 | 核心变化Core change中心的な変更 | 需检查的代价What to check確認する代償 |
|---|---|---|
| GRPOGRPOGRPO | 组内奖励作基线;常见 z-score 优势Group baseline; commonly standardized advantagesグループ基準と標準化した優位性 | 无差别奖励组、序列级信用粗Equal-reward groups; coarse sequence credit同一報酬のグループ、粗い系列信用 |
| DAPODAPODAPO | 筛组、非对称 clip、token 聚合、长度 shapingGroup filtering, asymmetric clip, token reduction, length shapingグループ選別、非対称clip、token集約、長さ整形 | 重采样预算、训练分布与截断语义Resampling budget, selection shift, truncation semantics再生成費用、選別後の分布、打ち切りの意味 |
| Dr. GRPODr. GRPODr. GRPO | 去标准差与回答长度归一化Remove reward-std and response-length normalization報酬標準偏差と回答長による正規化を除く | 奖励单位、固定尺度、学习率Reward units, fixed scale, learning rate報酬単位、固定尺度、学習率 |
| GSPOGSPOGSPO | 长度归一化的序列比率与裁剪Length-normalized sequence ratio and clipping長さ正規化した系列比率とclip | 局部极值、序列裁剪阈值Local extremes; sequence clipping thresholds局所的な極値、系列clip閾値 |
| CISPOCISPOCISPO | 截断重要性权重并 stop-gradientClip importance weights and stop their gradients重要度重みをclipし勾配停止 | 权重偏差、复用轮次和策略滞后Weight bias, reuse count, policy lag重みの偏り、再利用回数、方策の遅れ |
| GTPO / GRPO-S;VAPOGTPO / GRPO-S; VAPOGTPO / GRPO-S;VAPO | 前者按熵分配信号;后者学习价值Entropy-based allocation versus learned valuesエントロピーによる配分と価値学習 | 熵代理是否有效;价值估计是否可靠Entropy-proxy validity; value accuracyエントロピー代理の妥当性、価値の精度 |
DeepSeekMath · GRPO (2024) · DAPO (2025) · Understanding R1-Zero-Like Training · Dr. GRPO (2025) · Group Sequence Policy Optimization · GSPO (2025) · MiniMax-M1 · CISPO (2025) · GTPO and GRPO-S · entropy weighting · VAPO · value-based optimization
怎样做一组能够解释的比较Design a comparison that can be interpreted解釈可能な比較実験を設計する
先固定基模、题目切分、verifier、采样温度、group size、最大长度与评测协议,再逐项改变组件。更新步数相同不等于成本相同:至少同时报告已生成 token、进入 loss 的 token、过滤率、采样/更新耗时和 rollout 复用次数。不同论文的最终榜单分数不能直接拼成算法排名。Fix the base model, split, verifier, temperature, group size, length budget, and evaluation protocol, then change components individually. Equal update counts are not equal cost: report generated and loss-bearing tokens, filtering rate, sampling/update time, and rollout reuse. Final scores from different papers are not a controlled algorithm ranking.基盤モデル、データ分割、検証器、温度、グループサイズ、長さ上限、評価規約を固定し、部品を一つずつ変えます。同じ更新回数でも費用は異なります。生成tokenとloss対象token、除外率、生成・更新時間、再利用回数を報告します。別々の論文の最終点を手法ランキングにはできません。
训练诊断看奖励及标准差、有效组比例、熵分位数、长度与截断分布、比率尾部、按优势符号拆分的 clip fraction,以及 KL 和梯度范数。熵下降可能是学习,也可能是退化;结合 held-out 正确率、pass@1/pass@k 和回答重复性判断,不采用跨模型通用的“下降多少就崩溃”阈值。Monitor reward and variance, informative-group rate, entropy quantiles, length/truncation distributions, ratio tails, clipping split by advantage sign, KL, and gradient norm. Entropy decline can indicate learning or degeneration. Interpret it with held-out accuracy, pass@1/pass@k, and response repetition rather than a universal collapse threshold.報酬と分散、有効グループ率、エントロピーの分位点、長さと打ち切りの分布、比率の裾、優位性の符号別clip率、KL、勾配ノルムを監視します。エントロピー低下は学習にも劣化にもなり得ます。評価データの正解率、pass@1/pass@k、回答の反復性と併せて判断します。
若最终任务是 Rubric Judge,还要看误报、漏报、多问题集合完整率和结构合法率。优化器稳定,只说明更新可控;奖励提升,只说明已定义的监督目标被优化。两者都不能替代业务层面的独立验证。For a Rubric Judge, also measure false positives, missed issues, multi-issue completeness, and structural validity. A stable optimizer establishes controlled updates; a higher reward establishes progress on the specified supervision target. Neither replaces independent task-level validation.Rubric Judgeなら、誤検出、見逃し、複数問題の集合完全性、構造の妥当性も評価します。最適化の安定性は更新の制御を示し、報酬上昇は定義した教師信号への適合を示します。どちらも独立したタスク評価の代わりにはなりません。
延伸阅读Further reading参考資料
- DeepSeekMath · GRPO (2024)
- DAPO (2025)
- Understanding R1-Zero-Like Training · Dr. GRPO (2025)
- Group Sequence Policy Optimization · GSPO (2025)
- MiniMax-M1 · CISPO (2025)
- GTPO and GRPO-S · entropy weighting
- VAPO · value-based optimization
图源与文字Figures and text図と本文のソース
三语正文与图结构 · JSONTrilingual text and diagram structure · JSON3言語の本文と図の構造 · JSON