来源:内部资源
Basics of LLM Post Training
SFT
SFT是使用最多的post training方法,使用的是supervised数据集,目的是使Pretrained LM获取遵循instruction的能力,数据格式一般是 (prompt, output)。SFT的训练使用next token prediction的cross-entropy loss进行训练,几乎等同Pretraining阶段的做法,区别在于SFT的loss是不计算prompt部分的loss的,所以在数据处理时会mask掉这一部分。
class InstructionDataset(Dataset):
def __getitem__(self, index):
IGNORE_INDEX = -100 # The default setting in CrossEntropyLoss
ann = self.ann[index]
if ann.get("input", "") == "":
prompt = PROMPT_DICT["prompt_no_input"].format_map(ann)
else:
prompt = PROMPT_DICT["prompt_input"].format_map(ann)
# 注释1: 这里,prompt = instruction + input
example = prompt + ann["output"]
# 注释2: example = prompt + output
prompt = torch.tensor(
self.tokenizer.encode(prompt), dtype=torch.int64
)
example = self.tokenizer.encode(example)
example.append(self.tokenizer.eos_token_id)
# 注释3: example = prompt + output + <eos>
example = torch.tensor(
example, dtype=torch.int64
)
labels = copy.deepcopy(example) # 深拷贝, labels = example = prompt + output + <eos>
labels[: len(prompt)] = -1
# 注释4: label里prompt的部分置-1
example_mask = example.ge(0)
label_mask = labels.ge(0)
example[~example_mask] = 0
labels[~label_mask] = IGNORE_INDEX
# 注释5: label里prompt的部分置-100
SFT Loss计算部分:

SFT最重要的部分应该是数据了,从Andrej Karpathy的教程里看chatgpt的SFT其实是conversation形式的(部分是多轮的,提问的是prompts,output是人工写的结果),这样可以使LLM获取更好的多轮理解能力。SFT的数据的关键词包括:高质量(一般采用人工标注)、多样性(e.g.,InsTag)、高复杂度(Complex Instruction往往能带来更好的效果,需要提高prompts里的instruction数量)。标注标准遵循Helpful,Truthful,Harmless原则。
当我们有一个LLM之后,再做针对某些单个任务的SFT(一般在小size的LLM上),这种做法其实更偏向于prompt learning的做法,利用了pretrained model的基础知识(GPT2,T5等)做task-specific的微调来强化特定任务, 区别只不过prompt从pretrained model的text infilling的形式变为了LLM的instruction的形式。但是这种SFT会产生对其他任务的灾难性遗忘,解决遗忘的方法就是需要混合一定比例的旧数据(>1% rehearsal, from meta的一篇paper)。
PEFT
parameter-effecient finetuning的方法可以大体上分为三类:adapter、prefix tuning、lora,这是在缺少显卡的时候SFT一个llm必备的技能,虽然整体效果可能会比全参微调要差一点,好处是训练的资源需求很少训练的快很多(因为固定了llm本身的参数)。
1、Adapter tuning在llm内部(比如transformer里)添加一些网络结构(一般包括向下投影、非线性激活、向上投影、残差)来训练。
2、lora在llm的全连接层上加入一个旁枝,旁枝采用先向下投影再向上投影的低秩做法,lora一般加在q和v的转换矩阵上(paper里实验了这种组合效果最好)。lora的一个好处是这些参数在推理时可以合并到llm本身参数里,相当于没有添加增加任何推理成本
3、prefix tuning在模型输入或者隐层前添加一段连续的、任务特定的前缀序列,称为 prefix。这段序列不对应真实的 tokens,是可学习的自由参数。p-tuning多了一个lstm和全连接层对prefix编码后再传入llm,p-tuning-v2将添加的prompts从输入层拓展到每一层。
RLHF
PPO
Reward Model
PPO一般是在SFT模型之上进行训练,首先,我们需要一个reward model,一般是由标注的pairwise数据(prompt, chosen, rejected)数据训练得到。具体的偏好采样训练过程如下:
prompt x -> SFT model,产生pairs of answer (y_1, y_2)- then 展示给人,获取偏好
(y_w, y_l) - 假设这些偏好是由某种潜在的奖励模型产生的,模拟偏好的方法如 Bradley-Terry model,该方法将人类的偏好分布规定为:
- 所以可以将SFT model加上一个线性层(nn.Linear(n_embed*1))来预测一个分数r,然后采用CrossEntropy loss来训练模型即可:

PPO算法
PPO是一个Proximal Policy Optimization算法的缩写,他是一种policy-based RL方法,区别于value-based RL方法(e.g.,q-learning, SARSA)先优化Q函数,然后通过argmaxQ来确定最优action,policy-based RL直接拟合一个策略网络来选择action,所以可以输出随机策略(value-based RL是确定性策略)。PPO采用actor-critic架构,我们简单回顾下PPO算法的发展过程。
Reinforce
- agent的每一条轨迹数据(episode/trajectory)被定义为一个sar的序列,表示在状态s中,执行动作a,得到奖励r:
- 优化目标为最大化总奖励的期望:R表示一条轨迹的总收益
- 从当前的policy newwork(actor)采样N条轨迹,通过蒙特卡洛(MC)的方法求上式的策略梯度,然后更新网络 ,求梯度时去除掉不含参数项,可以得到:
- 然后更新网络参数即可:
- 奖励的定义:RL需要设置每个时间步下执行动作之后得到的r(如果没有就要打标每个action的好坏),用Return来表示总奖励,一般加上折扣系数,并减去一个baseline(e.g.,取R的average)来使得reward不总是为正。
Actor-Critic
可以看到Reinforce由于是通过MC来更新梯度的,所以需要每次都采样完整的轨迹之后才能更新参数,由于采样成本较高,我们无法获得大量的样本,这导致估计的回报具有较大的方差,可能会使得训练过程变得不稳定,因此MC是低偏差,高方差的方法。 有没有不用采样完整轨迹也能更新的办法呢?
首先,我们把整个轨迹的reward拆分到每个时间步,这样只跟当前时间步t之后的Reward相关,定义为时间步t之后能获得的总收益,这个在标准Reinforce算法里是用MC来估计的,在RL里,我们还可以使用(时间差分/TD)的方法来估计收益。
参考value-based RL方法(比如q-learning),我们用表示在状态s_t下执行动作a_t能获得的总reward的期望,也叫动作价值函数,表示状态s_t下能获得的总reward的期望,也叫状态价值函数; 我们可以用两个网络来近似拟合这两个值,但是根据bellman方程这两个值是可以互相转化的:
所以可以用只用一个网络(Critic模型)来近似Value(s_t)即可,而Q可以通过上式计算得到,这样我们可以得到,这个A叫做优势值(Advantage),后面的式子的期望就是GAE,用TD error的形式作为A的无偏估计;但是这样的计算只往前看了一步,如果往前看多步,就是多步TD的计算方法(看到结束就是MC的方法),一般会看k步来平衡方差和偏差,然后再用一个指数加权平均平衡TD和MC,最终得到一个单步优势GAE:
![图片展示了多步时序差分思想下的单步优势GAE(Generalized Advantage Estimation)计算公式。通过将不同步数的优势估计进行指数加权平均,平衡了TD方法和MC方法,从而平衡了偏差和方差。公式中,A_t^{GAE} = ∑{l=0}^{k-1} (λγ)^l δ{t+l},λ ∈ [0, 1],其中δ_t = r_t + γV(s_{t+1}) - V(s_t)。该公式是对上文PPO算法中单步优势GAE计算方法的数学推导,用于拟合critic网络。](/writing/knowledge-notes-2026-09/media/f7fcb640576973069c3b6fa5.png)
那么怎么去拟合critic网络呢?MC的方法当然可以,但是需要取得完整的轨迹才能更新参数,还有另外一种更常用的就是TD方法了:actor在s_t执行动作a_t,得到reward r_t之后,转移到s_t+1之后,就可以更新参数了,更新的目标就是使尽量接近即可(比如用MSE作为loss)。

Off-Policy
当我们在Actor-Critic框架下更新模型时,仍然有一个问题,就是从actor采样的轨迹,每次只能用一次,因为策略网络更新后发生了变化。这其实是一种on-policy的方法(保持更新的网络和采样的网络是同一个),这种方法一个很大的缺点就是参数更新慢,因为我们每更新一次参数都需要进行重新采样、每批样本只能用一次。

与之相对应的就是off-policy方法,比如我们使用一个冻结的策略模型(离线模型)采样,更新目标策略模型(在线模型),离线模型定期与在线模型同步,这样的话样本能利用多次(A2C)。但是使用的时候需要加上重要性采样(Importance Sampling):

Importance Sampling
Importance Sampling可以通过采样另一个分布来估计当前分布的期望,但是它的一个问题是如果两个分布的差别太大的话,需要采样非常多的样本才能做到准确的估计,所以PPO就限制了旧策略和新策略两个分布的差异,有两种限制的办法:
1、Clip:
![图片展示了PPO算法中clip策略优化目标的公式推导。在PPO - CLIP下强化学习的优化目标中,令r_t(θ) = πθ(a_t|s_t) / πθold(a_t|s_t),则JCLIP(πθ) = Et[τ~πθold min[r_t(θ)AφGAE(st,at), clip(r_t(θ), 1 - ε, 1 + ε)AφGAE(st,at)] ]。该公式用于限制旧策略和新策略两个分布的差异,是PPO算法中的一种重要采样方法。](/writing/knowledge-notes-2026-09/media/b34b70b87e64834922d4be38.png)
2、KL Divergence正则项penalty:
![图片展示的是PPO算法中的目标函数公式。公式为arg max_πθ J(πθ) = Eτ~πθold [πθ(a_t|s_t)AφGAE(s_t, a_t) - βKL(πθold(.|s_t), πθ(.|s_t))]。其中,πθ为策略函数,J(πθ)为目标函数,Eτ~πθold表示在旧策略πθold下对τ的期望,AφGAE(s_t, a_t)是优势函数,βKL为KL正则项系数,KL(πθold(.|s_t), πθ(.|s_t))是两个策略的KL散度。该公式是PPO算法优化策略的核心表达式。](/writing/knowledge-notes-2026-09/media/574e05295e7470fd3aa7cce5.png)
RLHF
以上就是PPO的原理,具体怎么用在LLM上的呢,总体步骤如下:
#输入:一个奖励模型rm,一个语言模型LM,一个prompt语料库从LM初始化模型: actor, critic, ref。ref和rm不更新参数.
for i in train_epochs:
采样一批prompt, 用actor模型解码生成文本, 再用actor模型得到生成的每个token的logits: actor_logits,同时用ref model生成每个词的logits:ref_logits, 奖励模型打分得到奖励(生成完整答案时的奖励)reward_score,用critic模型得到生成当前句子的每个token的Value.
for j in ppo_epochs:
用上面生成的文本计算优势,利用PPO算法更新actor和critic模型.
根据上面的原理部分,首先需要计算GAE:
1、每个token的reward的值为:(等价于KL正则项)
![图片展示了PPO算法中计算每个token奖励的公式。公式分为两部分,当j < N时,reward等于ref_log_prob[i,j]减去old_log_prob[i,j];当j = N时,reward等于ref_log_prob[i,N]减去old_log_prob[i,N]加上score。其中,i代表response的序号,j代表token的序号,N为response的总token数。该公式与上下文紧密相关,是对上文提到的计算每个token奖励值的原理说明,用于更新actor模型。](/writing/knowledge-notes-2026-09/media/2b115790c1cb0f8acf47ad8c.png)

Tips:1、 Reward 值一般clamp一下防止太大或者太小(或者除标准差也行)。
2、用critic model得到所有token的Value值,然后计算GAE。

Tips: 1、critic模型通常用reward model初始化。2、value取得后要记得去掉padding和注意mask掉prompt部分
然后,更新actor模型:

Tips:1、注意计算loss的时候要把log取e的指数再去掉,因为目标loss里是取的比值,不是log后相减。
最后,更新critic模型:

Tips: 1、returns是经过gae修订后的总收益值。2、Value同样会做Clipping,并且最终loss为clip和未clip两个loss的更大值
当然,RL还有一些其他的一些trick可以参考,比如对advantage进行标准化,actor loss增加策略熵正则项来提升exploration能力。
GRPO
GRPO是deepseek采用的RL方法,它和PPO的区别为:
1、每个prompt都采样生成一组答案,每个组内部单独计算GAE,所以目标变为:

2、GAE的计算不使用critic模型去预测,而是直接使用reward在同组上的归一化值代替。

这里的Intuiation是使用一个需要学习的critic模型去预测每个token的Value很难做到很精确,所以干脆去掉critic模型;同一个prompt生成不同的答案的reward model来评估哪些生成是好的,为了使不同prompt之间的reward是可比的,就用同一个组的不同reward计算均值和标准差来归一化。注意这里同一个答案的每个token的A是相同的,也就是说一个答案更好,它生成每个token都相同的好,差的都一样的差。
3、GRPO目标函数里的KL正则,不是像PPO一样加在reward里的,而是直接加在actor优化的loss中的,如果加在loss中就需要用采样的方法来进行估计KL梯度,GRPO在形式上采用K3形式的KL估计(by john schulman),但是实际已经有人在知乎上抛出其实k2形式的估计才是KL梯度的无偏估计,效果更好。

4、GRPO可以很好的适配到过程监督中:

5、GRPO的奖励模型也是要迭代更新的:

总结:GRPO做的优化是在简化PPO训练的难度,来达到更容易收敛和scale的目的。其实目前在对RLHF的优化上很多的优化都是在降低训练难度,下面的改进方法也都是。
Reinforce++
Reinforce++可以看成PPO的简化版,它使用了PPO的Loss,但是GAE的计算同样舍弃了critic模型的部分,而是直接由reward计算得到:,注意这里没有加折扣系数(因为折扣系数的影响不大),相当于GAE的都为1。同时增加了很trick来增加训练稳定性。实验结果显示Reinforce++比GRPO更稳定,并能达到比肩PPO的性能。Reinforce++使用的trick包括:
1、Token level KL-penalty
这个reward的计算跟PPO是相同的,将KL的计算加在reward shaping上:
![图片展示了Reinforce++算法中用于计算奖励的公式(1)和KL散度(2)。公式(1)为r(s_t, a_t) = I(s_t = [EOS])r(x, y) - βKL(t),其中I(s_t = [EOS])为当s_t为[EOS]时的指示函数,r(x, y)为奖励函数,β为惩罚系数,KL(t)为KL散度。公式(2)为KL(t) = log(π_θ_old(a_t|s_t)^RL / π^SFT(a_t|s_t)),表示两个策略在给定状态s_t和动作a_t时的对数比值。这两公式是Reinforce++算法中用于调整奖励和控制策略差异的关键计算。](/writing/knowledge-notes-2026-09/media/291f7f7d3860943d494c5a7e.png)
2、mini-batch updates
基本是常见的训练技巧:
- 小批量样本:将训练数据划分为多个小批量(mini-batch),而不是使用整个数据集进行更新。
- 频繁更新:通过在每个小批量上进行多次参数更新,可以更快地收敛,同时减少内存消耗。
- 随机性引入:小批量更新引入了随机性,有助于避免局部最优解,提高模型的泛化能力。
3、Reward Normalization and clipping
PPO的技巧
4、PPO-clip
Importance sampling+clipping保持新旧策略分布接近
![图片展示了PPO-clip的损失函数公式,即LCLIP(θ) = E_t [min(r_t(θ)A_t, clip(r_t(θ), 1 - ε, 1 + ε)A_t)] 。其中r_t(θ)是新旧策略比率,A_t是优势估计,ε是一个小常数。该公式与上下文紧密相关,上下文提到PPO-clip是通过引入优势估计和策略剪裁来保持新旧策略分布接近,此公式正是其损失函数表达,直观呈现了PPO-clip的计算逻辑。](/writing/knowledge-notes-2026-09/media/a1a9cc20539b94f7e97c2401.png)
5、Advantage 归一化
Advantage定义为整条输出答案的reward值减去当前token之后的KL reward之和,这是符合Token level KL-penalty部分中Reinforce++的reward的定义的,intuiation是当前token之后跟SFT模型的输入分布差别越小,收益越大。

然后对Advantage要做同batch的归一话处理。
DAPO
最近看字节公布的一个新的RL算法DAPO,DAPO实际上还是延用了GRPO的大部分思路,不过在LongCoT的实际操作上做了一些变动(猜测了GRPO可能并未公布的一些训练技巧),这些变动包括:
1、loss的变化:token-level的策略损失,注意跟GRPO的区别在归一化上,有点类似gradient accumulation的两种做法,理论正确的归一化做法会效果更好一些(和,后者的计算会缩小长文本的loss,所以对长文本loss的BP不友好)。

2、删除KL的正则约束,因为长链式推理模型的训练中,模型分布可能会显著偏离初始模型,所以这种限制并不必要。
3、Clip-Higher策略:因为策略训练中熵崩溃,所以需要增加探索空间,于是对clip上界设置的更高一些,加大对新token的激励。
4、动态采样:通过动态采样策略,过滤掉准确率为1和0的提示,确保每个批次中的提示都具有有效的梯度信号。
5、Overlong Reward Shaping:保证训练稳定

DPO
DPO的创新点在于直接根据人类的偏好来优化语言模型,不用显示训练reward model。它的推导分两步:
一、从RLHF的目标函数去推导最优的策略(将KL展开, reward作为确定值, 策略作为求解的变量):




所以最优策略就是上式,根据最优策略得到reward为:

二、把reward作为BT模型需要优化的参数,得到最终的loss function:
直接对所有偏好对进行最大似然估计:

取对数、取负就得到了负对数似然损失函数:

带入最优策略的reward得到最终DPO的Loss为:
![图片展示了最终DPO的Loss公式$L_{DPO}(\pi_{\theta};\pi_{ref}) = -\mathbb{E}{(x,y_w,y_l)\sim D} [\log \sigma (\beta \log \frac{\pi{\theta}(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_{\theta}(y_l|x)}{\pi_{ref}(y_l|x)})]$。该公式是在推导DPO的过程中,把reward作为BT模型需要优化的参数,经对偏好对进行最大似然估计,取对数、取负得到负对数似然损失函数,再带入最优策略的reward后得出。其在OpenRLHF代码中有相应实现,与后续介绍的KTO的数据形态和做法形成对比。](/writing/knowledge-notes-2026-09/media/82e4fbc494ebbd2cbce997db.png)
这个loss的实现非常简单,OpenRLHF代码如下:

KTO
相比DPO依赖pairwise的数据去做对比去训练,KTO需要的数据形态就是只需要标注这个答案是不是所期望的就好了,具体做法也很简单,就是拆开DPO的loss,正样本计算chosen的loss,负样本计算rejected部分的loss:
![图片展示了KTO的Loss公式,是DPO、RLHF中的loss。公式为$L_{KTO}(\pi_{\theta},\pi_{ref}) = \mathbb{E}{x,y\sim D}[\lambda_y - v(x,y)]$,其中$r{\theta}(x,y) = \log \frac{\pi_{\theta}(y|x)}{\pi_{ref}(y|x)}$,$z_0 = \mathbb{E}{x'\sim D}[\text{KL}(\pi{\theta}(y'|x')||\pi_{ref}(y'|x'))]$,$v(x,y) = \begin{cases} \lambda_d\sigma(\beta(r_{\theta}(x,y) - z_0)) & \text{if } y \sim y_{\text{desirable}}|x \\ \lambda_u\sigma(\beta(z_0 - r_{\theta}(x,y))) & \text{if } y \sim y_{\text{undesirable}}|x \end{cases}$。图片与上下文紧密相关,直观呈现了KTO Loss的计算公式,帮助理解其在DPO、RLHF中的应用。](/writing/knowledge-notes-2026-09/media/cb34b902e3c4ef7214021d13.png)
OpenRLHF中实现的代码如下:
