SFT 更新
RSR 用验证通过并移除私有指导的公开轨迹，仅更新 Actor。
冻结参数
每个 RPR 阶段最初 4 次更新期间，Actor 参数固定，执行当前任务供 Critic 校准。
PPO 更新
校准结束后，Actor 使用优势做 PPO 更新，同时 Critic 继续拟合回报目标。
保留权重
Critic 权重在 RSR 期间保持不变，直接交接到下一 RPR 阶段。
价值回归
先做 4 次 Critic-only 更新，以当前 Actor 的轨迹适应策略与奖励。首次进入 RPR-1 前另有一轮 SWR 价值预热。
价值回归
联合训练中继续拟合回报目标，每个 RPR 阶段只在开头做一次 4 更新的校准。
RSR · 监督微调
RPR · 校准 4 次
RPR · 联合训练
Actor
Critic
绿色：更新参数 白色：保持参数