TB-GAE：沿交互轮次传回终点反馈
设 γ = 0.9，λ = 0.8，q = γλ = 0.72；仅终点奖励为 1。
实际交互
第 1 轮
第 2 轮
观察仍参与下一次判断；“跳过”只改变下面的 GAE 递推。
同一条执行，三种信用回传时钟
全 token 链生成与观察都递推
g₁
生成位置g1。混合文本链中，生成与观察位置都参加优势递推。观察位置即使在训练损失中被掩蔽，仍会在这条递推链上产生衰减。
g₂
生成位置g2。混合文本链中，生成与观察位置都参加优势递推。观察位置即使在训练损失中被掩蔽，仍会在这条递推链上产生衰减。
g₃
生成位置g3。混合文本链中，生成与观察位置都参加优势递推。观察位置即使在训练损失中被掩蔽，仍会在这条递推链上产生衰减。
g₄
生成位置g4。混合文本链中，生成与观察位置都参加优势递推。观察位置即使在训练损失中被掩蔽，仍会在这条递推链上产生衰减。
R = 1
奖励在最后一个生成位置注入一次，形成终点 TD 残差；随后沿生成位置向前递推。
o₁
一个工具观察位置。在混合文本链中，它仍参与 GAE 递推，额外经过一次衰减；策略损失对该位置取 0。
o₂
一个工具观察位置。在混合文本链中，它仍参与 GAE 递推，额外经过一次衰减；策略损失对该位置取 0。
o₃
一个工具观察位置。在混合文本链中，它仍参与 GAE 递推，额外经过一次衰减；策略损失对该位置取 0。
q
q
q
q
q
q
终点残差权重：q⁶ ≈ 0.1393（此处日志取 3 个 token）
SAO · 跳过观察生成位置每跳 ×q
g₁
生成位置g1。只跳过观察的示意递推，生成位置之间仍每条边乘q。这里用于区分“跳过观察”和“跨轮时钟”两个步骤。
g₂
生成位置g2。只跳过观察的示意递推，生成位置之间仍每条边乘q。这里用于区分“跳过观察”和“跨轮时钟”两个步骤。
g₃
生成位置g3。只跳过观察的示意递推，生成位置之间仍每条边乘q。这里用于区分“跳过观察”和“跨轮时钟”两个步骤。
g₄
生成位置g4。只跳过观察的示意递推，生成位置之间仍每条边乘q。这里用于区分“跳过观察”和“跨轮时钟”两个步骤。
R = 1
奖励在最后一个生成位置注入一次，形成终点 TD 残差；随后沿生成位置向前递推。
q
q
q
跳过观察位置
终点残差权重：q³ ≈ 0.3732
TB · 轮次时钟跨轮才 ×q
g₁
生成位置g1。TB-GAE保留这个位置自己的pre-token价值基线；同轮目标可相同，优势依然可以不同。
g₂
生成位置g2。TB-GAE保留这个位置自己的pre-token价值基线；同轮目标可相同，优势依然可以不同。
g₃
生成位置g3。TB-GAE保留这个位置自己的pre-token价值基线；同轮目标可相同，优势依然可以不同。
g₄
生成位置g4。TB-GAE保留这个位置自己的pre-token价值基线；同轮目标可相同，优势依然可以不同。
R = 1
奖励在最后一个生成位置注入一次，形成终点 TD 残差；随后沿生成位置向前递推。
1
q
1
跳过观察位置
终点残差权重：q = 0.72；同轮不衰减
同轮共享目标；每个前缀仍有自己的优势
第 1 轮
g₁
g₂
0.20
0.40
0.81
0.81
0.61
0.41
下一轮起点的V=0.5、A=0.5。共同目标U₁=0.9×(0.5+0.8×0.5)=0.81。两个prefix分别减去自己的V，得到A₁=0.81−0.2=0.61，A₂=0.81−0.4=0.41。
第 2 轮
g₃
g₄
0.50
0.80
1.00
1.00
0.50
0.20
第2轮结束时真正终止，只有终点奖励1，因此两个生成位置的共同目标都为1；各自减去V，优势为0.5与0.2。
生成前的价值 V
共同目标 U
优势 A = U − V
U₁ = 0.9 × (0.5 + 0.8 × 0.5) = 0.81
上图比较末端残差的传播系数，下图计算回报目标与优势。
γ = λ = 1 时三条链的系数均为 1；RPR-1 使用标准 GAE 与该配置。