Actor ↔ 端末

コマンド・ツール応答

最終検証

合格 P・成功 S

FDR または SPR

報告 → 終端報酬 R

GAE / TB-GAE

報酬 R + 価値 V

Critic

履歴 → 価値予測 V

Actor

A による PPO 更新

Critic

Ĝ = A + V に回帰

B · RPR：一つの軌跡から二種類の学習目標へ

各生成前の履歴

V

R

A

Ĝ

検証器が得点を計算し、Critic は各履歴から先のリターンを学習する。