{
  "slug": "on-policy-distillation",
  "category": "Post-training",
  "title": [
    "模型如何从自己的回答中学习",
    "Learning from the Model’s Own Answers",
    "自分の回答から学ぶモデル"
  ],
  "lead": [
    "模型自己作答，教师沿着这条回答给出更好的下一步分布。On-Policy Distillation 把教学发生的位置，移到了学生真正会走到的地方。",
    "The student writes an answer. A teacher scores better next-token choices along that same path. On-policy distillation brings supervision to the situations the student actually encounters.",
    "学生モデルが回答を生成し、教師がその経路上で次のtokenの分布を示します。On-Policy Distillationは、学生が実際にたどる場所で学習を行います。"
  ],
  "sections": [
    {
      "title": [
        "教学发生在学生走到的位置",
        "Teach at the states the student visits",
        "学生が実際に訪れる状態で教える"
      ],
      "paragraphs": [
        [
          "固定答案上的 SFT 主要学习参考轨迹的前缀。推理时，学生可能多写一句、漏一个条件或选错一个分支，此后就进入训练答案没有覆盖的位置。On-Policy Distillation（OPD）先让学生生成 y，再让教师沿同一条 y 的每个前缀重新给出下一 token 分布。它把监督位置移到学生实际会访问的状态。",
          "SFT on fixed answers primarily trains on reference prefixes. At inference, an extra sentence, omitted condition, or wrong branch can take the student somewhere those answers did not cover. On-policy distillation first lets the student generate y, then evaluates teacher next-token distributions along the same prefixes. Supervision moves to states the student actually visits.",
          "固定回答によるSFTは主に参照軌跡の接頭辞を学びます。推論時に余分な一文、条件の見落とし、分岐の誤りがあると、参照回答にない状態へ進みます。On-Policy Distillation（OPD）は学生が生成したyの各接頭辞で教師の次token分布を評価し、学生が実際に訪れる状態で教えます。"
        ],
        [
          "“On-policy”说明轨迹来自当前或近期的学生策略；“distillation”说明监督来自教师分布。它们是两条独立的轴。教师不必先生成一份完整的新答案，学生轨迹也不必正确。复用旧 rollout 会产生策略滞后，需要记录采样版本与更新次数。",
          "“On-policy” identifies the current or recent student as the trajectory source; “distillation” identifies a teacher distribution as supervision. These are separate axes. The teacher need not generate a complete replacement answer, and the student rollout need not be correct. Reusing old rollouts introduces policy lag, so record the sampler version and update count.",
          "「On-policy」は現在または直近の学生方策を軌跡の生成源とし、「distillation」は教師分布を教師信号とします。これは別々の軸です。教師が完全な代替回答を生成する必要も、学生の回答が正しい必要もありません。古いrolloutの再利用では方策の遅れを記録します。"
        ]
      ],
      "figure": "loop",
      "refs": [
        0,
        1
      ]
    },
    {
      "title": [
        "四种角色：学生、采样策略、教师、参考模型",
        "Student, sampler, teacher, and reference",
        "学生、生成方策、教師、参照モデル"
      ],
      "paragraphs": [
        [
          "写成 qθ(v | x,y<t) 表示待更新的学生；qold 负责生成训练轨迹；pφ(v | x,z,y<t) 是教师，z 为可选的额外信息；πref 是可选的稳定锚点。教师回答“应该往哪里学”，参考模型回答“允许偏离旧能力多少”。即使二者起初来自同一个 checkpoint，也不能混用其职责与系数。",
          "Let qθ(v | x,y<t) be the student being updated, qold the rollout policy, pφ(v | x,z,y<t) the teacher with optional information z, and πref an optional stability anchor. The teacher specifies where to move; the reference constrains departure from prior behavior. Identical initial checkpoints do not make their roles or coefficients interchangeable.",
          "更新する学生をqθ(v | x,y<t)、生成方策をqold、追加情報zを持つ教師をpφ(v | x,z,y<t)、任意の安定化の基準をπrefとします。教師は学ぶ方向、参照モデルは以前の挙動からのずれを制約します。同じcheckpointから始めても、役割や係数は別です。"
        ],
        [
          "教师可以是独立强模型、冻结的同源模型、学生参数的 EMA，或当前学生在更丰富上下文下的另一次前向计算。通常对教师目标 stop-gradient，避免同一步中教师向学生退让；这不等于教师永久冻结。更新教师的时间表、参数版本和上下文都属于方法定义。",
          "A teacher can be a stronger external model, a frozen relative, an EMA of student weights, or another forward pass of the current student with richer context. Teacher targets usually stop gradients so they do not move toward the student in the same update; this is not permanent freezing. Teacher update schedule, parameter version, and context are part of the method.",
          "教師には外部の強いモデル、凍結した同系モデル、学生重みのEMA、追加文脈を与えた現在の学生の別forwardなどがあります。通常は教師側の勾配を止め、同じ更新で教師が学生に歩み寄ることを防ぎます。永久凍結とは異なり、更新予定、重みの版、文脈を明示します。"
        ]
      ],
      "figure": "context",
      "refs": [
        2,
        3,
        4
      ]
    },
    {
      "title": [
        "SFT、GRPO 与 OPD 分别监督什么",
        "What SFT, GRPO, and OPD supervise",
        "SFT・GRPO・OPDが教えるもの"
      ],
      "paragraphs": [
        [
          "区别不只是有没有奖励。硬标签 SFT 在给定前缀提高目标 token 的概率；结果奖励 GRPO 用回答相对质量给采样 token 加权；OPD 在学生前缀上匹配教师分布，既可用完整 logits，也可用采样 token 的 log-prob 信号。蒸馏可以接入策略梯度代码，仍须写清实际优化目标。",
          "The distinction is more than whether a reward exists. Hard-label SFT increases the target token probability at supplied prefixes. Outcome-reward GRPO weights sampled tokens by relative response quality. OPD matches a teacher at student prefixes, through full logits or sampled-token log probabilities. Using policy-gradient infrastructure does not remove the need to specify the objective.",
          "違いは報酬の有無だけではありません。硬いラベルのSFTは与えた接頭辞で目標tokenの確率を高め、結果報酬GRPOは回答の相対的品質で生成tokenを重み付けします。OPDは学生の接頭辞で教師分布を模倣します。方策勾配の実装を使う場合も、目的関数の明記が必要です。"
        ]
      ],
      "table": {
        "headers": [
          [
            "典型设置",
            "Typical setup",
            "典型的な設定"
          ],
          [
            "前缀来源",
            "Prefix source",
            "接頭辞の生成源"
          ],
          [
            "信号与主要边界",
            "Signal and boundary",
            "信号と主な限界"
          ]
        ],
        "rows": [
          [
            [
              "硬标签 SFT",
              "Hard-label SFT",
              "硬いラベルのSFT"
            ],
            [
              "固定参考回答",
              "Fixed reference answers",
              "固定参照回答"
            ],
            [
              "−log qθ(y*ₜ | x,y*<t)；覆盖受参考轨迹限制",
              "−log qθ(y*ₜ | x,y*<t); coverage follows reference trajectories",
              "−log qθ(y*ₜ | x,y*<t)；参照軌跡が範囲を決める"
            ]
          ],
          [
            [
              "结果奖励 GRPO",
              "Outcome-reward GRPO",
              "結果報酬GRPO"
            ],
            [
              "学生同题多条回答",
              "Grouped student responses",
              "同じ問題への複数の学生回答"
            ],
            [
              "组内优势；整条回答共享结果信号",
              "Group advantages; shared outcome signal within a response",
              "グループ優位性；回答内で結果信号を共有"
            ]
          ],
          [
            [
              "OPD / GKD",
              "OPD / GKD",
              "OPD / GKD"
            ],
            [
              "学生轨迹；GKD 也可混固定数据",
              "Student trajectories; GKD can mix fixed data",
              "学生軌跡；GKDでは固定データとの混合も可能"
            ],
            [
              "教师分布散度；依赖教师在这些前缀上的质量",
              "Teacher divergence; depends on teacher quality at these prefixes",
              "教師との分布差；その接頭辞での教師品質に依存"
            ]
          ]
        ]
      },
      "refs": [
        0,
        1,
        2
      ]
    },
    {
      "title": [
        "先固定一个前缀，再读 KL 方向",
        "Read KL direction at one fixed prefix",
        "まず一つの接頭辞でKLの方向を読む"
      ],
      "paragraphs": [
        [
          "在同一前缀上，设教师 p(v)、学生 q(v)。Forward KL 为 D(p∥q)=Σᵥ p(v)log[p(v)/q(v)]；Reverse KL 为 D(q∥p)=Σᵥ q(v)log[q(v)/p(v)]。名称以教师到学生的蒸馏约定为准，务必写出参数顺序；“∥”只是两个分布的分隔符。",
          "At one prefix, let p(v) be the teacher and q(v) the student. Forward KL is D(p∥q)=Σᵥ p(v)log[p(v)/q(v)]; reverse KL is D(q∥p)=Σᵥ q(v)log[q(v)/p(v)]. Names follow the teacher-to-student convention, so always state the argument order. The double bar separates distributions.",
          "一つの接頭辞で教師をp(v)、学生をq(v)とします。順方向KLはD(p∥q)=Σᵥ p(v)log[p(v)/q(v)]、逆方向KLはD(q∥p)=Σᵥ q(v)log[q(v)/p(v)]です。名称は教師から学生への蒸留の慣例なので、引数の順序を必ず示します。二重線は分布の区切りです。"
        ],
        [
          "OPD 常见的局部目标是 L = E[x,y∼qold][(1/T)Σₜ D(qθ,ₜ ∥ sg(pφ,ₜ))]。训练通常固定采样出的前缀，再对这些位置上的分布求导。它不自动包含“参数改变会让未来访问哪些前缀也改变”的全部梯度；长度平均也不等同于不加权的整序列 KL。",
          "A common local objective is L = E[x,y∼qold][(1/T)Σₜ D(qθ,ₜ ∥ sg(pφ,ₜ))]. Training usually holds sampled prefixes fixed and differentiates distributions at those positions. This does not automatically include every derivative of future state visitation; response-length averaging is also distinct from unweighted sequence KL.",
          "一般的な局所目的はL = E[x,y∼qold][(1/T)Σₜ D(qθ,ₜ ∥ sg(pφ,ₜ))]です。通常は生成した接頭辞を固定し、その位置の分布を微分します。パラメータの変化による将来の訪問状態の変化まで全て微分するわけではなく、長さ平均も重みなしの系列KLとは異なります。"
        ]
      ],
      "refs": [
        0,
        1,
        3
      ]
    },
    {
      "title": [
        "从 Reverse KL 到 token 学习信号",
        "From reverse KL to a token learning signal",
        "逆方向KLからtokenの学習信号へ"
      ],
      "paragraphs": [
        [
          "在固定前缀、固定教师下，∇θD(qθ∥p) = Eᵥ∼qθ[(log qθ(v)−log p(v))∇θlog qθ(v)]。求导产生的常数 1 因 Eᵥ∼qθ[∇log qθ(v)]=0 消去。因此最小化这个 KL，可以使用 A(v)=log p(v)−log qθ(v) 形式的局部优势：教师比学生更支持的 token 得到正向信号。",
          "At a fixed prefix with a fixed teacher, ∇θD(qθ∥p) = Eᵥ∼qθ[(log qθ(v)−log p(v))∇θlog qθ(v)]. The derivative’s constant 1 vanishes because Eᵥ∼qθ[∇log qθ(v)]=0. Thus minimizing this KL admits the local advantage A(v)=log p(v)−log qθ(v): tokens favored more by the teacher receive positive signal.",
          "接頭辞と教師を固定すると、∇θD(qθ∥p) = Eᵥ∼qθ[(log qθ(v)−log p(v))∇θlog qθ(v)]です。微分で現れる定数1はEᵥ∼qθ[∇log qθ(v)]=0により消えます。したがってA(v)=log p(v)−log qθ(v)を局所的な優位性とし、教師がより支持するtokenを強化できます。"
        ],
        [
          "全词表计算会对各候选 token 按 q 的概率加权；采样估计只使用抽到的 token，更省存储但有方差。把已采样 token 的 log q−log p 当普通标量直接反传，和正确构造这个梯度估计并不相同；实际实现要核对 detach、重要性权重及离策略校正。",
          "A full-vocabulary computation weights candidates by q; a sampled estimator uses only sampled tokens, saving storage but adding variance. Simply backpropagating a stored sampled value log q−log p is not equivalent to constructing the intended gradient estimator. Check detach operations, importance weights, and off-policy correction in the implementation.",
          "全語彙計算では候補をqの確率で重み付けし、標本推定では選ばれたtokenだけを使うため保存量は減りますが分散が増えます。生成済みtokenのlog q−log pを普通のスカラーとして逆伝播するだけでは、この勾配推定と同じになりません。detach、重要度重み、off-policy補正を確認します。"
        ],
        [
          "某个错误答案 token 的局部信号可能很弱：如果此前已走偏，它在那个错误前缀下仍很自然。这解释了为什么 token 分布反馈与最终正确性互补，也解释了为什么不能把教师 log-ratio 当成经过验证的“错误因果定位”。",
          "A wrong final-answer token may receive little local correction if it is predictable after an already mistaken prefix. This explains why distribution feedback and outcome correctness can complement one another, and why teacher log ratios are not verified causal attributions of errors.",
          "既に誤った接頭辞から自然に続くなら、誤答の最終tokenへの局所修正は弱い場合があります。分布の信号と最終的な正誤が補完的なのはこのためです。教師の対数比を、検証済みの誤りの因果特定とは見なせません。"
        ]
      ],
      "refs": [
        1,
        4
      ]
    },
    {
      "title": [
        "覆盖、集中与 JSD：倾向不等于保证",
        "Coverage, concentration, and JSD",
        "被覆・集中・JSD：傾向と保証を分ける"
      ],
      "paragraphs": [
        [
          "Forward KL 在教师给较大概率而学生给很小概率的候选上施压；Reverse KL 对学生投入较多概率但教师不认可的候选施压。有限容量、多峰分布下，它们常表现为覆盖更多模式与集中于部分模式的差异。全词表 Reverse KL 并非只看已采样 token；也不能把集中倾向直接等同于必然模式崩溃。",
          "Forward KL penalizes missing probability where the teacher assigns mass; reverse KL penalizes student mass where the teacher assigns little. With limited capacity and multimodal distributions, this can favor broader coverage versus concentration. Full-vocabulary reverse KL is not restricted to sampled tokens, and a concentrating tendency is not an inevitable mode collapse.",
          "順方向KLは教師が確率を置く候補を学生が落とすことに、逆方向KLは教師が支持しない候補へ学生が確率を置くことに圧力をかけます。有限容量の多峰分布では被覆と集中の傾向が異なります。全語彙の逆方向KLは生成tokenだけを見るものではなく、集中傾向が必ず崩壊を意味するわけでもありません。"
        ],
        [
          "广义 Jensen–Shannon 散度使用混合分布 mλ=λp+(1−λ)q，JSDλ=λD(p∥mλ)+(1−λ)D(q∥mλ)。λ=1/2 时对称。它不是把 D(p∥q) 与 D(q∥p) 简单相加。混合分布改变了极小概率处的行为，但稳定性仍取决于教师、采样、温度和数值实现。",
          "Generalized Jensen–Shannon divergence uses mλ=λp+(1−λ)q and JSDλ=λD(p∥mλ)+(1−λ)D(q∥mλ), symmetric at λ=1/2. It is not simply D(p∥q)+D(q∥p). The mixture changes behavior at tiny probabilities, while stability still depends on the teacher, sampling, temperature, and numerical implementation.",
          "一般化Jensen–Shannonダイバージェンスはmλ=λp+(1−λ)q、JSDλ=λD(p∥mλ)+(1−λ)D(q∥mλ)で、λ=1/2なら対称です。D(p∥q)+D(q∥p)ではありません。混合分布は極小確率での挙動を変えますが、安定性は教師、生成、温度、数値実装にも依存します。"
        ],
        [
          "因此“学生轨迹来自哪里”“教师多看什么”“用哪种散度”是三个可分别消融的选择。不能从 OPSD、OPCD 等名字或某个示例目录推断 loss；更强教师也不意味着必须使用某一个 KL 方向。",
          "Trajectory source, privileged teacher information, and divergence are three independently testable choices. Neither a method name nor a demo directory determines the implemented loss; a stronger teacher does not force a particular KL direction.",
          "軌跡の生成源、教師の追加情報、ダイバージェンスは独立に検証できる選択です。手法名やデモのディレクトリ名からlossは決まりません。より強い教師を使うからといって、KLの方向が一意に決まるわけでもありません。"
        ]
      ],
      "refs": [
        0,
        2,
        4
      ]
    },
    {
      "title": [
        "OPSD：参考解产生教学信息差",
        "OPSD: teaching with a reference solution",
        "OPSD：参照解が作る情報差"
      ],
      "paragraphs": [
        [
          "OPSD 的 Self-Distilled Reasoner 设置让学生看问题 x，教师看 x 与参考解 y*；两者来自同一组模型参数。教师在学生自己的前缀上评价候选，训练目标是让只看 x 的学生也获得可迁移的解题行为。参考解可含推理，但被评分的轨迹仍是学生轨迹。",
          "In Self-Distilled Reasoner, the OPSD student sees x while the teacher sees x and reference solution y*; both use the same model parameters. The teacher evaluates candidates at student prefixes, aiming to transfer solving behavior to the x-only student. A reference may include reasoning, but the rescored trajectory remains the student’s.",
          "Self-Distilled ReasonerのOPSDでは学生はx、教師はxと参照解y*を見て、同じモデル重みを使います。教師は学生の接頭辞で候補を評価し、xだけを見る学生へ解法を移します。参照解に推論が含まれていても、再評価する軌跡は学生が生成したものです。"
        ],
        [
          "原论文定义全词表散度目标，讨论广义 JSD，也比较采样 token 蒸馏。不能把 OPSD 固定写成“必然 Reverse KL”，或把某个 JSD 参数设置简化成所有任务上的最优方向。换用外部教师可以形成相邻变体，但同时改变了参数来源与信息差，比较时应分别控制。",
          "The paper defines a full-vocabulary divergence objective, discusses generalized JSD, and compares sampled-token distillation. OPSD is not necessarily reverse KL, nor does a particular JSD setting establish a universal best direction. An external teacher gives a related variant while changing both parameter source and information advantage; control those factors separately.",
          "論文は全語彙のダイバージェンス目的、一般化JSD、生成tokenだけの蒸留を検討します。OPSDが必ず逆方向KLというわけではなく、特定のJSD設定が全タスクで最善でもありません。外部教師への変更は関連する変種ですが、重みの由来と情報差を同時に変えるため、分けて比較します。"
        ]
      ],
      "refs": [
        2
      ]
    },
    {
      "title": [
        "OPCD：把额外上下文变成可迁移能力",
        "OPCD: internalize additional context",
        "OPCD：追加文脈を能力として内在化する"
      ],
      "paragraphs": [
        [
          "OPCD 让学生不带目标上下文 c 生成，教师在 [c;x;y<t] 上评分，原方法最小化学生到教师的 Reverse KL。c 可以是优化后的 system prompt、规则或从经验中提炼的知识。教师可以独立于学生，也可以同源；原论文明确讨论了这些配置，而非只允许“同模型自己教自己”。",
          "OPCD samples the student without target context c and scores the teacher on [c;x;y<t], using student-to-teacher reverse KL in the original method. Context can be an optimized system prompt, rules, or experiential knowledge. Teachers may be independent or related to the student; the paper explicitly studies multiple configurations, not only a model teaching itself.",
          "OPCDでは学生は対象文脈cなしで生成し、教師は[c;x;y<t]で評価します。原手法は学生から教師への逆方向KLを使います。cは最適化したsystem prompt、規則、経験知などです。教師は独立モデルでも同系モデルでもよく、論文は複数の構成を扱います。"
        ],
        [
          "上下文压缩有可学性边界：如果 c 提供的是能由 x 推出、或应在训练中积累的通用规则，转移有合理基础；如果它包含每个新样本都不同、无法由 x 确定的私有事实，学生不能仅靠参数稳定还原。部署时需要的新事实仍应通过输入或检索提供。",
          "Context compression has a learnability boundary. Transfer is plausible for reusable rules or information inferable from x. If c contains private facts that vary per new example and cannot be determined from x, parameters cannot reliably reconstruct them. New facts needed at deployment still require input or retrieval.",
          "文脈圧縮には学習可能性の限界があります。再利用できる規則やxから推測できる情報なら転移に根拠がありますが、新規事例ごとに変わりxから決まらない事実を、重みだけで安定して復元することはできません。運用時の新しい事実は入力や検索で与える必要があります。"
        ]
      ],
      "refs": [
        3
      ]
    },
    {
      "title": [
        "SDPO：把环境反馈转成分布监督",
        "SDPO: turn environment feedback into distributional supervision",
        "SDPO：環境フィードバックを分布の教師信号へ"
      ],
      "paragraphs": [
        [
          "SDPO 先采样并执行，再把测试失败、运行错误或同题成功回答等反馈 f 交给自教师。学生在原始输入和原前缀上训练；教师多看 f，以回顾视角重新评价这些位置。没有丰富环境日志时，同组成功解也能作为反馈；但没有可靠反馈的样本不能假设会产生有效教学。",
          "SDPO samples and executes attempts, then supplies feedback f—failed tests, runtime errors, or successful attempts on the same question—to a self-teacher. The student trains on its original input and prefixes; the teacher revisits those positions with f. Successful siblings can supply feedback without rich logs, but absent reliable feedback there is no guaranteed teaching signal.",
          "SDPOは回答を生成・実行し、テスト失敗、実行エラー、同じ問題の成功回答などのfを自己教師に渡します。学生は元の入力と接頭辞で学び、教師はfを見てその位置を再評価します。豊富なログがなくても同グループの成功解を使えますが、信頼できる情報がなければ有効な指導は保証されません。"
        ],
        [
          "基本式 L = ΣₜD(qθ,ₜ∥sg(pφ,ₜ)) 给出 log[p(v)/q(v)] 的局部优势；论文的稳定化实现还采用对称 JSD 与 EMA 或初始教师插值。Top-K 近似中保留尾部质量项。要区分基本推导、实际训练配方和具体消融，不能把它们压成一个固定的“KL + RL reward”公式。",
          "The basic L = ΣₜD(qθ,ₜ∥sg(pφ,ₜ)) yields the local log[p(v)/q(v)] advantage. Stabilized implementations also use symmetric JSD and EMA or interpolation with an initial teacher; top-K approximation retains a tail-mass term. Distinguish the derivation, training recipe, and ablations instead of reducing them to a fixed “KL plus RL reward” formula.",
          "基本式L = ΣₜD(qθ,ₜ∥sg(pφ,ₜ))はlog[p(v)/q(v)]の局所優位性を与えます。安定化した実装は対称JSD、EMAまたは初期教師との補間を使い、top-K近似では裾の確率質量も扱います。基本導出、学習レシピ、個別のアブレーションを区別し、固定の「KL＋RL報酬」にまとめないことが大切です。"
        ],
        [
          "反馈必须在 student rollout 之后取得，但训练时学生是否看额外信息是另一项输入约束；不是“看不到反馈”这件事定义了 on-policy。模型还需要足够的能力理解反馈，错误日志也可能不完整。局部分布更一致，不等于最终程序一定通过测试。",
          "Feedback follows the student rollout, while withholding it from student inputs is a separate conditioning constraint; lack of feedback does not define on-policy sampling. The model needs enough capability to interpret feedback, and logs may be incomplete. Better local distribution agreement does not guarantee a passing program.",
          "フィードバックは学生の生成後に得ますが、学生入力からそれを除くことは別の条件付け制約です。「フィードバックを見ない」こと自体がon-policyの定義ではありません。モデルには情報を解釈する能力が必要で、ログも不完全な場合があります。局所分布の一致はプログラムの成功を保証しません。"
        ]
      ],
      "refs": [
        4
      ]
    },
    {
      "title": [
        "全词表、采样与 Top-K：近似改变了目标",
        "Full vocabulary, sampling, and top-K approximations",
        "全語彙・標本・top-K：近似が変える目的"
      ],
      "paragraphs": [
        [
          "全词表蒸馏需要教师与学生在同一 token 空间、同一前缀位置上比较。输入模板不同仍要对齐输出位置；tokenizer 不同则不能直接把同一个 token ID 的 logits 相减。prompt、padding、工具返回和未生成位置是否计入 loss，也应通过显式 mask 定义。",
          "Full-vocabulary distillation needs aligned token spaces and prefix positions. Different input templates still require output alignment; different tokenizers prevent direct subtraction of logits with the same token ID. Explicit masks should define treatment of prompts, padding, tool outputs, and ungenerated positions.",
          "全語彙蒸留にはtoken空間と接頭辞位置の整合が必要です。入力テンプレートが違っても出力位置を合わせ、tokenizerが違う場合は同じIDのlogitsを直接引けません。prompt、padding、ツール出力、未生成位置をlossに含めるかはmaskで定義します。"
        ],
        [
          "若取集合 K，再归一化 q̃(v)=q(v)/Σu∈Kq(u)、p̃(v)=p(v)/Σu∈Kp(u)，计算的是集合内部的条件分布差异，丢掉了集合外质量。另一种做法把尾部合并为一个额外桶，再比较总质量。这两种近似不同；K 来自 student、teacher 或二者并集也会改变覆盖。",
          "For a set K, renormalizing q̃(v)=q(v)/Σu∈Kq(u) and p̃(v)=p(v)/Σu∈Kp(u) compares conditional distributions inside K, discarding outside mass. Another approximation merges the tail into an extra bucket and compares its mass too. These are distinct objectives; choosing K from the student, teacher, or their union also changes coverage.",
          "集合Kでq̃(v)=q(v)/Σu∈Kq(u)、p̃(v)=p(v)/Σu∈Kp(u)と再正規化すると、集合内の条件分布だけを比較し外側の質量を捨てます。裾を追加の一つの桶にまとめて質量も比べる近似とは異なります。Kを学生、教師、両者の和集合から選ぶかでも被覆が変わります。"
        ],
        [
          "例如 student Top-K 未包含某个稀有但关键的标签起始 token，后续散度就很难直接教会它。应记录 K、截断质量、温度、是否重归一化、teacher query 延迟和 log-prob 存储成本。不能只报“用了 KL”或把不同 Top-K 实现当同一基线。",
          "If student top-K excludes the start token of a rare critical label, the divergence cannot directly teach it there. Record K, omitted mass, temperature, renormalization, teacher-query latency, and log-prob storage. “Uses KL” is insufficient, and different top-K implementations are not the same baseline.",
          "学生のtop-Kから稀だが重要なラベルの開始tokenが外れると、その位置のダイバージェンスは直接それを教えにくくなります。K、除外質量、温度、再正規化、教師評価の遅延、log-probの保存費用を記録します。「KLを使用」だけでは基準を定義できません。"
        ]
      ],
      "refs": [
        3,
        4
      ]
    },
    {
      "title": [
        "特权信息的价值与失效边界",
        "The value and limits of privileged information",
        "特権情報の価値と限界"
      ],
      "paragraphs": [
        [
          "额外信息造成教学差，并不自动构成数据泄漏；OPSD 使用参考解正是方法设计。风险在于学生是否学到可从部署输入恢复的行为，还是依赖了答案痕迹、错误上下文或训练集记忆。无额外信息的 held-out 评测、实体替换、反事实提示和错误反馈对照，比“肯定会泄漏”这样的结论更有辨别力。",
          "Extra information creates a teaching advantage, not automatically data leakage; reference solutions are intentional in OPSD. The question is whether the student learns behavior recoverable from deployment inputs or relies on answer cues, erroneous context, or memorization. Held-out tests without privileged inputs, entity substitutions, counterfactual prompts, and incorrect-feedback controls discriminate these possibilities.",
          "追加情報は教師の優位を作りますが、自動的にデータ漏洩になるわけではありません。OPSDの参照解は意図した設計です。運用入力から再現できる行動を学ぶのか、答えの痕跡、誤った文脈、暗記に依存するのかを、追加情報なしの評価、実体置換、反実仮想、誤フィードバックの対照で調べます。"
        ],
        [
          "以问题审查为例，教师获得的是“排查哪些维度”的通用规则，还是该样本的确切问题清单，应分别记录。前者也可能错，后者也并非必然不可迁移。评价需要同时看问题召回、误报、关键问题漏报和同一回答内的多问题完整性；token 的 mode-covering 不能保证一次输出找全所有问题。",
          "For issue review, distinguish reusable inspection rules from an exact issue list for that example. Rules can be wrong, and gold lists are not inherently untransferable. Evaluate issue recall, false positives, critical misses, and completeness within each answer. Token-level mode coverage does not guarantee finding every issue in one output.",
          "問題レビューでは、汎用的な確認規則と、その事例の正確な問題一覧を区別して記録します。規則も誤り得ますし、正解一覧が必ず転移不能なわけでもありません。再現率、誤検出、重要問題の見逃し、同じ回答内の完全性を併せて測ります。tokenのモード被覆だけでは問題を一度で全て見つける保証はありません。"
        ],
        [
          "教师整体分数更高不保证它在学生错误前缀上更有帮助；先单独检查这些前缀上的教师行为。教师分数是重要参照，但不是学生性能的数学硬上限。任务监督、数据分布和归纳偏置都可能改变最终关系，结论应来自匹配条件的测量。",
          "A higher overall teacher score does not guarantee more useful supervision at the student’s mistaken prefixes; inspect those states directly. Teacher performance is an important reference, not a mathematical upper bound on student performance. Task signals, data distribution, and inductive bias can change that relationship, so use matched measurements.",
          "教師の総合点が高くても、学生の誤った接頭辞でより有益とは限りません。その状態を直接調べます。教師の点数は重要な参照ですが学生性能の数学的な上限ではありません。タスク信号、分布、帰納バイアスで関係が変わるため、条件を揃えて測定します。"
        ]
      ]
    },
    {
      "title": [
        "把方法名变成可复现的实验",
        "Turn a method name into a reproducible experiment",
        "手法名を再現可能な実験にする"
      ],
      "paragraphs": [
        [
          "最小记录应包括：数据与 case 切分、学生/教师/采样/参考版本、各分支实际输入、rollout 刷新与复用、散度顺序、Top-K 与尾部处理、loss mask 与聚合分母、教师更新规则、checkpoint 和评测输入。只写“OPSD，topk=64”不足以说明训练发生了什么。",
          "A minimal record includes data and case splits; student, teacher, sampler, and reference versions; actual branch inputs; rollout refresh/reuse; divergence order; top-K and tail handling; masks and reduction; teacher updates; checkpoints; and evaluation inputs. “OPSD, topk=64” does not specify what training did.",
          "最低限、データとcase分割、学生・教師・生成・参照の版、各分岐の実入力、rollout更新と再利用、散度の順序、top-Kと裾、maskと集約、教師更新、checkpoint、評価入力を記録します。「OPSD、topk=64」では学習内容を定義できません。"
        ],
        [
          "实验按轴拆开：固定模型与预算，比较有/无教师上下文，再比较散度或教师更新方式；不要一次改变学生提示长度、教师模型、KL 和奖励后，把差异都归因于某个算法。若测试 2×2 因子设计，应补齐四格；缺一格时只能报告已观测对照。",
          "Separate experimental axes: hold models and budget fixed, compare teacher context on/off, then divergence or teacher updates. Do not simultaneously alter student prompt length, teacher model, KL, and rewards and attribute the outcome to one algorithm. A 2×2 factorial comparison needs all four cells; otherwise report only the observed contrasts.",
          "実験軸を分け、モデルと予算を固定して教師文脈の有無を比べ、その後に散度や教師更新を変えます。学生prompt長、教師、KL、報酬を同時変更して一つの手法に帰因しません。2×2の要因実験では4条件を揃え、欠ける場合は観測した対照のみ報告します。"
        ],
        [
          "混合任务监督可以写成概念式 Ltotal = αLdistill − βJoutcome + γKref，但每一项的尺度、mask 和来源都要明确。β=0 表示没有显式结果奖励，不代表不能学会任务，也不保证召回会上升。最终用无特权输入的独立测试，连同有效样本数、失败率、生成 token、教师计算和墙钟成本，判断这次蒸馏是否值得。",
          "A conceptual hybrid is Ltotal = αLdistill − βJoutcome + γKref, with each term’s scale, mask, and source specified. β=0 means no explicit outcome reward; it neither prevents task learning nor guarantees improved recall. Judge the result on independent tests without privileged inputs, reporting valid samples, failures, generated tokens, teacher computation, and wall-clock cost.",
          "混合目的の概念式はLtotal = αLdistill − βJoutcome + γKrefですが、各項の尺度、mask、出所を明示します。β=0は明示的な結果報酬がないことを意味し、タスクを学べないことでも再現率が上がる保証でもありません。特権入力なしの独立評価と、有効数、失敗率、生成token、教師計算、実時間で価値を判断します。"
        ]
      ],
      "refs": [
        0,
        1,
        3,
        4
      ]
    }
  ],
  "figures": [
    {
      "id": "loop",
      "title": [
        "学生采样，教师指导",
        "Student samples, teacher guides",
        "学生が生成し、教師が教える"
      ],
      "caption": [
        "教师和学生比较同一生成前缀；教师条件可以更丰富。",
        "Teacher and student are compared on the same generated prefix; the teacher may have richer context.",
        "同じ生成接頭辞で比較します。教師には追加の文脈を与えられます。"
      ],
      "rows": [
        {
          "nodes": [
            [
              "任务输入",
              "Task input",
              "タスク入力"
            ],
            [
              "学生生成",
              "Student rollout",
              "学生が生成"
            ],
            [
              "教师重评分",
              "Teacher rescoring",
              "教師が再評価"
            ]
          ]
        },
        {
          "nodes": [
            [
              "分布差异",
              "Distribution loss",
              "分布間の損失"
            ],
            [
              "更新学生",
              "Update student",
              "学生を更新"
            ]
          ]
        }
      ],
      "bridges": [
        [
          0,
          2,
          1,
          0
        ]
      ],
      "loop": [
        1,
        1,
        0,
        1
      ]
    },
    {
      "id": "context",
      "title": [
        "相同前缀，不同信息",
        "Same prefix, different information",
        "同じ接頭辞、異なる情報"
      ],
      "caption": [
        "额外解答、长上下文或环境反馈进入教师分支；具体选哪一种取决于方法。",
        "A solution, extra context, or feedback enters the teacher branch, depending on the method.",
        "手法に応じて、解答、追加文脈、フィードバックを教師側に与えます。"
      ],
      "rows": [
        {
          "label": [
            "学生",
            "Student",
            "学生"
          ],
          "nodes": [
            [
              "问题 + 已生成前缀",
              "Prompt + sampled prefix",
              "問題＋生成済み接頭辞"
            ],
            [
              "学生分布 q",
              "Student distribution q",
              "学生分布 q"
            ]
          ]
        },
        {
          "label": [
            "教师",
            "Teacher",
            "教師"
          ],
          "nodes": [
            [
              "同一前缀 + 额外信息",
              "Same prefix + extra context",
              "同じ接頭辞＋追加情報"
            ],
            [
              "教师分布 p",
              "Teacher distribution p",
              "教師分布 p"
            ]
          ]
        }
      ]
    }
  ],
  "references": [
    [
      "On-policy Distillation · GKD (ICLR 2024)",
      "https://arxiv.org/abs/2306.13649"
    ],
    [
      "Thinking Machines Lab · On-Policy Distillation (2025)",
      "https://thinkingmachines.ai/blog/on-policy-distillation/"
    ],
    [
      "Self-Distilled Reasoner · OPSD (2026)",
      "https://arxiv.org/abs/2601.18734"
    ],
    [
      "On-Policy Context Distillation · OPCD (2026)",
      "https://arxiv.org/abs/2602.12275"
    ],
    [
      "Reinforcement Learning via Self-Distillation · SDPO (2026)",
      "https://arxiv.org/abs/2601.20802"
    ]
  ],
  "related": [
    "grpo-update",
    "grpo-design-choices",
    "rubric-model"
  ]
}
