训练数据Training data学習データ
自蒸馏时代,数据生产什么What Data Does Self-Distillation Need?自己蒸留の時代に、どんなデータを作るか
模型可以从自己的回答中学习,但它仍需要好问题、有用的反馈,以及独立的检验。自蒸馏改变了这些数据进入训练的位置,也改变了数据生产的重点。A model can learn from its own answers. It still needs good questions, useful feedback, and independent tests. Self-distillation changes where these data enter training—and what is worth producing.モデルは自分の回答から学べます。それでも、良い問い、有用なフィードバック、独立した評価が必要です。自己蒸留は、データを学習に渡す場所と、作るべきデータの重点を変えます。
静态图Static figure静止図
从压缩模型,到积累能力From compression to capability buildingモデル圧縮から能力の蓄積へ
蒸馏最直观的用途,是让一个小模型学习大模型。现在,它也被用来汇合多个专家的能力、找回上一阶段学会的技能,或把提示词里的知识留在参数中。教师不一定更大:它可能是领域专家、旧检查点,也可能只是多看了一份解答的同源模型。Distillation can teach a small model to imitate a larger one. It can also combine specialists, recover skills from an earlier training stage, or internalize knowledge supplied in a prompt. A teacher need not be larger: it may be a specialist, a previous checkpoint, or a related model given a worked solution.蒸留は小さなモデルに大きなモデルを模倣させるだけでなく、専門能力の統合、過去に学んだ技能の回復、プロンプト内の知識の取り込みにも使われます。教師は大きいモデルとは限らず、専門家、過去のチェックポイント、解答を追加で与えた同系モデルでも構成できます。
理解一种方法,先问两个问题:训练轨迹是谁生成的?教师比学生多知道什么?前者决定反馈落在哪些状态上,后者决定模型能学到什么新东西。Two questions clarify a method: who generates the training trajectory, and what does the teacher know that the student does not? The first determines where supervision applies; the second determines what can be learned.手法を理解するには、学習軌跡を誰が生成するか、教師だけが何を知っているかを確認します。前者は指導が行われる状態を、後者は新たに学べる内容を決めます。
DeepSeek:先积累专家答案DeepSeek: collect specialist answersDeepSeek:専門家の回答を集める
DeepSeek-V3.2 从共同的基础模型出发,分别训练数学、代码、Agent 等领域专家。专家生成各领域数据,用于蒸馏统一模型;随后再用混合 RL 同时优化推理、Agent 和人类偏好。这里先积累的是专家写出的训练答案,混合 RL 是后续独立的一步。DeepSeek-V3.2 trains specialists from a common base model. Their domain-specific outputs supply data for a unified model. A subsequent mixed-RL stage jointly optimizes reasoning, agent tasks, and human alignment. Specialist-generated answers and the later RL stage play distinct roles.DeepSeek-V3.2は共通の基盤モデルから分野別の専門家を学習し、その出力を統合モデルの学習データにします。その後、推論、Agent、人間の選好を混合RLで最適化します。専門家が生成する回答と、その後のRLは別の段階です。
静态图Static figure静止図
MiMo:沿学生的回答给反馈MiMo: teach along the student’s pathMiMo:学生がたどる経路を教える
MiMo-V2-Flash 同样先训练领域专家,MOPD 阶段则由学生自己生成轨迹。专家读取学生已经生成的前缀,给出逐 token 的分布监督;结果奖励模型 ORM 还能提供整条回答的奖励。训练需要保存学生实际走过的轨迹,并让教师在这些位置上评分。MiMo-V2-Flash also trains domain specialists, but MOPD uses student-generated trajectories. Teachers score token choices along the student’s prefixes; an outcome reward model can add a sequence-level reward. The useful training record includes the path the student actually took and teacher scores at those positions.MiMo-V2-Flashも分野別の専門家を訓練しますが、MOPDでは学生自身が軌跡を生成します。教師はその接頭辞に沿ってtokenの分布を評価し、結果報酬モデルは回答全体の報酬を加えられます。学生が実際にたどった軌跡と、その位置での教師評価が学習データになります。
静态图Static figure静止図
GLM:把前面学会的能力带回来GLM: recover earlier capabilitiesGLM:前段階の能力を取り戻す
GLM-5 依次进行 SFT、推理 RL、Agent RL 和通用 RL,再做跨阶段 on-policy 蒸馏。前面阶段的检查点提供教师分布,最后阶段的权重提供学生起点。它要缓解的是后续训练造成的能力回退,因此旧检查点和对应的训练问题都值得保留。GLM-5 proceeds through SFT, reasoning RL, agentic RL, and general RL, then performs cross-stage on-policy distillation. Earlier checkpoints supply teacher distributions; the final-stage weights initialize the student. Recovering earlier capabilities makes both those checkpoints and their associated training prompts valuable.GLM-5はSFT、推論RL、Agent RL、汎用RLを経て、段階間のon-policy蒸留を行います。過去のチェックポイントが教師分布を提供し、最終段階の重みが学生の初期値になります。能力の回復には、過去のモデルと対応する学習問題の両方が役立ちます。
静态图Static figure静止図
同一个模型,多看一份信息One model, an information advantage同じモデルに、追加の情報を与える
更直接的自蒸馏,利用模型已有的上下文学习能力。学生只看问题,教师额外看到示范答案、经验或环境反馈。学生先生成;教师沿着同一个前缀给出更有信息的下一步分布,再把这种差异用于更新学生。A direct form of self-distillation uses the model’s in-context learning ability. The student sees the task; the teacher also sees a demonstration, experience, or environmental feedback. The student generates first. Along the same prefixes, the better-informed teacher supplies next-token targets that guide the update.自己蒸留の一つの形は、モデルの文脈内学習能力を利用します。学生には問題だけを、教師には実演、経験、環境からのフィードバックも与えます。学生が先に生成し、その同じ接頭辞に対して教師が次のtokenの分布を示して、更新を導きます。
下面以 SDFT 为例。P 是学生分布,Q 是带示范的教师分布,目标是缩小 KL(P ∥ Q)。教师目标在这次学生更新中停止梯度;论文采用学生权重的指数移动平均(EMA)来稳定教师。部署时,学生不再依赖那份额外示范。SDFT makes this concrete. P is the student distribution and Q is the demonstration-conditioned teacher distribution; training reduces KL(P ∥ Q). The teacher target is stop-gradient for the student update. An exponential moving average of student weights stabilizes the teacher. At deployment, the student no longer receives the demonstration.SDFTでは、学生分布Pと実演を条件にした教師分布QのKL(P ∥ Q)を小さくします。学生の更新では教師側の勾配を止め、学生の重みの指数移動平均(EMA)で教師を安定させます。運用時の学生には、この追加の実演を与えません。
静态图Static figure静止図
SDFT · Self-Distillation Enables Continual Learning
六种方法,数据各放在哪里Six methods, different uses of data6つの手法で、データをどこに使うか
这些方法放在一起看,最有用的区别是额外信息的来源、采样方和监督方式。它们并非都采用同一种自蒸馏目标。The useful comparison is the source of extra information, the sampling policy, and the supervision it produces. These methods do not all share the same self-distillation objective.追加情報の出所、軌跡の生成元、そこから得られる指導を比べると、違いが明確になります。すべてが同じ自己蒸留の目的関数を使うわけではありません。
| 方法Method手法 | 教师多知道什么Teacher advantage教師が持つ追加情報 | 怎样形成训练信号Training signal学習信号の作り方 |
|---|---|---|
| SDFTSDFTSDFT | 示范解答Worked demonstrations実演・解答例 | 学生采样;向带示范的 EMA 教师学习。Student rollouts; demonstration-conditioned EMA teacher.学生の軌跡を、実演付きのEMA教師から学習。 |
| SDPOSDPOSDPO | 环境反馈,或同组成功尝试Environment feedback or successful attempts環境のフィードバック、成功例 | 把失败原因或成功经验转成逐 token 监督。Turn rich feedback into token-level supervision.失敗の理由や成功例をtoken単位の指導に変換。 |
| OPSDOPSDOPSD | 已知答案或参考推理Known answers or reference reasoning正解または参考推論 | 学生采样;同源教师在相同前缀上提供分布。Student rollouts; a related teacher scores the same prefixes.学生が生成し、同系教師が同じ接頭辞を評価。 |
| OPCDOPCDOPCD | 经验知识或优化后的提示词Experience or optimized prompts経験知識、最適化したプロンプト | 在学生轨迹上蒸馏额外上下文,推理时可移除它。Distill extra context along student rollouts; remove it at inference.学生の軌跡上で追加文脈を蒸留し、推論時には除去。 |
| π-Distillπ-Distillπ-Distill | 成功动作、规划提示等特权信息Successful actions, planning hints, and other privileged information成功した行動、計画のヒントなどの特権情報 | 教师采样;共享参数的教师与学生联合训练。Teacher rollouts; joint training of parameter-sharing teacher and student.教師が軌跡を生成し、パラメータを共有する教師と学生を共同学習。 |
| G-OPD / ExOPDG-OPD / ExOPDG-OPD / ExOPD | 教师训练后相对参考模型的能力增益Teacher improvement over a reference policy参照方策に対する教師の能力向上 | 学生采样;调整隐式奖励与正则的比例,探索超越教师。Student rollouts; rebalance implicit reward and regularization to go beyond imitation.学生が生成し、暗黙の報酬と正則化の比率を調整して模倣を超える。 |
数据生产多了四份工作Four jobs for the data pipelineデータ作成で重要になる4つの仕事
第一,补齐问题分布。持续收集新场景、难例和长尾需求,避免模型只在自己熟悉的问题上循环。问题库可以提前建设;on-policy 要求轨迹跟随学生策略更新,不要求每轮都由人实时编写新题。First, maintain coverage: new situations, difficult cases, and long-tail needs keep learning from circling familiar tasks. A prompt bank can be prepared in advance. On-policy training requires trajectories tied to the evolving student, not freshly written human questions at every update.第一に、問題の網羅性です。新しい状況、難例、ロングテールの要求を加え、既知の問題だけを繰り返す状態を避けます。問題集は事前に作れます。On-policyで更新すべきなのは学生の方策に対応する軌跡であり、毎回人間が新しい問題を書く必要はありません。
第二,把反馈做具体。除了标准答案,还要有能定位错误的测试、环境返回和评审规则。例如“测试失败”不如“重复提交导致第二次扣款”有用;后者给教师提供了可解释的改进方向。Second, make feedback specific. Alongside answers, produce tests, environment results, and review criteria that locate errors. “A retry charged the customer twice” gives a teacher more actionable information than “test failed.”第二に、具体的なフィードバックです。正解だけでなく、誤りを特定できるテスト、環境の結果、評価基準を整えます。「テスト失敗」より「再試行で二重に課金した」の方が、教師に改善の手掛かりを与えます。
第三,记录数据怎么来的。将问题、学生轨迹、教师额外信息、评分目标与模型版本关联起来。这样才能区分答案不好、反馈有误、教师判断失准,还是训练用了过旧的轨迹。Third, retain provenance. Link each task, student trace, teacher context, supervision target, and model version. This separates poor answers from faulty feedback, weak teacher judgments, and stale trajectories.第三に、来歴を残します。問題、学生の軌跡、教師の追加文脈、学習目標、モデル版を結び付けます。回答の質、フィードバックの誤り、教師の判断、古い軌跡の混入を区別できます。
第四,独立检验学到了什么。用部署时的输入,在隔离测试集上比较任务成功率、旧能力回退和调用成本。教师与学生互相接近,并不能证明业务任务完成得更好。Fourth, test independently. Use deployment-time inputs on a held-out set to measure task success, regression on prior skills, and inference cost. Agreement between teacher and student does not by itself establish better task performance.第四に、独立して検証します。隔離したテスト集合と運用時の入力で、成功率、旧能力の低下、推論コストを測ります。教師と学生の一致だけでは、仕事がうまくできるようになったとは言えません。
让自迭代有新的信息可学Give the loop something new to learn自己改善に、新しく学べる情報を渡す
如果问题、示范和评审都由同一个模型反复产生,错误也可能被反复确认。真实任务、外部知识、可靠的执行结果和人工判断,仍然是更新学习信号的重要来源。自蒸馏降低了某些完整答案的生产负担,却提高了对问题覆盖、反馈质量和独立评测的要求。When one model repeatedly supplies the questions, demonstrations, and judgments, it can reinforce its own mistakes. Real tasks, external knowledge, reliable execution results, and human judgment remain important sources of fresh information. Self-distillation can reduce some answer-writing work while raising the value of coverage, feedback quality, and independent evaluation.一つのモデルが問題、実演、判定を繰り返し作ると、誤りまで強化しかねません。実際の仕事、外部の知識、信頼できる実行結果、人間の判断は、今も新しい学習情報の重要な源です。自己蒸留は回答作成の一部を軽くする一方、問題の網羅性、フィードバックの質、独立評価の価値を高めます。
延伸阅读Further reading参考資料
- DeepSeek-V3.2 · §3
- MiMo-V2-Flash · §4.1
- GLM-5 · §3.5
- SDFT · Self-Distillation Enables Continual Learning
- SDPO · Reinforcement Learning via Self-Distillation
- OPSD · Self-Distilled Reasoner
- OPCD · On-Policy Context Distillation
- π-Distill · Privileged Information Distillation
- G-OPD / ExOPD · Learning beyond Teacher
图源与文字Figures and text図と本文のソース
三语正文与图结构 · JSONTrilingual text and diagram structure · JSON3言語の本文と図の構造 · JSON