用软标签训练路由模型Training Routing Models with Soft Labelsソフトラベルでルーティングモデルを訓練する

任务是把用户需求分到电子表格（Sheet）、多维表格（Base）或其他／无法区分（Others），返回三类概率。上层可以据此选择入口，并识别需要进一步澄清的请求。The task assigns user requests to a spreadsheet (Sheet), a multidimensional table application (Base), or other/ambiguous requests (Others), returning probabilities for all three. The caller can use them to choose an entry point and identify requests that need clarification.ユーザーの要求を、スプレッドシート（Sheet）、多次元テーブルアプリケーション（Base）、その他・判別困難（Others）に振り分け、3クラスの確率を返す。呼び出し側は、それを入口の選択や追加確認が必要な要求の識別に利用できる。

两种模型，两个评分头Two models, two scoring heads2つのモデル、2つのスコアリングヘッド

Nimble 使用 Qwen3.5-9B 与已有 LoRA，在答案起始位置读取 A/B/C 三个候选 token 的分数。KEV 使用 Qwen3.5-0.8B-Base、已有 LoRA 和选择头：将决定位置与各选项的隐藏表示分别投影到 256 维，再通过点积给选项打分。两者都对候选分数做 Softmax，直接返回概率。Nimble combines Qwen3.5-9B with its existing LoRA and reads the scores of candidate tokens A/B/C at the answer position. KEV combines Qwen3.5-0.8B-Base with its existing LoRA and a pointer head: the decision and option representations are projected to 256 dimensions and scored by dot product. Both apply Softmax over candidate scores and return probabilities directly.NimbleはQwen3.5-9Bと既存のLoRAを用い、回答開始位置で候補トークンA/B/Cのスコアを読む。KEVはQwen3.5-0.8B-Base、既存のLoRA、選択ヘッドを使い、決定位置と各選択肢の隠れ表現を256次元に射影して内積で採点する。どちらも候補スコアにSoftmaxを適用し、確率を直接返す。

静态图Static figure静止図

Nimble 冻结底座和词表头，只更新约 43.3M 个已有 LoRA 参数；KEV 冻结底座，更新约 11.3M 个 LoRA 与选择头参数。各方案从各自公开模型独立起训。Nimble freezes the backbone and vocabulary head, updating about 43.3M existing LoRA parameters. KEV freezes the backbone and updates about 11.3M LoRA and pointer-head parameters. Each treatment starts independently from its respective public model.Nimbleは基盤モデルと語彙ヘッドを凍結し、既存のLoRA約43.3Mパラメータを更新する。KEVは基盤モデルを凍結し、LoRAと選択ヘッドの約11.3Mパラメータを更新する。各条件は、それぞれの公開モデルから独立に学習を開始する。

内部高分与外部置信度Internal scores and external confidence内部スコアと外部データでの信頼度

第一组 Nimble 实验使用 4,002 条合成／整理样本。硬标签 SFT 最小化正确类别的交叉熵；SFT + Brier 再加入对 one-hot 目标的概率平方误差。两种 GRPO 分别使用负 Brier 或 RLCR 奖励。所有方案用同一批 499 条内部回归样本和 20,000 条外部 query 评测。The first Nimble study used 4,002 synthetic/curated samples. Hard-label SFT minimizes cross-entropy for the target class; SFT + Brier adds squared probability error against a one-hot target. The two GRPO treatments use negative Brier or RLCR rewards. All treatments share 499 internal regression cases and 20,000 external queries.最初のNimble実験は合成・整理した4,002件を使用した。ハードラベルSFTは正解クラスの交差エントロピーを最小化し、SFT + Brierはone-hot目標との確率二乗誤差を加える。2つのGRPO条件には負のBrierまたはRLCR報酬を用いた。すべて同じ内部回帰499件と外部query 20,000件で評価した。

静态图Static figure静止図

GRPO 为三个种子的均值 ± 标准差；概率均未做温度缩放。内部集曾用于诊断；外部参考为来源分组代理标签。GRPO reports the mean ± standard deviation over three seeds; probabilities are not temperature-scaled. Internal cases had informed diagnostics; external references are proxy labels assigned by source group.GRPOは3シードの平均±標準偏差。確率に温度スケーリングは適用していない。内部データは診断に使用済みで、外部参照はデータの出所グループから付けた代理ラベルである。

在这组配置下，GRPO 的外部平均收益小于种子波动。数据的措辞、长度和类别比例都发生了变化，标签本身也影响读数：同一批 SFT 预测换用修订标签后，一致率从 65.02% 变为 78.26%。因此，外部收益与概率变化需要分别检查。Under these settings, GRPO's average external gain is smaller than seed variation. Wording, length, and class proportions differ across data, and labels also affect the reading: rescoring the same SFT predictions with revised labels changes agreement from 65.02% to 78.26%. External gains and changes in confidence therefore need separate checks.この設定では、GRPOの外部での平均利得はシード間の変動より小さい。データ間で表現、長さ、クラス比率が異なり、ラベルも数値に影響する。同じSFT予測を修正版ラベルで再評価すると、一致率は65.02%から78.26%になった。外部性能の利得と信頼度の変化は、分けて確認する必要がある。

把完整概率作为监督Supervising the full distribution確率分布全体を教師信号にする

后续训练由规则 Agent 提供三类参考概率 q。硬标签取 y = argmax(q)，只监督一个类别；软标签保留整个 q，最小化软交叉熵。类别和概率只参与损失，不进入模型输入。这些标签由 Agent 按规则生成，并非商业 Jev 的输出。Later training uses a rule-guided Agent to supply a three-class reference distribution q. Hard labels take y = argmax(q) and supervise one class; soft labels retain q and minimize soft cross-entropy. Labels and probabilities enter only the loss, not the model input. These targets were generated by an Agent following rules, not by the commercial Jev model.後続の学習では、ルールに従うAgentが3クラスの参照確率qを与える。ハードラベルはy = argmax(q)として1クラスを教師信号にし、ソフトラベルはq全体を保持してソフト交差エントロピーを最小化する。ラベルと確率は損失のみに使い、モデル入力には含めない。これらの目標はルールに従うAgentが生成したもので、商用Jevモデルの出力ではない。

静态图Static figure静止図

Nimble：硬标签与软标签的同条件对照Nimble: matched hard- and soft-label trainingNimble：同条件でのハード・ソフトラベル比較

两组使用相同初始化、4,200 条训练数据、2 个 epoch 和开发集选模流程。三类各 1,400 条，在同一批无训练重合的 3,000 条留出样本上比较。KL(q∥p) 衡量模型概率与 Agent 参考分布的差异，越低越好。Both treatments use the same initialization, 4,200 training items, two epochs, and development-set selection procedure. Each class contributes 1,400 items. Evaluation uses the same 3,000 held-out items with no training overlap. KL(q∥p) measures divergence from the Agent's reference distribution; lower is better.両条件は同じ初期化、学習4,200件、2エポック、開発セットでのモデル選択手順を使用した。各クラスは1,400件。学習と重複しない同一の留出3,000件で比較する。KL(q∥p)はAgentの参照分布との差を測り、小さいほどよい。

软标签比硬标签高 1.46 个百分点，同时明显降低 KL。它改善的是对参考分布的拟合；高置信预测更少，本身不等于概率更准确地反映真实错误率。Soft labels improve agreement by 1.46 percentage points over hard labels and substantially reduce KL. This establishes a better fit to the reference distribution. Fewer high-confidence predictions alone do not establish better calibration to real error rates.ソフトラベルはハードラベルより一致率が1.46ポイント高く、KLも大きく低下した。示されたのは参照分布への適合の改善である。高信頼度の予測が減ること自体は、実際の誤り率に対する確率の較正改善を意味しない。

KEV：直接蒸馏与软目标 GRPOKEV: direct distillation versus soft-target GRPOKEV：直接蒸留とソフト目標GRPO

KEV 的对照使用 3,000 条训练数据，三类各 1,000 条，独立训练 1 个 epoch。两组都保留 Agent 概率：直接蒸馏最小化软交叉熵，GRPO 用概率平方误差构造奖励。重排候选时同步重排目标概率，保留完整 query，不加入干扰选项。The KEV comparison uses 3,000 training items, 1,000 per class, with one epoch from independent initializations. Both treatments retain Agent probabilities: direct distillation minimizes soft cross-entropy; GRPO rewards low squared probability error. Candidate permutations also reorder target probabilities. Queries remain complete, with no distractor options added.KEVの比較は学習3,000件、各クラス1,000件を用い、独立に初期化して1エポック学習した。両条件ともAgent確率を保持する。直接蒸留はソフト交差エントロピーを最小化し、GRPOは確率二乗誤差から報酬を作る。候補を並べ替える際は目標確率も同期し、queryを省略せず、妨害選択肢を追加しない。

三组在同一批 15,120 条留出样本上评测，参考为 Agent 标签；与 Nimble 的 3,000 条评测集分开使用。All three are evaluated on the same 15,120 held-out items against Agent labels. This set is separate from Nimble's 3,000-item evaluation.3条件を同じ留出15,120件で評価し、Agentラベルを参照とする。Nimbleの3,000件の評価セットとは別である。

直接蒸馏高出 5.25 个百分点，KL 也更低。完整概率可直接监督时，这组实验支持优先采用直接蒸馏。Nimble 与 KEV 的训练量、epoch 和模型结构不同，不能把两张表当作架构消融。Direct distillation is 5.25 percentage points higher, with lower KL. When the full probability target is available, this experiment favors direct distillation as the starting point. Nimble and KEV differ in training volume, epochs, and architecture, so the two tables are not an architecture ablation.直接蒸留は5.25ポイント高く、KLも低い。確率分布全体を教師信号として使える場合、この実験は直接蒸留を出発点にする選択を支持する。NimbleとKEVは学習量、エポック数、構造が異なるため、2つの表は構造のアブレーションではない。

GRPO 在概率空间里探索GRPO explores probability space確率空間を探索するGRPO

这里的 GRPO 直接扰动三类 logits。每条 query 产生 8 个高斯扰动候选，经过 Softmax 得到概率，再计算奖励和组内相对优势。候选是概率向量，训练没有生成推理文本。This GRPO implementation perturbs the three class logits directly. Each query produces eight Gaussian-perturbed candidates, followed by Softmax, rewards, and group-relative advantages. Its candidates are probability vectors; training generates no reasoning text.このGRPO実装は3クラスのlogitsを直接摂動する。queryごとにガウス摂動を加えた候補を8つ生成し、Softmax、報酬、グループ内の相対アドバンテージを計算する。候補は確率ベクトルであり、学習時に推論テキストは生成しない。

静态图Static figure静止図

GRPO 需要在同一请求的候选中分出好坏。Nimble 有约 39%–48% 的探索组奖励几乎一样，无法提供区分候选的更新信号，只有稳定项仍可更新参数。KEV 的软目标实验没有出现这类低方差组，却也落后于直接蒸馏；奖励分不开候选解释了前者的一项训练障碍，不能解释后者。GRPO needs to distinguish better candidates for the same request. In roughly 39%–48% of Nimble exploration groups, rewards were almost identical, providing no candidate-ranking update signal, although the stabilizing term could still update parameters. KEV’s soft-target experiment had no such low-variance groups and still trailed direct distillation. Indistinguishable rewards explain one obstacle for Nimble, not KEV’s result.GRPOには、同じ要求の候補間で良し悪しを区別する必要があります。Nimbleでは約39%〜48%の探索群で報酬がほぼ同じになり、候補を区別する更新信号が得られず、安定化項による更新だけが残りました。KEVのソフト目標実験ではこうした低分散群がなくても、直接蒸留を下回りました。候補を区別できない報酬はNimbleの障害の一つを説明しますが、KEVの結果には当てはまりません。

放到同一批外部请求上Evaluating on the same external requests同じ外部要求で評価する

最后，两版软标签模型共同处理 45,598 条 query，使用合并文件的参考标签。以下一致率以全部样本为分母，输入过长、没有返回分类结果的样本也计入；标签未经逐条人工确认，指标表示与参考类别的一致程度。Finally, both soft-label models process the same 45,598 queries using the merged file's reference labels. Agreement below uses every item as the denominator, including overlong inputs with no returned classification. Labels have not been individually human-verified; the metric measures agreement with the reference class.最後に、両ソフトラベルモデルが同じ45,598件のqueryを処理し、統合ファイルの参照ラベルで評価した。以下の一致率は、入力が長すぎて分類結果を返さなかったものも含む全件を分母とする。ラベルは1件ずつ人手確認されたものではなく、指標は参照クラスとの一致を表す。

两组各并发 32、T = 1。耗时包含重试与超长输入处理，是整批处理时间。样本构成为 Sheet 5,886、Base 3,332、Others 36,380。Each model uses concurrency 32 and T = 1. Times include retries and overlong-input handling for the entire batch. The set contains 5,886 Sheet, 3,332 Base, and 36,380 Others items.両モデルとも並列数32、T = 1。時間は再試行と長すぎる入力の処理を含むバッチ全体の実時間。内訳はSheet 5,886件、Base 3,332件、Others 36,380件。

Nimble 的标签一致率更高，KEV 完成该批请求用时更少。两者对 Base 的精确率都偏低：被判为 Base 的请求中，参考也标为 Base 的比例仅为 42.41% 和 31.61%。这个分桶比总体分数更直接地指出了路由误报的改进方向。Nimble achieves higher label agreement; KEV finishes the batch sooner. Both have low Base precision: among requests predicted as Base, only 42.41% and 31.61% respectively are Base in the reference. This slice identifies a routing false-positive problem more directly than the aggregate score.Nimbleはラベル一致率が高く、KEVはこのバッチを短時間で処理した。両者ともBase適合率が低く、Baseと予測した要求のうち参照もBaseである割合はそれぞれ42.41%と31.61%だった。この内訳は、総合スコアより直接的にルーティングの偽陽性という改善点を示す。

排除与任一训练集精确重复的样本，并保留双方均有效的共同 44,259 条后，一致率仍为 84.99% 和 75.17%。这一检查保留了相同的排序，但没有排除语义近重复。After excluding exact matches to either training set and retaining the 44,259 items with valid outputs from both models, agreement is 84.99% and 75.17%. This check preserves the ordering but does not exclude semantic near-duplicates.いずれかの学習セットと完全一致する項目を除き、両モデルで有効出力のある共通44,259件に絞ると、一致率は84.99%と75.17%となる。この確認でも順位は変わらないが、意味的な近重複は除外していない。

分清概率拟合与校准Separate probability fit from calibration確率分布への適合と較正を分ける

软标签让模型更接近 Agent 分布；温度缩放则在训练结束后调整已有概率。对旧 Nimble SFT，用另外 3,308 条数据拟合 T ≈ 2.81，在 13,234 条重标验证样本上，ECE 从 16.14% 降到 1.59%，类别一致率保持 79.89%。ECE 比较置信度分桶中的平均概率与参考标签命中率。Soft labels bring the model closer to an Agent distribution; temperature scaling adjusts existing probabilities after training. For the earlier Nimble SFT, fitting T ≈ 2.81 on a separate 3,308 items reduced ECE from 16.14% to 1.59% on 13,234 relabeled validation items. Class agreement stayed at 79.89%. ECE compares mean probability with reference-label accuracy within confidence bins.ソフトラベルはモデルをAgent分布に近づけ、温度スケーリングは学習後に既存の確率を調整する。初期Nimble SFTでは、別の3,308件でT ≈ 2.81を当てはめ、再ラベルした検証13,234件でECEが16.14%から1.59%に低下した。クラス一致率は79.89%のままだった。ECEは信頼度ビン内の平均確率と参照ラベルに対する正解率を比較する。

p = Softmax(z / T)　·　T > 0

正温度保持类别排序，所以可以调整置信度，却不会修复分类错误。实际选型应分别看类别一致率、参考概率拟合和校准表现，并检查 Base 这类关键路由的精确率。A positive temperature preserves class ranking: it can adjust confidence but cannot fix a classification error. Model selection should examine class agreement, reference-distribution fit, and calibration separately, alongside precision for critical routes such as Base.正の温度はクラスの順位を保つため、信頼度は調整できても分類誤りは直せない。モデル選定では、クラス一致率、参照分布への適合、較正を分けて確認し、Baseのような重要ルートの適合率も見る必要がある。

这组实验保留了一个简单起点：有完整概率监督时，先训练直接蒸馏基线，再检验强化学习是否带来额外收益。模型选型结合相同请求上的质量与处理成本，概率是否可信则交给独立的校准检查。These experiments suggest a straightforward starting point: when full probability targets are available, train a direct-distillation baseline before testing the added value of reinforcement learning. Choose models using quality and processing cost on the same requests, and assess probability reliability through a separate calibration check.これらの実験から得られる出発点はシンプルだ。確率分布全体を教師信号にできるなら、まず直接蒸留の基準モデルを学習し、強化学習による追加利得を検証する。モデル選定では同じ要求上の品質と処理コストを比較し、確率の信頼性は別の較正評価で確かめる。