决策模型Decision models意思決定モデル

让语言模型做选择Turning Language Models into Decision Models言語モデルに選択させる

让模型从候选中选一个,涉及三个独立问题:怎样读出分数、怎样训练决策、怎样让概率可信。沿着 StartLux、AnyJev 和 JevAny 的具体实现,可以把交叉熵、位置偏差、校准、指针头与校准奖励放回同一条可验证的决策链。Choosing among candidates involves three separate questions: how to read scores, how to train decisions, and how to trust probabilities. StartLux, AnyJev, and JevAny connect cross-entropy, position bias, calibration, pointer heads, and calibration rewards into an inspectable decision pipeline.候補から選ぶには、スコアの読出し、判断の学習、確率の信頼性という3つの問題があります。StartLux、AnyJev、JevAnyを通して、交差エントロピー、位置バイアス、校正、pointer head、校正報酬を検証可能な流れとして理解します。

静态图Static figure静止図From task to candidate probabilities
候选含义进入输入,分数经校准后用于选择或升级处理。Candidate meanings enter the input; calibrated scores support selection or escalation.候補の意味を入力し、校正したスコアから選択または委譲します。

1 · 决策接口与版本边界1 · Decision interfaces and version boundaries1 · 判断インターフェースと版の境界

有限候选决策把状态、问题、选项作为输入,返回每项概率。choice 选择类别或动作;noul 判断是否成立;score 在有序等级上给出分布与期望。接口能让程序直接消费结论,但候选生成、业务约束和执行结果仍由系统负责。游戏演示中的寻路、动作预演或固定控件列表,不能算作决策模型独自完成的能力。A finite-choice request contains a state, question, and options. choice selects an action or category; noul evaluates a yes/no proposition; score returns a distribution over ordered levels and its expectation. Programs can consume the result directly, but candidate construction, constraints, and execution still belong to the surrounding system. Navigation or action simulation supplied by a game harness is not the model acting alone.有限候補の入力は状態、質問、選択肢です。choiceは行動や分類、noulは真偽、scoreは順序尺度の分布と期待値を返します。結果を直接処理できますが、候補生成、制約、実行は周辺システムの仕事です。ゲーム側が提供する経路探索や行動予測をモデル単独の能力と数えてはいけません。

本文保留 2026-10-09 调研的 v1 方法与实验口径;11 月核对时官方仓库已进入 v1.1。后续 Instant/AutoThink 分支与新榜单应分别注明版本。旧稿能确认 4B 配置为 Qwen3.5 风格架构,但未能确认原始 checkpoint、完整训练数据和步数;用户 LoRA 脚本不是原模型训练配方。This account retains the v1 methods and experimental conditions examined on October 9, 2026. The official repository had advanced to v1.1 by the November check. Later Instant/AutoThink variants and leaderboards require their own version labels. The earlier audit established a Qwen3.5-style 4B architecture, not the exact source checkpoint, complete data, or original training schedule; a user LoRA script is not that recipe.ここでは2026年10月9日のv1調査の方法と条件を保ちます。11月の確認時点で公式はv1.1へ進んでおり、後発のInstant/AutoThinkや榜単は版を分けて読む必要があります。当時確認できたのは4BのQwen3.5系構成で、元checkpoint、全データ、学習日程ではありません。利用者向けLoRAは元モデルのレシピではありません。

StartLux-Decision · StartLux-Decision · historical v1

2 · 候选 logits、answer mass 与 confidence2 · Candidate logits, answer mass, and confidence2 · 候補logit、answer mass、confidence

候选 token 读出在回答位置取得 A/B/C 的 logits,再计算 pᵢ = exp(zᵢ)/Σⱼexp(zⱼ)。例 [2,1,0] 得 [0.665,0.245,0.090]。这不是从生成的解释中抽取答案,也不必先采样文字;它把完整词表分数限制到当前候选集合。所有候选都不合适时,分布仍然和为 1。Candidate-token readout takes the A/B/C logits at the answer position and computes pᵢ = exp(zᵢ)/Σⱼexp(zⱼ). For [2,1,0], this yields [0.665,0.245,0.090]. No prose answer needs parsing or sampling. The full-vocabulary scores are restricted to the candidate set, whose probabilities still sum to one when every candidate is unsuitable.回答位置のA/B/C logitからpᵢ = exp(zᵢ)/Σⱼexp(zⱼ)を計算します。[2,1,0]なら[0.665,0.245,0.090]です。説明文の解析や文字生成は不要ですが、全候補が不適切でも合計は1になります。

answer_mass 是候选标签在完整词表上的概率总量;若只有 1% 的词表概率落在候选上,内部最大概率 90% 仍可能是被迫选择。旧实现的 confidence = (pmax−1/K)/(1−1/K) 表示相对均匀分布的集中度:均匀为 0,单点为 1。它与 pmax、answer_mass、真实正确率是四个不同量。answer_mass sums the candidates’ original full-vocabulary probability. If candidates receive only 1% of that mass, a 90% restricted probability may still reflect a forced choice. The earlier confidence = (pmax−1/K)/(1−1/K) measures concentration relative to uniform: zero at uniform, one at a point mass. It is distinct from pmax, answer_mass, and empirical correctness.answer_massは全語彙上で候補に割り当てられた確率の合計です。それが1%だけなら、候補内90%は強制選択の結果かもしれません。旧実装のconfidence = (pmax−1/K)/(1−1/K)は一様分布からの集中度で、一様なら0、単一点なら1です。pmax、answer_mass、実際の正答率とは別物です。

StartLux-Decision · AnyJev · StartLux-Decision · historical v1

3 · 交叉熵如何推动正确候选3 · How cross-entropy changes a decision3 · 交差エントロピーが判断を変える仕組み

监督损失 L = −Σᵢyᵢlog pᵢ。唯一正确 A 时就是 −log pA:pA 为 0.9、0.1、0.01,损失分别约 0.105、2.303、4.605。softmax 与该损失组合得到 ∂L/∂zᵢ = pᵢ−yᵢ;例中 A 的梯度 −0.335,B/C 为 0.245/0.090,梯度下降提高 A 的相对分数。实际更新的是网络权重,而非给单条样本永久修改三个数。The supervised loss is L = −Σᵢyᵢlog pᵢ. With A as the sole target, it becomes −log pA: probabilities 0.9, 0.1, and 0.01 incur about 0.105, 2.303, and 4.605. Its softmax gradient is ∂L/∂zᵢ = pᵢ−yᵢ. Here A has −0.335 and B/C have 0.245/0.090, so descent raises A relative to alternatives. Training updates network weights, not three permanent numbers for one example.教師損失はL = −Σᵢyᵢlog pᵢです。正解がAだけなら−log pAで、0.9、0.1、0.01に対する損失は約0.105、2.303、4.605です。勾配は∂L/∂zᵢ = pᵢ−yᵢとなり、例のAは−0.335、B/Cは0.245/0.090なので、勾配降下はAを相対的に上げます。更新するのはネットワークの重みです。

有标注分歧时可用软目标 [0.67,0,0.33],让模型保留不确定性。语言模型在整个词表做 next-token 交叉熵,决策器在候选上做交叉熵,公式相似不代表任务、读出头和数据相同。SFT/LoRA 改变参数;温度校准固定参数,只改变输出分布的锐度。Soft targets such as [0.67,0,0.33] preserve disagreement instead of demanding artificial certainty. Language modeling applies cross-entropy across the vocabulary; a decision objective applies it across candidates. A shared formula does not imply identical tasks, heads, or data. SFT/LoRA changes parameters, whereas temperature calibration keeps them fixed and changes distribution sharpness.意見が分かれるなら[0.67,0,0.33]のようなソフト教師で不確実性を残せます。言語モデルは全語彙、判断器は候補集合に交差エントロピーを使います。同じ式でもタスク、head、データは別です。SFT/LoRAは重みを変え、温度校正は重みを固定して分布の鋭さを変えます。

静态图Static figure静止図Three different changes around one distribution
读出改变分数来源,SFT 改参数,校准固定模型调概率。Readout changes score construction; SFT changes parameters; calibration rescales a frozen model.読出しはスコアの生成元、SFTは重み、校正は固定モデルの確率を変えます。

4 · 校准的是概率,不是排序4 · Calibrating probabilities, not rankings4 · 校正するのは確率であり順位ではない

温度缩放 p = softmax(z/T):T>1 变平,T<1 变尖。对 [2,1,0],T=2 得 [0.506,0.307,0.186],T=0.5 得 [0.867,0.117,0.016]。正温度保持 argmax,无法把原先选错的类别改对。这里通常直接选最高分,温度不是逐 token 文本采样的发散开关。Temperature scaling uses p = softmax(z/T): T>1 flattens and T<1 sharpens. For [2,1,0], T=2 yields [0.506,0.307,0.186], while T=0.5 yields [0.867,0.117,0.016]. Positive temperature preserves argmax and cannot fix the top-ranked class. With deterministic selection, it is not a token-sampling creativity control.p = softmax(z/T)でT>1は平坦化、T<1は尖鋭化します。[2,1,0]にT=2なら[0.506,0.307,0.186]、T=0.5なら[0.867,0.117,0.016]です。正のTはargmaxを変えず、選択ミス自体は直せません。最大値を選ぶ判断器では文章生成のランダム性調整とは異なります。

在独立、有标签的校准集固定模型,拟合使 NLL 最小的 T,可按 choice/noul/score 分别设置。用可靠性图检查“预测 80% 的组是否约 80% 正确”,同时报告 NLL、Brier、ECE、准确率与覆盖率。分布迁移或缺失正确候选会破坏这个解释;单条 0.99 不是对现实的保证。Fit T by minimizing NLL on a separate labeled calibration set with the model frozen, potentially separately for choice/noul/score. Reliability plots ask whether the 80%-confidence bin is about 80% correct; report NLL, Brier, ECE, accuracy, and coverage together. Distribution shift or missing correct candidates can invalidate that interpretation. A single 0.99 is not a guarantee about reality.独立した教師付き校正集でモデルを固定し、NLLを最小化するTを求めます。choice/noul/scoreごとに設定できます。信頼度図、NLL、Brier、ECE、正解率、カバレッジを併記します。分布移動や正解候補の欠落で校正は崩れるため、個別の0.99は現実の保証ではありません。

静态图Static figure静止図Same ranking, different confidence
温度缩放改变概率的锐度;是否校准更好,需要独立数据检验。Temperature changes sharpness; a held-out set determines whether calibration improves.温度は分布の鋭さを変えます。校正の改善は独立データで検証します。

On Calibration of Modern Neural Networks

5 · Pointer 用候选含义生成 logits5 · Pointer heads score candidate representations5 · Pointerは候補表現からlogitを作る

字母读出取词表输出行;固定 classification head 对固定类别打分;pointer 则取决策位置 hd 与每个候选末尾 hi,计算 q=Qhd、ki=Khi、zᵢ=qᵀki/√dp。JevAny 还加入小型 residual scorer R(ki⊙q)。最后仍是候选 softmax,所以 pointer 没有取消 logits,而是改变了 logits 的来源。Token readout selects vocabulary rows; a fixed classification head scores predefined classes; a pointer compares a decision state hd with each option state hi through q=Qhd, ki=Khi, and zᵢ=qᵀki/√dp. JevAny adds a small residual scorer R(ki⊙q). The result still enters softmax: pointer heads change where logits come from rather than eliminating them.文字読出しは語彙出力行、固定分類headは固定クラスを採点します。pointerは決定位置hdと候補末尾hiからq=Qhd、ki=Khi、zᵢ=qᵀki/√dpを計算し、JevAnyはR(ki⊙q)も加えます。最後はsoftmaxなので、logitをなくすのでなく生成元を変えます。

Pointer 不依赖固定 A/B/C 标签,候选可随输入变化,但新增 head 通常要训练,候选还受上下文长度与表示质量限制。读出、训练、概率处理是三个可组合轴:不能把“免训练”“pointer”“温度校准”排成互相替代的三代技术。Pointers do not require fixed A/B/C labels and can score changing options, but their new heads generally need training. Context length and option representations still constrain scale. Readout, training, and probability processing are composable axes; training-free methods, pointers, and temperature scaling are not three mutually exclusive generations.Pointerは固定A/B/Cラベルを必要とせず候補変更に対応しますが、新しいheadには通常学習が必要です。候補数も文脈長と表現品質に制約されます。読出し、学習、確率処理は組合せ可能な軸であり、免学習、pointer、温度校正を世代交代として並べるべきではありません。

读出Readout読出し分数来源Score sourceスコアの生成元主要约束Main constraint主な制約
TokenTokenToken标签词表行Label vocabulary rowsラベルの語彙行标签/位置偏差Label and position biasラベル・位置バイアス
ClassificationClassificationClassification固定类别头Fixed class head固定分類head类别体系固定Fixed class taxonomy分類体系が固定
PointerPointerPointer决策×候选表征Decision × candidate state決定×候補表現新增头需训练New head needs training新headの学習

JevAny · algorithm and RLCR

6 · AnyJev:用换序控制位置偏差6 · AnyJev: rotation as a bias control6 · AnyJev:候補の回転で偏りを抑える

普通模型直接读 A/B/C 会受标签先验、候选位置、格式习惯和领域知识影响。AnyJev raw 只做一次受限 softmax;L0 轮换候选位置,把概率映射回原候选,合并结果并校正估计的标签先验。自适应 rotation budget 可在领先者稳定时提前停止,用更多前向计算换取稳定性。Raw A/B/C readout inherits label priors, position bias, format habits, and domain limitations. AnyJev raw performs one restricted softmax. L0 rotates candidates, maps scores back to their identities, aggregates them, and corrects estimated label priors. An adaptive rotation budget can stop once the leader stabilizes, trading extra forward passes for robustness.直接のA/B/C読出しにはラベル事前分布、順序、形式の習慣、領域知識が影響します。AnyJev rawは1回のsoftmax、L0は候補を回転し、元の候補へ戻して集約し、推定ラベル事前分布を補正します。先頭候補が安定すれば早期停止でき、追加の前向き計算で安定性を得ます。

下表来自原调研引用的 Qwen3-8B、BANKING77 20-way、300 测试样本;自动决策比例是在错误率不超过 5% 的条件下测得。它不代表所有中文业务都能获得同幅收益。batch prior 若误把真实类别偏斜当标签偏差,准确率可能下降。后续 Tacit 自蒸馏将多步结论压入一次前向,已不属于 training-free。The table is the earlier Qwen3-8B study on BANKING77, 20-way decisions, and 300 test examples. Automated coverage is measured at no more than 5% error. It does not predict the same gains on arbitrary domains. Batch-prior correction can hurt if genuine class imbalance is mistaken for label bias. Later Tacit self-distillation compresses deliberated conclusions into one pass and is no longer training-free.表は当時のQwen3-8B、BANKING77の20択、300例による結果です。自動処理率は誤り5%以下の条件です。別の業務で同じ改善を保証せず、真のクラス偏りをラベル偏りと誤認すると精度が落ちます。後のTacit自己蒸留は多段推論を1回の前向きへ圧縮する学習で、免学習ではありません。

指标Metric指標rawrawrawL0L0L0
反转后改变答案Answer changes on reversal逆順で回答変更0.2300.2300.2300.0730.0730.073
准确率Accuracy正解率0.7470.7470.7470.8030.8030.803
ECEECEECE0.2400.2400.2400.1840.1840.184
≤5% 错误下覆盖Coverage at ≤5% error誤り≤5%のカバレッジ7.7%7.7%7.7%46.3%46.3%46.3%

AnyJev

7 · RLCR:在 logits 附近探索7 · RLCR: exploring near the logits7 · RLCR:logit付近で探索する

JevAny 的实验性 RLCR 给 pointer logits 加 ε∼N(0,σ²I),对多个 z+ε 提案做 softmax、取动作与置信度 q,用 r(c,q)=c−(q−c)² 评分,c 是正确指示。正确且 q=0.9 得 0.99,错误且 q=0.9 得 −0.81;q=0.6 时分别是 0.84、−0.36。奖励区分“选错且自信”和“选错但不确定”。JevAny’s experimental RLCR perturbs pointer logits with ε∼N(0,σ²I). Each z+ε proposal yields an action and confidence q, scored by r(c,q)=c−(q−c)² with correctness indicator c. Correct at q=0.9 earns 0.99; incorrect earns −0.81. At q=0.6 the rewards are 0.84 and −0.36. Confident errors receive a larger penalty.実験的RLCRはpointer logitへε∼N(0,σ²I)を加え、各z+εから行動と確信度qを得ます。正誤cでr(c,q)=c−(q−c)²を計算し、q=0.9なら正解0.99、誤答−0.81、q=0.6なら0.84と−0.36です。自信のある誤答をより強く罰します。

组内奖励减均值得到 advantage,再按提案的策略梯度更新,同时保留监督交叉熵。公开算法把它描述为不需要长推理 rollout、critic 或 reference-model KL 的局部优化。它与 REINFORCE、进化策略和噪声探索有机制亲缘,噪声作用在 logits 而非完整参数。单个被选答案的平方误差奖励也不能直接等同于完整多分类 Brier score 的全部理论性质;该路线仍需独立准确率/校准对照。A group-mean baseline produces advantages for a proposal-policy gradient, while supervised cross-entropy remains. The published algorithm describes local optimization without long reasoning rollouts, a critic, or reference-model KL. It is related to REINFORCE, evolution strategies, and noisy exploration, with noise on logits rather than all model parameters. A squared error for the selected answer does not automatically inherit every property of a full multiclass Brier score; accuracy and calibration still need separate tests.群平均を引いてadvantageを作り、提案の方策勾配で更新しつつ交差エントロピーを残します。長い推論rollout、critic、参照モデルKLを要しない局所最適化として公開されています。REINFORCEや進化戦略と関係しますが、ノイズは全重みでなくlogitに加えます。選択肢1つの二乗誤差報酬は多クラスBrier scoreの全性質を自動的には持たず、精度と校正を個別に検証します。

JevAny · algorithm and RLCR

8 · 推理优化省掉了哪些工作8 · What inference optimizations actually save8 · 推論最適化が省く計算

直接读出省去自回归 decode;只投影 A–Z 行减少输出层矩阵乘;同状态多问题共享前缀、按长度合批减少重复计算与 padding。快速 linear-attention/causal-conv1d kernel、CUDA Graph 降低算子和调度开销;MoE grouped matmul 减少专家调用开销。它们解决不同瓶颈,Transformer 主体和长输入的计算仍存在。Direct readout avoids autoregressive decoding; projecting only A–Z rows reduces output-layer work; shared prefixes and length-based batching reduce repeated computation and padding. Fast attention/convolution kernels and CUDA Graph reduce operator and launch overhead, while grouped MoE matrix multiplies reduce expert overhead. These target different bottlenecks and do not remove transformer computation over a long input.直接読出しは逐次decode、A–Zだけの射影は出力層計算、共通prefixと長さ別batchは重複とpaddingを減らします。高速kernel、CUDA Graph、MoEのgrouped matmulは演算や起動の負担を減らします。いずれも長い入力に対する本体計算をなくすものではありません。

旧 v1 超过 26 候选时分组、各组保留若干再决赛;分组顺序和淘汰会改变结果,不能称作全候选一次联合 softmax。Instant/AutoThink 则是计算分配:前者直接读出,后者低置信度时生成推理后再读出。门槛、最大推理量、触发比例和最终校准都应实测,不能只比较一次前向的延迟。In earlier v1, more than 26 candidates triggered group screening followed by a final round. Grouping and elimination affect results; this is not one joint softmax over all options. Instant/AutoThink instead allocate deliberation: direct readout versus reasoning and a second readout when uncertain. Evaluate the gate, reasoning limit, trigger rate, and final calibration rather than reporting only one-pass latency.旧v1は26候補を超えると組別に選抜して決勝を行い、全候補の一括softmaxではありません。Instant/AutoThinkは直接読出しか、不確実なとき推論して再読出しかという計算配分です。1回の遅延だけでなく、閾値、推論上限、発動率、最終校正を測る必要があります。

StartLux-Decision · StartLux-Decision · historical v1

9 · 公开成绩要连同硬件和版本读9 · Read results with hardware and version9 · 成績はハードウェアと版を併記する

以下是 10/09 调研保存的 v1 / Decision Index 0.2.1,不是当前 v1.1 榜单。延迟来自单张 H200、短输入、串行三问题请求。27B 的 63.88 高于当时 Jev 1.13 的 57.91;公开 JevBench 子集约 208/231 对 199/231。这只能支持作者该协议下的综合比较。These are the v1 / Decision Index 0.2.1 results retained in the October 9 audit, not the current v1.1 leaderboard. Latency uses one H200, short inputs, and serial requests with three questions. The 27B score of 63.88 exceeded Jev 1.13’s 57.91; a public JevBench subset was about 208/231 versus 199/231. This supports comparison only within that reported protocol.表は10月9日に保存したv1 / Decision Index 0.2.1で、現行v1.1ではありません。遅延はH200一枚、短入力、3問を含む直列リクエストです。27Bの63.88は当時のJev 1.13の57.91を上回り、公開JevBench部分集合は約208/231対199/231でした。この条件内の比較です。

部分 benchmark 的公开 train split 参与了训练,结果也不是官方 JevBench 排名;综合领先不等于每个子域领先。长文本、图像、消费级 GPU、并发服务都改变成本。游戏演示有 harness 辅助,延迟实验有特定 fast path,不能把这两者合成“任意 Agent 都更快更准”。Some public benchmark training splits were used, and these are not official JevBench rankings. An aggregate lead need not hold in every subdomain. Long text, images, consumer GPUs, and concurrency change cost. Game demonstrations rely on a harness and latency measurements on particular fast paths; neither establishes a universally faster, more accurate agent.公開benchmarkのtrain splitを使う場合があり、公式JevBench順位でもありません。総合優位が全領域に成立するとは限りません。長文、画像、一般GPU、同時処理で費用は変わり、harness付きゲーム実演と高速経路の遅延値から任意のAgentの優位は結論できません。

v1 模型v1 modelv1モデルDI 0.2.1DI 0.2.1DI 0.2.1三问题平均延迟Mean latency, 3 questions3問の平均遅延
4B4B4B52.7552.7552.7526.0 ms26.0 ms26.0 ms
9B9B9B58.6358.6358.6335.7 ms35.7 ms35.7 ms
27B27B27B63.8863.8863.88102.3 ms102.3 ms102.3 ms
35B-A3B35B-A3B35B-A3B61.5561.5561.5552.5 ms52.5 ms52.5 ms

StartLux-Decision · historical v1

10 · 拒答与业务验证是决策的一部分10 · Abstention belongs inside the decision10 · 保留と委譲も判断に含める

候选集合应包括 unknown/insufficient evidence 或独立升级路径。测试需覆盖中文业务、标签替换、候选换序、正确答案不在集合、真实类别不均衡和分布迁移。固定测试集对照 raw readout、L0、SFT/pointer 与 AutoThink,报告准确率、NLL/Brier/ECE、≤目标错误率覆盖、P95 延迟及全部推理成本。Include unknown/insufficient evidence or a separate escalation route. Test task language, label renaming, candidate permutations, missing answers, realistic class imbalance, and distribution shift. Compare raw readout, L0, SFT/pointer, and AutoThink on a fixed set, reporting accuracy, NLL/Brier/ECE, coverage at a target error rate, P95 latency, and total deliberation cost.unknownや証拠不足、または委譲経路を用意します。業務言語、ラベル変更、順序、正解不在、実際のクラス不均衡、分布移動を試します。固定集でraw、L0、SFT/pointer、AutoThinkを比較し、精度、NLL/Brier/ECE、目標誤り率でのカバレッジ、P95遅延、全推論費用を記録します。

若选项会改变后续状态,例如消耗预算或关闭工具权限,当前分类准确率不能概括整个系统收益。要记录动作后的实际反馈和长期回报,并在序列决策框架下评价。这也界定了模型职责:有限候选读出能成为一个可检查组件,是否足够支撑任务取决于候选质量、状态表达与执行闭环。When an option changes future state—for example by spending budget or disabling a tool—isolated classification accuracy does not capture system value. Record actual feedback and longer-term outcomes in a sequential decision evaluation. Candidate readout is an inspectable component whose usefulness depends on candidate quality, state representation, and execution feedback.予算消費やツール権限変更のように将来状態を変える選択では、単発の分類精度だけでは価値を測れません。実際の反応と長期結果を逐次意思決定として評価します。候補読出しの有用性は、候補品質、状態表現、実行フィードバックに依存します。

延伸阅读Further reading参考資料

图源与文字Figures and text図と本文のソース

三语正文与图结构 · JSONTrilingual text and diagram structure · JSON3言語の本文と図の構造 · JSON

放大的流程图