章节总览
推理状态、空间工作区与决策 / 17 · 正文
原目录

候选项 logits、概率读出、训练与温度校准,以及决策模型的评估方式。

StartLux-Decision 与类 Jev 决策模型:候选项读出、训练、校准与 RLCR

二次技术解读,整理自本轮对 StartLux-Decision、Jev、AnyJev 和 JevAny 的源码与公开文档分析。

主要来源:

资料时间:2026-10-09。StartLux 的原始基座 checkpoint 和完整训练配方未在公开仓库中说明;本文对其原始训练过程只做有限推断。

会话记录说明:本稿根据 2026-10-08 的原始 Codex 会话重整。原会话先后讨论了项目总评、模型底座、logits 读出、训练目标、Jev 差异、准确率比较、softmax、交叉熵、temperature、pointer、training-free readout、AnyJev、RLCR 及高斯扰动的历史亲缘关系。正文按主题组织,文末另列“问题—解答索引”,保留问题本身,避免只剩结论。

本轮问题总览

原始问题 本文对应位置
StartLux-Decision 是什么,项目完成度和适用边界如何? 第一、九、十、十一节
它用的是什么模型,是不是继续训练 Qwen?是否直接取 logprob,怎么训练? 第一、二、三节
它和 Jev 有什么区别,为什么公开结果看起来更高? 第十节
“候选字母 softmax + 交叉熵”到底怎样计算,为什么会推高正确字母的 logit? 第二、三节及附录
推理优化具体优化了什么? 第九节
softmax、0.99 概率和 temperature 分别意味着什么? 第二、四节
类 Jev 的公开方法有哪些,“logits + 校准”属于哪一类? 第七节
pointer、training-free readout、AnyJev、交叉熵和方法 D(RL/校准奖励)是什么? 第五、六、七、八节
logits 加高斯扰动再按奖励优化,过去是否有类似方法? 第八、十二节

符号速查表

符号 读法 含义
(i,j) i、j 候选项索引
(K) K 候选项数量
(z_i) z 下标 i 第 (i) 个候选项的 logit 或决策分数
(p_i) p 下标 i 模型给第 (i) 个候选项的预测概率
(y_i) y 下标 i one-hot 真实标签中的第 (i) 项
(t_i) t 下标 i 软标签中的第 (i) 项概率
(L) loss 损失函数值
(e) 欧拉数 自然指数的底,约为 2.718
(log) log 自然对数
(T) temperature 温度缩放系数
(h_d) h 下标 d 决策位置的隐藏向量
(h_i) h 下标 i 第 (i) 个候选项位置的隐藏向量
(q) q pointer 头变换后的决策向量
(k_i) k 下标 i pointer 头变换后的候选项向量
(d_p) d 下标 p pointer 向量维度
(c) c 结果是否正确,正确为 1,错误为 0
(q)(奖励公式中) q 所选答案的置信度;与 pointer 中的 (q) 不是同一变量
(\sum) sigma 求和算子
(\exp) exp 指数函数,exp⁡(x)=ex\exp(x)=e^x
(\top) transpose 向量转置;q⊤kq^\top k 表示点积
(\nabla) nabla 梯度算子

一、StartLux-Decision 是什么

StartLux-Decision 把语言模型用于有限候选项上的决策。请求包含状态、问题和候选项,输出 choice、noul 或 score:

  • choice:从若干类别或动作中选一个;
  • noul:对真假或是否成立输出概率;
  • score:在有序等级上给出概率分布和期望等级。

它的 4B 权重配置使用 Qwen3_5ForConditionalGeneration,包含 Qwen3.5 风格的线性注意力、全注意力和视觉模块。公开资料没有明确说明它具体从哪个 Qwen checkpoint 开始,也没有公开原始预训练或后训练数据、训练步数和完整配方。更准确的说法是:它是一个 Qwen3.5 架构的专用决策模型,原始模型经过了面向候选项决策的后训练,但详细过程尚未公开。

它的用户微调脚本是另一件事:该脚本让用户在已经发布的 StartLux 权重上继续做 LoRA 微调,并不等于 StartLux 原始训练过程。

公开型号还包括 9B、27B 和 35B-A3B。这里的 35B-A3B 是 MoE 型号,名称中的 A3B 指每个 token 大约激活的参数规模,不等于总参数只有 3B。公开配置能说明架构和规模,不能反推出完整的预训练、监督微调、蒸馏或偏好优化配方。

因此,“Qwen 继续训练”需要分成两层理解:

  • 可以确认的层面:StartLux 使用 Qwen3.5 风格的模型架构,并把它适配为候选项决策模型;
  • 不能从公开资料确认的层面:具体从哪个 Qwen checkpoint 出发、使用哪些内部数据、训练多少步,以及是否经历过未公开的蒸馏或偏好优化。

仓库里的 finetune/ 脚本只表示用户可以在发布权重上继续做 LoRA/SFT,不是作者对原始 StartLux 训练过程的完整披露。

二、候选字母 logits 读出

假设请求被渲染成:

A) billing
B) shipping
C) technical

模型读完 prompt 后,在回答位置产生完整词表上的 logits。StartLux 只取 A、B、C 三个 token 的 logits:

logit(A) = 2.0
logit(B) = 1.0
logit(C) = 0.0

它不生成完整文本,而是对这些候选 logits 做受限 softmax:

pi=exp⁡(zi)∑j=1Kexp⁡(zj) p_i=\frac{\exp(z_i)}{\sum_{j=1}^{K}\exp(z_j)}

这里 (K=3),所以:

exp⁡(2)≈7.389,exp⁡(1)≈2.718,exp⁡(0)=1 \exp(2)\approx7.389,\quad \exp(1)\approx2.718,\quad \exp(0)=1

分母为:

7.389+2.718+1=11.107 7.389+2.718+1=11.107

因此:

A: 7.389 / 11.107 ≈ 0.665
B: 2.718 / 11.107 ≈ 0.245
C: 1     / 11.107 ≈ 0.090

最终选择 A。

这里的概率是候选项内部归一化后的概率,不是完整词表上的绝对概率。假设完整词表中 A 和 B 的总概率只有 1%,但 A 占这 1% 中的大部分,候选项内部归一化后 A 仍可能显示为 90%。因此需要关注候选标签的总概率质量,也要显式加入 other、unknown 或 insufficient evidence 等候选项来表达“答案不在列表中”。

候选项内部概率还要和两个诊断量分开看:

  • answer_mass:候选标签在完整词表上的原始概率质量,例如 (P(A)+P(B)+P(C))。它很低时,说明模型可能根本没有强烈倾向于输出候选标签;内部 softmax 的 90% 不能单独当作绝对置信度。
  • confidence:StartLux 的选择题实现可用 confidence⁡=pmax⁡−1/K1−1/K \operatorname{confidence}=\frac{p_{\max}-1/K}{1-1/K} 表示相对均匀分布的集中程度。它不必等于最高候选概率,具体仍应以当前版本代码为准。

例如三选一时,均匀分布 [1/3, 1/3, 1/3] 的相对集中度为 0;若最高项为 1,则相对集中度为 1。这是输出分布形状的指标,不是经过独立验证的真实正确率。

超过 26 个选项时,StartLux 会先分组、每组保留若干候选,再进行最终轮。这时完整概率分布带有启发式筛选成分,不再是所有候选项一次性联合 softmax 的严格分布。

三、交叉熵是什么,如何推动训练

交叉熵公式:

L=−∑iyilog⁡pi L=-\sum_i y_i\log p_i

读作:

损失 (L) 等于负的、对所有候选项 (i) 求和的真实标签概率 (y_i) 乘以预测概率 (p_i) 的对数。

其中 y_i 是目标分布,不一定只能是 0 或 1;如果标注者有分歧,y_i 可以是软标签概率。前面的负号是因为 (0<p_i\leq1) 时 (log p_i\leq0),这样损失保持为非负数。信息论里单个事件的意外程度是 (-\log p),所以模型越不相信真实答案,交叉熵越大。

如果真实答案只有 A:

真实分布 y:A=1, B=0, C=0
模型分布 p:A=0.8, B=0.1, C=0.1

则:

L=−(1log⁡0.8+0log⁡0.1+0log⁡0.1)=−log⁡0.8 L=-(1\log0.8+0\log0.1+0\log0.1)=-\log0.8

因此多分类、唯一正确答案的交叉熵就是“正确答案概率的负对数”。

正确答案概率 损失
1.00 0
0.90 0.105
0.70 0.357
0.10 2.303
0.01 4.605

模型错得越自信,损失越大。

对于 softmax 加交叉熵,有一个重要梯度关系:

∂L∂zi=pi−yi \frac{\partial L}{\partial z_i}=p_i-y_i

如果 A 是正确答案:

pA = 0.665, yA = 1  → 梯度为 -0.335
pB = 0.245, yB = 0  → 梯度为  0.245
pC = 0.090, yC = 0  → 梯度为  0.090

梯度下降会让正确答案 A 的 logit 增大,让错误答案 B、C 的 logit 减小。实际更新的是神经网络权重,但更新方向会使类似输入下正确候选项更容易得到高分。

如果标注者存在分歧,可以使用软标签:

A: 0.67
B: 0.00
C: 0.33

损失为:

L=−(0.67log⁡pA+0.33log⁡pC) L=-(0.67\log p_A+0.33\log p_C)

这会让模型学习标注不确定性,而不是强迫它输出一个虚假的 100% 确定答案。

交叉熵在分类和语言模型训练中非常常见:语言模型是在整个词表上预测下一个 token,决策模型是在候选集合上预测正确选项。二者可以使用相同的交叉熵,但训练数据、模型结构和读出方式仍然不同。

四、温度缩放与概率校准

带温度的 softmax 是:

pi=exp⁡(zi/T)∑jexp⁡(zj/T) p_i=\frac{\exp(z_i/T)}{\sum_j\exp(z_j/T)}

  • (T>1):logits 被压小,分布变平;
  • (T=1):不调整;
  • (T<1):logits 被放大,分布变尖。

例如 logits 为 [2, 1, 0]:

T=1  → [0.665, 0.245, 0.090]
T=2  → [0.506, 0.307, 0.186]
T=0.5→ [0.867, 0.117, 0.016]

这与生成模型的 temperature 在数学上相同,但这里通常不用于控制文本随机性,因为决策模型不生成文本。StartLux 的温度通常是按 choice、noul、score 类型预先校准的固定参数,不是用户每次输入的随机性控制开关。

因此输出 A: 0.99 的准确解释是:在当前输入、候选集合和温度下,模型在这些候选之间给 A 约 99% 的相对概率。只有经过校准且线上数据与校准集同分布时,才可以把大量类似的 0.99 近似理解为约 99% 的正确率;如果正确答案不在候选集合中,模型仍可能把某个现有候选打到 0.99。

这和聊天模型里的“用户把 temperature 调高后文本更发散”不是同一个产品语义。聊天生成会在每一步采样,温度影响随机性;StartLux 通常只做一次候选打分,温度只改变概率分布的尖锐程度。项目通常在有标签的开发集上固定模型,搜索使负对数似然最低的 (T),再按 choice、noul、score 类型部署固定值。它是离线的概率校准,不是根据某个用户输入临时反推温度。

校准流程是:

  1. 在有真实答案的校准集上收集 logits;
  2. 固定模型参数;
  3. 搜索使验证集负对数似然最低的温度 (T);
  4. 部署时对相应类型的 logits 除以该温度。

如果模型经常预测 0.95、但实际正确率只有 0.75,说明过度自信,通常需要 (T>1)。如果模型预测 0.70、但实际正确率约 0.85,可能需要 (T<1)。温度一般不改变 argmax,只改变概率的锐利程度。

五、Pointer / option representation

候选字母读出依赖 A、B、C 这类 token。Pointer 方法不要求候选项必须对应某些固定字母,而是直接对输入中的候选项表示打分。

输入大致为:

<State> 客户被重复扣款
<Question> 交给哪个团队
<Option> billing,支付和退款
<Option> shipping,配送和物流
<Option> technical,技术故障
<Decide>

模型产生:

  • 决策位置隐藏向量 (h_d);
  • 第 (i) 个选项末尾隐藏向量 (h_i)。

Pointer 头对它们做线性变换:

q=Q(hd),ki=K(hi) q=Q(h_d),\qquad k_i=K(h_i)

再计算匹配分数:

zi=q⊤kidp z_i=\frac{q^\top k_i}{\sqrt{d_p}}

JevAny 的实现还加入一个 residual scorer:

zi=q⊤kidp+R(ki⊙q) z_i=\frac{q^\top k_i}{\sqrt{d_p}}+R(k_i\odot q)

其中 (odot) 是逐元素相乘,(R) 是小型的 Linear/GELU/Linear 网络。

最后仍然是:

pi=softmax⁡(zi) p_i=\operatorname{softmax}(z_i)

因此 pointer 不是“不用 logits”,而是先用一个专门的匹配头生成候选 logits,再对候选 logits 做 softmax。

与字母读出相比:

字母/token 读出 Pointer 读出
分数来源 输出层中 A、B、C token 的 logits 决策向量与当前选项表示的匹配分数
是否依赖 A/B/C token 依赖 不依赖固定字母
候选项变化 需要映射到 token 直接读取当前候选项表示
是否需要专门训练 可以免训练 pointer 头通常需要训练
支持大候选集合 受 token 数量限制 可在上下文允许范围内扩展

JevAny 的 Pointer 头和 direct-token 读出都可以使用 SFT。公开算法文档说明,pointer 模型使用 LoRA 和新增 pointer head;direct-token 模型使用候选标签 token 的 logits。JevAny 算法

六、完全不训练的 training-free readout 有什么问题

最简单的方式是拿一个普通 Qwen/Llama:

状态 + 问题 + 候选项
→ 读取 A/B/C logits
→ 对候选项 softmax

它不需要训练数据,但会有以下问题。

1. 位置偏差

模型可能偏爱第一个选项或某些位置。交换候选项顺序后,答案可能跟着位置变化。

2. 标签先验

模型可能天然更偏爱某些标签 token,例如 A 的先验 logit 比 C 高。此时它表现出来的差异未必来自状态和问题。

3. 条件概率造成的假高置信度

完整词表中,候选标签可能只占极少概率质量。只在候选标签内部归一化后,某个标签仍可能得到 90%,但这只是“在这些标签中相对最高”,不代表模型真正愿意回答标签。

因此 AnyJev 还把候选标签在完整词表中的总概率质量作为 answer_mass 一类诊断信号。answer_mass 很低而候选内部最大概率很高时,应把结果理解为“模型在被迫从这些选项中选一个”,而不是“模型有 90% 的绝对把握”。

4. 没有学会决策格式

普通聊天模型的训练目标是生成语言,不是稳定地输出 typed decision。它可能倾向于解释、拒答或输出选项文本。

5. 没有吸收领域规则

如果“紧急”在你的公司有特殊定义,通用模型不会自动知道;需要有监督数据进行 SFT 或 LoRA。

6. 直接读出不包含额外推理

有些问题需要多步推理,直接读取第一个答案位置可能弱于让模型先生成思考再回答。

AnyJev 的改进

AnyJev 的 training-free Decider 提供两种层次:

  • raw:一次 prompt,直接对标签 token 做受限 softmax;
  • L0:轮换候选项位置,让每个选项出现在每个位置,合并各轮概率,并除去估计的标签先验。

它还提供自适应 rotation budget:当当前领先候选已经足够稳定时,提前停止剩余轮次。

AnyJev 在 Qwen3-8B、BANKING77 20-way、300 个测试样本上报告:

指标 raw L0
选项反转后答案变化率 0.230 0.073
准确率 0.747 0.803
ECE 0.240 0.184
可在不超过 5% 错误率下自动决策的比例 7.7% 46.3%

这说明 training-free readout 不是完全不能用,但原始 logits 的位置偏差和置信度质量可能很差;L0 用额外前向计算换稳定性。AnyJev 自己也指出,L0 的 batch prior 在某一标签真实占比很高时可能损害准确率。

AnyJev 后续还提供 Tacit 自蒸馏模型:模型学习把自己经过推理得到的结论直接压缩到一次前向中;困难样本可按置信度升级到生成式 reasoning。这已经不再是完全 training-free。

七、类 Jev 方法的主要路线

“候选 logits + softmax + 校准”是一类组合,不是唯一实现。需要分别看三个轴。

1. 答案读出

  • candidate-token logits:读 A/B/C 等标签 token;
  • pointer head:比较决策表示和候选项表示;
  • classification head:隐藏状态接固定类别分类头;
  • constrained generation:生成受约束的答案字符串;
  • native decision head:模型训练时就带专用决策头。

2. 模型训练

  • training-free:冻结普通 LLM,仅做 logits readout;
  • SFT / LoRA:对候选分布使用硬标签或软标签交叉熵;
  • self-distillation:让模型把自身多步推理答案压缩到一次前向;
  • RL / calibration-reward training:根据正确性和概率质量继续优化;
  • 专门分类头训练:训练 pointer 或其他 decision head。

3. 概率处理

  • raw restricted softmax;
  • temperature scaling;
  • 位置轮换与平均;
  • label prior correction;
  • isotonic 或分桶校准;
  • 增加 unknown / abstain 选项。

八、RLCR 与“高斯扰动后按奖励优化”的关系

JevAny 的 RLCR 是一个实验性路线。它在 pointer logits (z) 周围加入多组零均值高斯扰动:

z′=z+ϵ,ϵ∼N(0,σ2I) z'=z+\epsilon,\qquad \epsilon\sim\mathcal N(0,\sigma^2 I)

每个扰动后的 (z') 经过 softmax,产生一个候选决策和置信度。然后用校准奖励:

r(c,q)=c−(q−c)2 r(c,q)=c-(q-c)^2

  • (c=1):选对;
  • (c=0):选错;
  • (q):对所选答案的置信度。

例子:

结果 置信度 (q) 奖励
选对 0.9 0.99
选对 0.6 0.84
选错 0.9 -0.81
选错 0.6 -0.36

对每组扰动,奖励减去组平均奖励形成 advantage:

高于组平均 → 增强这类扰动方向
低于组平均 → 减弱这类扰动方向

同时保留监督交叉熵项,避免模型为追逐奖励而偏离原来的正确性目标。JevAny 的公开算法说明称,该过程使用策略梯度,但不需要长推理 rollout、critic、confidence token 或 reference-model KL。RLCR 算法

这种思想以前有没有类似方法

有,而且可以对应到几条更早的研究路线:

  1. 策略梯度与 REINFORCE:对随机策略采样动作,用奖励乘以 log-probability 的梯度更新策略。RLCR 的 advantage 更新属于这一大类,只是随机变量是 logits 附近的扰动提案,动作来自扰动后的候选分布。
  2. Evolution Strategies(进化策略):在参数或解附近采样高斯扰动,根据每个扰动的适应度更新搜索方向。这里的扰动对象不是完整网络参数,而是候选决策 logits,因此可以看作低维、局部的 evolution-strategy 式优化。
  3. Parameter-space noise / action-space noise:在策略参数空间或动作空间加噪声,观察环境回报,再保留更有利的方向。RLCR 更接近 action/logit-space noise,因为噪声加在决策分数上。
  4. Reward-weighted regression / Cross-Entropy Method:采样多个候选解,保留高奖励样本,更新分布使其更靠近精英样本。RLCR 使用组内相对奖励和策略梯度,机制上与这类“采样—评价—向高分区域移动”方法相近。
  5. Proper scoring rules:Brier score、log score 等不是扰动优化算法,但用于把“选得对”和“概率表达是否合理”一起纳入训练目标。RLCR 使用的 (c-(q-c)^2) 与 Brier 风格的平方误差惩罚相关。

因此,RLCR 的新意主要不在“第一次使用高斯扰动”,而在于把这些思想组合到候选项 pointer logits 的局部策略优化上,并用校准奖励惩罚“错得很自信”。

JevAny 的 RLCR 公开模型卡也明确表示:这是实验性 continuation,整体开发集和迁移准确率没有稳定提升,通用使用仍推荐 SFT checkpoint。RLCR 模型卡

九、推理优化

StartLux 的推理优化集中在减少重复计算和 GPU 调度开销:

  1. 不生成文本:一次前向直接读取答案位置,避免逐 token decode;
  2. 只计算候选字母输出行:最后的输出投影只取 A-Z 对应权重;
  3. 多问题合批:同一请求的多个问题作为多行一起计算;
  4. 共享长状态前缀:同一文档的多个问题复用状态计算;
  5. 专用 linear-attention 和 causal-conv1d CUDA kernel;
  6. CUDA Graphs:预录制常见形状,短请求直接 replay;
  7. MoE grouped matrix multiplication:减少专家计算的 host 同步;
  8. 离线 decide_batch:按长度排序后跨请求合批;
  9. 宽候选分组:候选超过 26 个时分组筛选。

这些优化各自解决不同瓶颈:

  • 一次前向、不生成文本:普通生成要逐 token decode;StartLux 只需在回答位置读出候选分数。模型主体仍要完整前向,因此长上下文的成本不会消失。
  • 候选输出投影:词表可能有数十万 token,末端投影只取 A–Z 对应的行,减少最后一层矩阵乘和内存访问;这不会跳过 Transformer 主体。
  • 合批和前缀复用:同一请求的多个问题可作为 batch 行一起计算;同一长状态下的多个问题可以复用共享前缀,再分别计算问题分支。
  • 快速 kernel 与 CUDA Graph:flash-linear-attention、causal-conv1d 等针对 Qwen3.5 风格算子的 CUDA 实现减少算子开销;固定形状的短请求可预录制并 replay CUDA Graph,降低 kernel launch 开销。没有 fast path 时,代码可回退到较慢实现,但延迟会明显上升。
  • MoE 专项路径:35B-A3B 使用 grouped matrix multiplication,把多个专家的矩阵计算合并,减少 host 等待;总参数量大不等于每个 token 都激活全部参数。
  • 离线批处理:decide_batch 可按 prompt 长度排序、把相近长度样本组成 batch,再把结果映射回原请求。当前 HTTP server 仍以单 GPU 全局锁串行处理,请求级动态 batching、鉴权、限流和监控需要自行补齐。

候选超过 26 个时,项目会先把候选分组、每组保留前几名,再进行决赛轮。这降低了单次输入宽度,但它不是严格的一次性全候选分类:分组顺序、淘汰阈值和被淘汰项的概率回填都会影响结果。大候选集应先用业务规则缩小,或把这种结果明确当作近似排序。

CUDA Graph 和 fast kernel 主要改善短请求延迟;长文本、图片和大模型仍然需要显著的显存和算力。StartLux 的 HTTP server 当前在单 GPU 上使用锁串行处理,请求级动态 batching、鉴权、限流和生产监控仍需外围补齐。

十、StartLux 与 Jev 的准确率比较如何理解

StartLux 与 Jev 使用相近的 typed decision 接口和非生成式决策范式。StartLux 的优势在于开放权重、本地部署、Qwen3.5 多模态骨干、256K 上下文和可修改的训练/推理代码。

StartLux 报告的 Decision Index 0.2.1 中,27B 为 63.88,Jev 1.13 为 57.91;公开 JevBench 子集上,StartLux 约 208/231,Jev 约 199/231。这个结果应理解为:

在作者选择的公开测试集、prompt 格式、候选项和评测流程中,StartLux 的 top-1 决策结果更好。

它不等于所有任务上都更强。StartLux 的训练数据包含部分 benchmark 的公开训练 split;其结果也不是官方 JevBench 榜单结果。综合分领先也不代表每个能力区域领先,项目自己的表格中 Knowledge & Reasoning 区域 Jev 仍高于 StartLux。

公开报告中的部分型号和延迟是:

模型 Decision Index 0.2.1 三问题请求平均延迟
4B 52.75 26.0 ms
9B 58.63 35.7 ms
27B 63.88 102.3 ms
35B-A3B 61.55 52.5 ms

这些延迟来自作者在单张 H200、短输入、串行请求条件下的测量,不能直接外推到 4090、长文本、图片或并发服务。模型在一组 Knowledge & Reasoning 指标上还可能落后于 Jev,综合分领先只说明作者选定的加权任务组合更有利。

两者的工程差异也比“谁的分数高”更重要:

维度 StartLux-Decision Jev
获取方式 开放权重,可本地部署和修改 主要通过商业 API 使用
骨干与上下文 Qwen3.5 风格,多模态,公开资料声称 256K 官方公开文档口径约 32K,内部架构不完全公开
读出与微调 候选字母 logits,提供 LoRA 与校准脚本 内部实现和权重不可直接修改
候选规模 单轮直接读 A–Z,更多候选分组 官方接口通常有候选数限制
许可 代码 Apache-2.0;权重 CC BY-NC 4.0,商业使用需另行确认 受 API 计费和服务条款约束

StartLux 的 256K 上下文和图像能力不能自动套用到所有后端:公开实现中图片通常走 PyTorch eager 路径,GGUF/MLX 主要支持文本,GGUF 包装层还可能设置更低的上下文上限。部署前应以当前后端代码和模型许可为准。

项目的 Mario、StarCraft II、Doom 和 Computer Use 演示也要按“决策模块”理解:环境脚本会预演动作、控制单位、处理瞄准/寻路或提供固定控件候选,模型并没有单独承担完整的开放世界规划和自由文本操作。因此演示能说明有限候选决策接口有用,不能直接证明通用视觉 Agent 能力。

十一、工程采用建议

如果目标是工单路由、工具选择、告警分级或有限动作控制,可以按下面顺序验证:

  1. 用自己的候选项、中文数据、换序数据和 unknown 数据做独立测试;
  2. 同时测试冻结基础模型 raw readout、AnyJev L0、StartLux/JevAny SFT 模型;
  3. 记录 accuracy、NLL、Brier、ECE、拒答覆盖率和 P95 延迟;
  4. 把高置信度自动执行、中置信度升级人工、低置信度退回大模型作为三段式策略;
  5. 只有在自己的候选集合和硬件上验证过,才把公开榜单结果用于成本或架构决策。

最容易被忽略的边界是:候选项必须包含正确答案,概率是候选项条件分布,超过 26 个候选项时可能经过分组筛选,模型的公开 benchmark 结果也不能替代业务独立验证。

十二、相关经典方法参考

本文把 RLCR 与以下方法联系起来,是机制类比,不表示 JevAny 直接复现了这些论文的完整算法:

RLCR 更准确的定位是:把策略梯度、局部高斯扰动探索、组内相对奖励和概率评分规则组合到候选项 logits 上。它有明确的历史亲缘关系,但其具体实现仍是 JevAny 针对 pointer decision model 的工程化设计。

十三、原始会话中的问题与解答

下面保留原始会话里的主要问题和对应结论。正文是按技术主题重排后的版本;本节用来回答“当时具体问了什么”,也标出容易被摘要遗漏的边界。

问题 1: “分析一下这个项目:https://github.com/StartLuxLabs/Startlux-Decision”

解答: StartLux-Decision 把状态、问题和动态候选项转换成 choice、noul、score 三类有限决策。它直接读回答位置上的候选字母 logits,不生成解释文本,并配有候选 softmax、温度校准、批处理、前缀复用、CUDA Graph 和专用 kernel。它适合工单路由、工具选择、告警分级等候选集合明确的环节;候选集合没有正确答案时无法自行提出新动作,生产接入还要补鉴权、限流、动态 batching、监控和输入校验。游戏与 Computer Use 演示中的环境脚本承担了大量动作预演、寻路和控件处理,不能等同于通用自主 Agent。

问题 2: “他这个是用的啥模型啊,qwen 继续训练的吗?此外他这个是直接取 logprob?怎么训练的啊,和 jev 有啥区别,如何理解比 jev 准确率高”

解答: 能确认的是 4B 配置采用 Qwen3_5ForConditionalGeneration,并使用 Qwen3.5 风格的线性注意力、全注意力和视觉模块;27B 为 dense,35B-A3B 为 MoE。公开资料没有写明具体 Qwen 基座 checkpoint、完整数据和训练步数,因此准确表述是“Qwen3.5 架构的专用后训练决策模型”,不能把用户 LoRA 脚本当成原始训练配方。

它基本是直接取 logits,但不是读取一个服务端 logprob 字段:模型前向后拿回答位置的 logit(A)、logit(B)、logit(C),再在候选内部做 softmax(logits / T)。训练时用硬标签或软标签分布交叉熵,目标是提高正确候选的相对 logit;公开仓库只披露了用户继续微调的脚本。

StartLux 与 Jev 都是 typed、非生成式候选决策。StartLux 的差异在于开放权重、本地部署、Qwen3.5 风格多模态骨干、较长上下文、公开的微调与推理代码。所谓“准确率更高”只表示在作者选定的 benchmark、prompt、候选格式和评测口径下 top-1 更高;StartLux 使用了部分公开训练 split,自己的结果也不是官方 JevBench 榜单,且 Knowledge & Reasoning 等子项未必领先。

问题 3: “在候选字母上计算 softmax,然后对目标分布做交叉熵,具体解释一下?此外推理优化指的是啥,它咋优化的”

解答: 对 [logit(A), logit(B), logit(C)] 只做候选集合内的 softmax。例如 [2,1,0] 得到 [0.665,0.245,0.090]。唯一正确答案 A 时,目标是 [1,0,0],交叉熵是 -log(0.665);软标签 [0.67,0,0.33] 时则是 -(0.67 log pA + 0.33 log pC)。推理优化的具体方向包括不生成文本、只算 A–Z 输出行、多个问题合批、复用长状态前缀、快速 linear-attention/causal-conv1d kernel、CUDA Graph、MoE grouped matmul、离线 decide_batch 和宽候选分组。它减少 decode、重复计算和 GPU 调度开销,但不会消除 Transformer 主体的长上下文成本。

问题 4: “要具体解释 softmax 的公式,此外为啥训练会推动模型提高正确选项字母的 logit,正确答案概率里面的 0.99 是啥。此外温度缩放是啥,比如用户指定的温度高,那么生成的内容就相对来说更发散一些?还是说逆向校准用户输入的温度”

解答:

pi=ezi∑jezj p_i=\frac{e^{z_i}}{\sum_j e^{z_j}}

对 [2,1,0] 先算指数 [7.389,2.718,1],再除以总和 11.107,所以 A/B/C 约为 0.665/0.245/0.090。0.99 表示在当前候选集合和温度下,模型给该候选的相对概率,不自动等于现实正确率;候选列表漏掉正确答案时也可能出现 0.99。

softmax 加交叉熵的梯度是:

∂L∂zi=pi−yi \frac{\partial L}{\partial z_i}=p_i-y_i

正确项的梯度为负,梯度下降会提高其 logit;错误项的梯度为正,会降低其相对优势。温度 softmax 为 softmax(z/T):T>1 使分布变平,T<1 使分布变尖,通常不改变 argmax。聊天模型的高 temperature 会使逐 token 采样更随机;StartLux 通常不生成文本,温度是部署前用开发集拟合的固定校准参数,不是用户输入时的发散开关。

问题 5: “再解释一下交叉熵函数,以及如何起作用的,我还是没看明白”

解答: 交叉熵可以先记成“正确答案概率越低,惩罚越大”。唯一正确答案时它就是 -log(p_correct):正确概率为 0.99 时损失约 0.010,为 0.1 时约 2.303,为 0.01 时约 4.605。它比准确率多约束了一层概率质量:0.51 猜对和 0.99 猜对的准确率相同,但后者损失更低;猜错且极度自信会受到更大惩罚。软标签时,最优预测可以保留标注者分歧,不必被推到 100%/0%。

问题 6: “L=-∑ yᵢlog pᵢ 这个怎么读,此外现在类 Jev 的模型公开的流程有哪些方法,是不是这种用 logits 和校准的方式是一种类别?”

解答: 读作“损失等于负的、对所有候选项求和的真实概率乘预测概率的对数”。类 Jev 方法需要拆成三个轴:

  1. 答案读出:candidate-token logits、classification head、pointer/option representation、约束生成、native decision head;
  2. 模型训练:training-free、SFT/LoRA、self-distillation、RL/校准奖励训练、专用决策头训练;
  3. 概率处理:raw restricted softmax、temperature scaling、位置轮换、label-prior correction、isotonic/分桶校准、unknown/abstain。

所以“candidate-token logits + restricted softmax + temperature calibration”确实是一类非生成式候选项决策组合,但 logits 读出和温度校准是两个不同层次,可以和分类头或 pointer 分别组合。

问题 7: “方法 C:pointer / option representation 具体介绍一下。此外完全不训练 training-free readout 的问题是啥?AnyJev 怎么说的?此外交叉熵是不是最常见的损失函数啊,然后方法 D 也详细介绍一下”

解答: pointer 取决策位置向量 (h_d) 和每个选项末尾向量 (h_i),经 Q/K 变换后计算 (z_i=q^\top k_i/\sqrt{d_p}),必要时加 residual scorer,最后仍对这些候选 logits 做 softmax。它不依赖 A/B/C 固定 token,但新增 pointer head 通常需要训练;训练仍可用交叉熵。

training-free readout 的问题是位置偏差、标签先验、候选内部归一化造成的假高置信度、没有学会 typed decision 格式、没有业务规则和知识,以及没有利用生成式多步推理。AnyJev 的 L0 通过候选位置轮换、映射回原选项、估计并扣除标签先验来缓解这些问题,同时记录 answer_mass。在其特定的 Qwen3-8B、BANKING77 20-way、300 样本实验中,raw/L0 的顺序反转变化率为 0.230/0.073,准确率为 0.747/0.803,ECE 为 0.240/0.184;这些数字不是普适保证,batch prior 估计错误时可能损害准确率。AnyJev 0.3.0 的 Tacit 自蒸馏和困难样本升级生成推理已经不属于完全 training-free。

交叉熵是分类和语言模型中最常见的损失之一,但回归、排序、对比学习和强化学习会使用其他目标。方法 D 指 RL/校准奖励后训练:温度校准只改固定模型的概率形状,SFT 用目标答案改参数,RL 则按决策结果和概率质量改参数。

问题 8: “这种加高斯扰动再优化扰动方向的强化学习之前有类似的方式吗(哪怕不是这个 Jev 任务)”

解答: 有明确的历史亲缘关系:REINFORCE/策略梯度、Evolution Strategies、parameter-space/action-space noise、Reward-weighted regression/Cross-Entropy Method,以及 Brier 等 proper scoring rules。RLCR 的具体组合是:对 pointer logits 加零均值高斯扰动;对每个提案做 softmax 并取动作和置信度;用 r=c-(q-c)^2 奖励“答对且置信度合理”、惩罚“错得很自信”;减去组均值形成 advantage;用策略梯度更新,同时保留交叉熵项。它的新意在于把这些思想放到候选决策 logits 的局部优化中,而不是第一次发明高斯扰动。JevAny 的模型卡仍把 RLCR 标为实验路线,通用场景推荐 SFT checkpoint。

问题 9: “上面的所有回答形成一个 md 吧……放到 dev 知识库合适的位置”以及目录修正

解答: 这篇内容的主体是 StartLux、Jev、AnyJev、JevAny 的公开项目和类 Jev 技术调研,因此归档在:

bytetech-community/AI工程/框架与调研/261009 - StartLux-Decision - StartLuxLabs - 类Jev候选项决策与概率校准/

本文件保留主题化技术解读,同时增加了本节问答索引。原会话中出现的“继续”是被中断后的续问,不构成新的技术问题;目录位置讨论也已记录在这里。