StartLux-Decision 与类 Jev 决策模型:候选项读出、训练、校准与 RLCR
二次技术解读,整理自本轮对 StartLux-Decision、Jev、AnyJev 和 JevAny 的源码与公开文档分析。
主要来源:
资料时间:2026-10-09。StartLux 的原始基座 checkpoint 和完整训练配方未在公开仓库中说明;本文对其原始训练过程只做有限推断。
会话记录说明:本稿根据 2026-10-08 的原始 Codex 会话重整。原会话先后讨论了项目总评、模型底座、logits 读出、训练目标、Jev 差异、准确率比较、softmax、交叉熵、temperature、pointer、training-free readout、AnyJev、RLCR 及高斯扰动的历史亲缘关系。正文按主题组织,文末另列“问题—解答索引”,保留问题本身,避免只剩结论。
本轮问题总览
| 原始问题 | 本文对应位置 |
|---|---|
| StartLux-Decision 是什么,项目完成度和适用边界如何? | 第一、九、十、十一节 |
| 它用的是什么模型,是不是继续训练 Qwen?是否直接取 logprob,怎么训练? | 第一、二、三节 |
| 它和 Jev 有什么区别,为什么公开结果看起来更高? | 第十节 |
| “候选字母 softmax + 交叉熵”到底怎样计算,为什么会推高正确字母的 logit? | 第二、三节及附录 |
| 推理优化具体优化了什么? | 第九节 |
| softmax、0.99 概率和 temperature 分别意味着什么? | 第二、四节 |
| 类 Jev 的公开方法有哪些,“logits + 校准”属于哪一类? | 第七节 |
| pointer、training-free readout、AnyJev、交叉熵和方法 D(RL/校准奖励)是什么? | 第五、六、七、八节 |
| logits 加高斯扰动再按奖励优化,过去是否有类似方法? | 第八、十二节 |
符号速查表
| 符号 | 读法 | 含义 |
|---|---|---|
| (i,j) | i、j | 候选项索引 |
| (K) | K | 候选项数量 |
| (z_i) | z 下标 i | 第 (i) 个候选项的 logit 或决策分数 |
| (p_i) | p 下标 i | 模型给第 (i) 个候选项的预测概率 |
| (y_i) | y 下标 i | one-hot 真实标签中的第 (i) 项 |
| (t_i) | t 下标 i | 软标签中的第 (i) 项概率 |
| (L) | loss | 损失函数值 |
| (e) | 欧拉数 | 自然指数的底,约为 2.718 |
| (log) | log | 自然对数 |
| (T) | temperature | 温度缩放系数 |
| (h_d) | h 下标 d | 决策位置的隐藏向量 |
| (h_i) | h 下标 i | 第 (i) 个候选项位置的隐藏向量 |
| (q) | q | pointer 头变换后的决策向量 |
| (k_i) | k 下标 i | pointer 头变换后的候选项向量 |
| (d_p) | d 下标 p | pointer 向量维度 |
| (c) | c | 结果是否正确,正确为 1,错误为 0 |
| (q)(奖励公式中) | q | 所选答案的置信度;与 pointer 中的 (q) 不是同一变量 |
| (\sum) | sigma | 求和算子 |
| (\exp) | exp | 指数函数, |
| (\top) | transpose | 向量转置; 表示点积 |
| (\nabla) | nabla | 梯度算子 |
一、StartLux-Decision 是什么
StartLux-Decision 把语言模型用于有限候选项上的决策。请求包含状态、问题和候选项,输出 choice、noul 或 score:
choice:从若干类别或动作中选一个;noul:对真假或是否成立输出概率;score:在有序等级上给出概率分布和期望等级。
它的 4B 权重配置使用 Qwen3_5ForConditionalGeneration,包含 Qwen3.5 风格的线性注意力、全注意力和视觉模块。公开资料没有明确说明它具体从哪个 Qwen checkpoint 开始,也没有公开原始预训练或后训练数据、训练步数和完整配方。更准确的说法是:它是一个 Qwen3.5 架构的专用决策模型,原始模型经过了面向候选项决策的后训练,但详细过程尚未公开。
它的用户微调脚本是另一件事:该脚本让用户在已经发布的 StartLux 权重上继续做 LoRA 微调,并不等于 StartLux 原始训练过程。
公开型号还包括 9B、27B 和 35B-A3B。这里的 35B-A3B 是 MoE 型号,名称中的 A3B 指每个 token 大约激活的参数规模,不等于总参数只有 3B。公开配置能说明架构和规模,不能反推出完整的预训练、监督微调、蒸馏或偏好优化配方。
因此,“Qwen 继续训练”需要分成两层理解:
- 可以确认的层面:StartLux 使用 Qwen3.5 风格的模型架构,并把它适配为候选项决策模型;
- 不能从公开资料确认的层面:具体从哪个 Qwen checkpoint 出发、使用哪些内部数据、训练多少步,以及是否经历过未公开的蒸馏或偏好优化。
仓库里的 finetune/ 脚本只表示用户可以在发布权重上继续做 LoRA/SFT,不是作者对原始 StartLux 训练过程的完整披露。
二、候选字母 logits 读出
假设请求被渲染成:
A) billing
B) shipping
C) technical
模型读完 prompt 后,在回答位置产生完整词表上的 logits。StartLux 只取 A、B、C 三个 token 的 logits:
logit(A) = 2.0
logit(B) = 1.0
logit(C) = 0.0
它不生成完整文本,而是对这些候选 logits 做受限 softmax:
这里 (K=3),所以:
分母为:
因此:
A: 7.389 / 11.107 ≈ 0.665
B: 2.718 / 11.107 ≈ 0.245
C: 1 / 11.107 ≈ 0.090
最终选择 A。
这里的概率是候选项内部归一化后的概率,不是完整词表上的绝对概率。假设完整词表中 A 和 B 的总概率只有 1%,但 A 占这 1% 中的大部分,候选项内部归一化后 A 仍可能显示为 90%。因此需要关注候选标签的总概率质量,也要显式加入 other、unknown 或 insufficient evidence 等候选项来表达“答案不在列表中”。
候选项内部概率还要和两个诊断量分开看:
answer_mass:候选标签在完整词表上的原始概率质量,例如 (P(A)+P(B)+P(C))。它很低时,说明模型可能根本没有强烈倾向于输出候选标签;内部 softmax 的 90% 不能单独当作绝对置信度。confidence:StartLux 的选择题实现可用 表示相对均匀分布的集中程度。它不必等于最高候选概率,具体仍应以当前版本代码为准。
例如三选一时,均匀分布 [1/3, 1/3, 1/3] 的相对集中度为 0;若最高项为 1,则相对集中度为 1。这是输出分布形状的指标,不是经过独立验证的真实正确率。
超过 26 个选项时,StartLux 会先分组、每组保留若干候选,再进行最终轮。这时完整概率分布带有启发式筛选成分,不再是所有候选项一次性联合 softmax 的严格分布。
三、交叉熵是什么,如何推动训练
交叉熵公式:
读作:
损失 (L) 等于负的、对所有候选项 (i) 求和的真实标签概率 (y_i) 乘以预测概率 (p_i) 的对数。
其中 y_i 是目标分布,不一定只能是 0 或 1;如果标注者有分歧,y_i 可以是软标签概率。前面的负号是因为 (0<p_i\leq1) 时 (log p_i\leq0),这样损失保持为非负数。信息论里单个事件的意外程度是 (-\log p),所以模型越不相信真实答案,交叉熵越大。
如果真实答案只有 A:
真实分布 y:A=1, B=0, C=0
模型分布 p:A=0.8, B=0.1, C=0.1
则:
因此多分类、唯一正确答案的交叉熵就是“正确答案概率的负对数”。
| 正确答案概率 | 损失 |
|---|---|
| 1.00 | 0 |
| 0.90 | 0.105 |
| 0.70 | 0.357 |
| 0.10 | 2.303 |
| 0.01 | 4.605 |
模型错得越自信,损失越大。
对于 softmax 加交叉熵,有一个重要梯度关系:
如果 A 是正确答案:
pA = 0.665, yA = 1 → 梯度为 -0.335
pB = 0.245, yB = 0 → 梯度为 0.245
pC = 0.090, yC = 0 → 梯度为 0.090
梯度下降会让正确答案 A 的 logit 增大,让错误答案 B、C 的 logit 减小。实际更新的是神经网络权重,但更新方向会使类似输入下正确候选项更容易得到高分。
如果标注者存在分歧,可以使用软标签:
A: 0.67
B: 0.00
C: 0.33
损失为:
这会让模型学习标注不确定性,而不是强迫它输出一个虚假的 100% 确定答案。
交叉熵在分类和语言模型训练中非常常见:语言模型是在整个词表上预测下一个 token,决策模型是在候选集合上预测正确选项。二者可以使用相同的交叉熵,但训练数据、模型结构和读出方式仍然不同。
四、温度缩放与概率校准
带温度的 softmax 是:
- (T>1):logits 被压小,分布变平;
- (T=1):不调整;
- (T<1):logits 被放大,分布变尖。
例如 logits 为 [2, 1, 0]:
T=1 → [0.665, 0.245, 0.090]
T=2 → [0.506, 0.307, 0.186]
T=0.5→ [0.867, 0.117, 0.016]
这与生成模型的 temperature 在数学上相同,但这里通常不用于控制文本随机性,因为决策模型不生成文本。StartLux 的温度通常是按 choice、noul、score 类型预先校准的固定参数,不是用户每次输入的随机性控制开关。
因此输出 A: 0.99 的准确解释是:在当前输入、候选集合和温度下,模型在这些候选之间给 A 约 99% 的相对概率。只有经过校准且线上数据与校准集同分布时,才可以把大量类似的 0.99 近似理解为约 99% 的正确率;如果正确答案不在候选集合中,模型仍可能把某个现有候选打到 0.99。
这和聊天模型里的“用户把 temperature 调高后文本更发散”不是同一个产品语义。聊天生成会在每一步采样,温度影响随机性;StartLux 通常只做一次候选打分,温度只改变概率分布的尖锐程度。项目通常在有标签的开发集上固定模型,搜索使负对数似然最低的 (T),再按 choice、noul、score 类型部署固定值。它是离线的概率校准,不是根据某个用户输入临时反推温度。
校准流程是:
- 在有真实答案的校准集上收集 logits;
- 固定模型参数;
- 搜索使验证集负对数似然最低的温度 (T);
- 部署时对相应类型的 logits 除以该温度。
如果模型经常预测 0.95、但实际正确率只有 0.75,说明过度自信,通常需要 (T>1)。如果模型预测 0.70、但实际正确率约 0.85,可能需要 (T<1)。温度一般不改变 argmax,只改变概率的锐利程度。
五、Pointer / option representation
候选字母读出依赖 A、B、C 这类 token。Pointer 方法不要求候选项必须对应某些固定字母,而是直接对输入中的候选项表示打分。
输入大致为:
<State> 客户被重复扣款
<Question> 交给哪个团队
<Option> billing,支付和退款
<Option> shipping,配送和物流
<Option> technical,技术故障
<Decide>
模型产生:
- 决策位置隐藏向量 (h_d);
- 第 (i) 个选项末尾隐藏向量 (h_i)。
Pointer 头对它们做线性变换:
再计算匹配分数:
JevAny 的实现还加入一个 residual scorer:
其中 (odot) 是逐元素相乘,(R) 是小型的 Linear/GELU/Linear 网络。
最后仍然是:
因此 pointer 不是“不用 logits”,而是先用一个专门的匹配头生成候选 logits,再对候选 logits 做 softmax。
与字母读出相比:
| 字母/token 读出 | Pointer 读出 | |
|---|---|---|
| 分数来源 | 输出层中 A、B、C token 的 logits | 决策向量与当前选项表示的匹配分数 |
| 是否依赖 A/B/C token | 依赖 | 不依赖固定字母 |
| 候选项变化 | 需要映射到 token | 直接读取当前候选项表示 |
| 是否需要专门训练 | 可以免训练 | pointer 头通常需要训练 |
| 支持大候选集合 | 受 token 数量限制 | 可在上下文允许范围内扩展 |
JevAny 的 Pointer 头和 direct-token 读出都可以使用 SFT。公开算法文档说明,pointer 模型使用 LoRA 和新增 pointer head;direct-token 模型使用候选标签 token 的 logits。JevAny 算法
六、完全不训练的 training-free readout 有什么问题
最简单的方式是拿一个普通 Qwen/Llama:
状态 + 问题 + 候选项
→ 读取 A/B/C logits
→ 对候选项 softmax
它不需要训练数据,但会有以下问题。
1. 位置偏差
模型可能偏爱第一个选项或某些位置。交换候选项顺序后,答案可能跟着位置变化。
2. 标签先验
模型可能天然更偏爱某些标签 token,例如 A 的先验 logit 比 C 高。此时它表现出来的差异未必来自状态和问题。
3. 条件概率造成的假高置信度
完整词表中,候选标签可能只占极少概率质量。只在候选标签内部归一化后,某个标签仍可能得到 90%,但这只是“在这些标签中相对最高”,不代表模型真正愿意回答标签。
因此 AnyJev 还把候选标签在完整词表中的总概率质量作为 answer_mass 一类诊断信号。answer_mass 很低而候选内部最大概率很高时,应把结果理解为“模型在被迫从这些选项中选一个”,而不是“模型有 90% 的绝对把握”。
4. 没有学会决策格式
普通聊天模型的训练目标是生成语言,不是稳定地输出 typed decision。它可能倾向于解释、拒答或输出选项文本。
5. 没有吸收领域规则
如果“紧急”在你的公司有特殊定义,通用模型不会自动知道;需要有监督数据进行 SFT 或 LoRA。
6. 直接读出不包含额外推理
有些问题需要多步推理,直接读取第一个答案位置可能弱于让模型先生成思考再回答。
AnyJev 的改进
AnyJev 的 training-free Decider 提供两种层次:
raw:一次 prompt,直接对标签 token 做受限 softmax;L0:轮换候选项位置,让每个选项出现在每个位置,合并各轮概率,并除去估计的标签先验。
它还提供自适应 rotation budget:当当前领先候选已经足够稳定时,提前停止剩余轮次。
AnyJev 在 Qwen3-8B、BANKING77 20-way、300 个测试样本上报告:
| 指标 | raw | L0 |
|---|---|---|
| 选项反转后答案变化率 | 0.230 | 0.073 |
| 准确率 | 0.747 | 0.803 |
| ECE | 0.240 | 0.184 |
| 可在不超过 5% 错误率下自动决策的比例 | 7.7% | 46.3% |
这说明 training-free readout 不是完全不能用,但原始 logits 的位置偏差和置信度质量可能很差;L0 用额外前向计算换稳定性。AnyJev 自己也指出,L0 的 batch prior 在某一标签真实占比很高时可能损害准确率。
AnyJev 后续还提供 Tacit 自蒸馏模型:模型学习把自己经过推理得到的结论直接压缩到一次前向中;困难样本可按置信度升级到生成式 reasoning。这已经不再是完全 training-free。
七、类 Jev 方法的主要路线
“候选 logits + softmax + 校准”是一类组合,不是唯一实现。需要分别看三个轴。
1. 答案读出
- candidate-token logits:读 A/B/C 等标签 token;
- pointer head:比较决策表示和候选项表示;
- classification head:隐藏状态接固定类别分类头;
- constrained generation:生成受约束的答案字符串;
- native decision head:模型训练时就带专用决策头。
2. 模型训练
- training-free:冻结普通 LLM,仅做 logits readout;
- SFT / LoRA:对候选分布使用硬标签或软标签交叉熵;
- self-distillation:让模型把自身多步推理答案压缩到一次前向;
- RL / calibration-reward training:根据正确性和概率质量继续优化;
- 专门分类头训练:训练 pointer 或其他 decision head。
3. 概率处理
- raw restricted softmax;
- temperature scaling;
- 位置轮换与平均;
- label prior correction;
- isotonic 或分桶校准;
- 增加
unknown/ abstain 选项。
八、RLCR 与“高斯扰动后按奖励优化”的关系
JevAny 的 RLCR 是一个实验性路线。它在 pointer logits (z) 周围加入多组零均值高斯扰动:
每个扰动后的 (z') 经过 softmax,产生一个候选决策和置信度。然后用校准奖励:
- (c=1):选对;
- (c=0):选错;
- (q):对所选答案的置信度。
例子:
| 结果 | 置信度 (q) | 奖励 |
|---|---|---|
| 选对 | 0.9 | 0.99 |
| 选对 | 0.6 | 0.84 |
| 选错 | 0.9 | -0.81 |
| 选错 | 0.6 | -0.36 |
对每组扰动,奖励减去组平均奖励形成 advantage:
高于组平均 → 增强这类扰动方向
低于组平均 → 减弱这类扰动方向
同时保留监督交叉熵项,避免模型为追逐奖励而偏离原来的正确性目标。JevAny 的公开算法说明称,该过程使用策略梯度,但不需要长推理 rollout、critic、confidence token 或 reference-model KL。RLCR 算法
这种思想以前有没有类似方法
有,而且可以对应到几条更早的研究路线:
- 策略梯度与 REINFORCE:对随机策略采样动作,用奖励乘以 log-probability 的梯度更新策略。RLCR 的 advantage 更新属于这一大类,只是随机变量是 logits 附近的扰动提案,动作来自扰动后的候选分布。
- Evolution Strategies(进化策略):在参数或解附近采样高斯扰动,根据每个扰动的适应度更新搜索方向。这里的扰动对象不是完整网络参数,而是候选决策 logits,因此可以看作低维、局部的 evolution-strategy 式优化。
- Parameter-space noise / action-space noise:在策略参数空间或动作空间加噪声,观察环境回报,再保留更有利的方向。RLCR 更接近 action/logit-space noise,因为噪声加在决策分数上。
- Reward-weighted regression / Cross-Entropy Method:采样多个候选解,保留高奖励样本,更新分布使其更靠近精英样本。RLCR 使用组内相对奖励和策略梯度,机制上与这类“采样—评价—向高分区域移动”方法相近。
- Proper scoring rules:Brier score、log score 等不是扰动优化算法,但用于把“选得对”和“概率表达是否合理”一起纳入训练目标。RLCR 使用的 (c-(q-c)^2) 与 Brier 风格的平方误差惩罚相关。
因此,RLCR 的新意主要不在“第一次使用高斯扰动”,而在于把这些思想组合到候选项 pointer logits 的局部策略优化上,并用校准奖励惩罚“错得很自信”。
JevAny 的 RLCR 公开模型卡也明确表示:这是实验性 continuation,整体开发集和迁移准确率没有稳定提升,通用使用仍推荐 SFT checkpoint。RLCR 模型卡
九、推理优化
StartLux 的推理优化集中在减少重复计算和 GPU 调度开销:
- 不生成文本:一次前向直接读取答案位置,避免逐 token decode;
- 只计算候选字母输出行:最后的输出投影只取 A-Z 对应权重;
- 多问题合批:同一请求的多个问题作为多行一起计算;
- 共享长状态前缀:同一文档的多个问题复用状态计算;
- 专用 linear-attention 和 causal-conv1d CUDA kernel;
- CUDA Graphs:预录制常见形状,短请求直接 replay;
- MoE grouped matrix multiplication:减少专家计算的 host 同步;
- 离线
decide_batch:按长度排序后跨请求合批; - 宽候选分组:候选超过 26 个时分组筛选。
这些优化各自解决不同瓶颈:
- 一次前向、不生成文本:普通生成要逐 token decode;StartLux 只需在回答位置读出候选分数。模型主体仍要完整前向,因此长上下文的成本不会消失。
- 候选输出投影:词表可能有数十万 token,末端投影只取 A–Z 对应的行,减少最后一层矩阵乘和内存访问;这不会跳过 Transformer 主体。
- 合批和前缀复用:同一请求的多个问题可作为 batch 行一起计算;同一长状态下的多个问题可以复用共享前缀,再分别计算问题分支。
- 快速 kernel 与 CUDA Graph:
flash-linear-attention、causal-conv1d等针对 Qwen3.5 风格算子的 CUDA 实现减少算子开销;固定形状的短请求可预录制并 replay CUDA Graph,降低 kernel launch 开销。没有 fast path 时,代码可回退到较慢实现,但延迟会明显上升。 - MoE 专项路径:35B-A3B 使用 grouped matrix multiplication,把多个专家的矩阵计算合并,减少 host 等待;总参数量大不等于每个 token 都激活全部参数。
- 离线批处理:
decide_batch可按 prompt 长度排序、把相近长度样本组成 batch,再把结果映射回原请求。当前 HTTP server 仍以单 GPU 全局锁串行处理,请求级动态 batching、鉴权、限流和监控需要自行补齐。
候选超过 26 个时,项目会先把候选分组、每组保留前几名,再进行决赛轮。这降低了单次输入宽度,但它不是严格的一次性全候选分类:分组顺序、淘汰阈值和被淘汰项的概率回填都会影响结果。大候选集应先用业务规则缩小,或把这种结果明确当作近似排序。
CUDA Graph 和 fast kernel 主要改善短请求延迟;长文本、图片和大模型仍然需要显著的显存和算力。StartLux 的 HTTP server 当前在单 GPU 上使用锁串行处理,请求级动态 batching、鉴权、限流和生产监控仍需外围补齐。
十、StartLux 与 Jev 的准确率比较如何理解
StartLux 与 Jev 使用相近的 typed decision 接口和非生成式决策范式。StartLux 的优势在于开放权重、本地部署、Qwen3.5 多模态骨干、256K 上下文和可修改的训练/推理代码。
StartLux 报告的 Decision Index 0.2.1 中,27B 为 63.88,Jev 1.13 为 57.91;公开 JevBench 子集上,StartLux 约 208/231,Jev 约 199/231。这个结果应理解为:
在作者选择的公开测试集、prompt 格式、候选项和评测流程中,StartLux 的 top-1 决策结果更好。
它不等于所有任务上都更强。StartLux 的训练数据包含部分 benchmark 的公开训练 split;其结果也不是官方 JevBench 榜单结果。综合分领先也不代表每个能力区域领先,项目自己的表格中 Knowledge & Reasoning 区域 Jev 仍高于 StartLux。
公开报告中的部分型号和延迟是:
| 模型 | Decision Index 0.2.1 | 三问题请求平均延迟 |
|---|---|---|
| 4B | 52.75 | 26.0 ms |
| 9B | 58.63 | 35.7 ms |
| 27B | 63.88 | 102.3 ms |
| 35B-A3B | 61.55 | 52.5 ms |
这些延迟来自作者在单张 H200、短输入、串行请求条件下的测量,不能直接外推到 4090、长文本、图片或并发服务。模型在一组 Knowledge & Reasoning 指标上还可能落后于 Jev,综合分领先只说明作者选定的加权任务组合更有利。
两者的工程差异也比“谁的分数高”更重要:
| 维度 | StartLux-Decision | Jev |
|---|---|---|
| 获取方式 | 开放权重,可本地部署和修改 | 主要通过商业 API 使用 |
| 骨干与上下文 | Qwen3.5 风格,多模态,公开资料声称 256K | 官方公开文档口径约 32K,内部架构不完全公开 |
| 读出与微调 | 候选字母 logits,提供 LoRA 与校准脚本 | 内部实现和权重不可直接修改 |
| 候选规模 | 单轮直接读 A–Z,更多候选分组 | 官方接口通常有候选数限制 |
| 许可 | 代码 Apache-2.0;权重 CC BY-NC 4.0,商业使用需另行确认 | 受 API 计费和服务条款约束 |
StartLux 的 256K 上下文和图像能力不能自动套用到所有后端:公开实现中图片通常走 PyTorch eager 路径,GGUF/MLX 主要支持文本,GGUF 包装层还可能设置更低的上下文上限。部署前应以当前后端代码和模型许可为准。
项目的 Mario、StarCraft II、Doom 和 Computer Use 演示也要按“决策模块”理解:环境脚本会预演动作、控制单位、处理瞄准/寻路或提供固定控件候选,模型并没有单独承担完整的开放世界规划和自由文本操作。因此演示能说明有限候选决策接口有用,不能直接证明通用视觉 Agent 能力。
十一、工程采用建议
如果目标是工单路由、工具选择、告警分级或有限动作控制,可以按下面顺序验证:
- 用自己的候选项、中文数据、换序数据和
unknown数据做独立测试; - 同时测试冻结基础模型 raw readout、AnyJev L0、StartLux/JevAny SFT 模型;
- 记录 accuracy、NLL、Brier、ECE、拒答覆盖率和 P95 延迟;
- 把高置信度自动执行、中置信度升级人工、低置信度退回大模型作为三段式策略;
- 只有在自己的候选集合和硬件上验证过,才把公开榜单结果用于成本或架构决策。
最容易被忽略的边界是:候选项必须包含正确答案,概率是候选项条件分布,超过 26 个候选项时可能经过分组筛选,模型的公开 benchmark 结果也不能替代业务独立验证。
十二、相关经典方法参考
本文把 RLCR 与以下方法联系起来,是机制类比,不表示 JevAny 直接复现了这些论文的完整算法:
- REINFORCE:Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning:用采样动作的回报构造策略梯度。
- Evolution Strategies as a Scalable Alternative to Reinforcement Learning:在参数或搜索解附近加随机扰动,根据回报估计更新方向。
- Parameter Space Noise for Exploration:在策略参数空间加入噪声进行探索。
- The Cross-Entropy Method for Optimization:采样、评价、保留高分样本并更新采样分布。
- A Class of Upper Bounds on the Bayesian Risk in Terms of the Expected Value of a Brier Score:Brier score 及其作为概率预测评分规则的理论背景。
RLCR 更准确的定位是:把策略梯度、局部高斯扰动探索、组内相对奖励和概率评分规则组合到候选项 logits 上。它有明确的历史亲缘关系,但其具体实现仍是 JevAny 针对 pointer decision model 的工程化设计。
十三、原始会话中的问题与解答
下面保留原始会话里的主要问题和对应结论。正文是按技术主题重排后的版本;本节用来回答“当时具体问了什么”,也标出容易被摘要遗漏的边界。
问题 1: “分析一下这个项目:https://github.com/StartLuxLabs/Startlux-Decision”
解答: StartLux-Decision 把状态、问题和动态候选项转换成 choice、noul、score 三类有限决策。它直接读回答位置上的候选字母 logits,不生成解释文本,并配有候选 softmax、温度校准、批处理、前缀复用、CUDA Graph 和专用 kernel。它适合工单路由、工具选择、告警分级等候选集合明确的环节;候选集合没有正确答案时无法自行提出新动作,生产接入还要补鉴权、限流、动态 batching、监控和输入校验。游戏与 Computer Use 演示中的环境脚本承担了大量动作预演、寻路和控件处理,不能等同于通用自主 Agent。
问题 2: “他这个是用的啥模型啊,qwen 继续训练的吗?此外他这个是直接取 logprob?怎么训练的啊,和 jev 有啥区别,如何理解比 jev 准确率高”
解答: 能确认的是 4B 配置采用 Qwen3_5ForConditionalGeneration,并使用 Qwen3.5 风格的线性注意力、全注意力和视觉模块;27B 为 dense,35B-A3B 为 MoE。公开资料没有写明具体 Qwen 基座 checkpoint、完整数据和训练步数,因此准确表述是“Qwen3.5 架构的专用后训练决策模型”,不能把用户 LoRA 脚本当成原始训练配方。
它基本是直接取 logits,但不是读取一个服务端 logprob 字段:模型前向后拿回答位置的 logit(A)、logit(B)、logit(C),再在候选内部做 softmax(logits / T)。训练时用硬标签或软标签分布交叉熵,目标是提高正确候选的相对 logit;公开仓库只披露了用户继续微调的脚本。
StartLux 与 Jev 都是 typed、非生成式候选决策。StartLux 的差异在于开放权重、本地部署、Qwen3.5 风格多模态骨干、较长上下文、公开的微调与推理代码。所谓“准确率更高”只表示在作者选定的 benchmark、prompt、候选格式和评测口径下 top-1 更高;StartLux 使用了部分公开训练 split,自己的结果也不是官方 JevBench 榜单,且 Knowledge & Reasoning 等子项未必领先。
问题 3: “在候选字母上计算 softmax,然后对目标分布做交叉熵,具体解释一下?此外推理优化指的是啥,它咋优化的”
解答: 对 [logit(A), logit(B), logit(C)] 只做候选集合内的 softmax。例如 [2,1,0] 得到 [0.665,0.245,0.090]。唯一正确答案 A 时,目标是 [1,0,0],交叉熵是 -log(0.665);软标签 [0.67,0,0.33] 时则是 -(0.67 log pA + 0.33 log pC)。推理优化的具体方向包括不生成文本、只算 A–Z 输出行、多个问题合批、复用长状态前缀、快速 linear-attention/causal-conv1d kernel、CUDA Graph、MoE grouped matmul、离线 decide_batch 和宽候选分组。它减少 decode、重复计算和 GPU 调度开销,但不会消除 Transformer 主体的长上下文成本。
问题 4: “要具体解释 softmax 的公式,此外为啥训练会推动模型提高正确选项字母的 logit,正确答案概率里面的 0.99 是啥。此外温度缩放是啥,比如用户指定的温度高,那么生成的内容就相对来说更发散一些?还是说逆向校准用户输入的温度”
解答:
对 [2,1,0] 先算指数 [7.389,2.718,1],再除以总和 11.107,所以 A/B/C 约为 0.665/0.245/0.090。0.99 表示在当前候选集合和温度下,模型给该候选的相对概率,不自动等于现实正确率;候选列表漏掉正确答案时也可能出现 0.99。
softmax 加交叉熵的梯度是:
正确项的梯度为负,梯度下降会提高其 logit;错误项的梯度为正,会降低其相对优势。温度 softmax 为 softmax(z/T):T>1 使分布变平,T<1 使分布变尖,通常不改变 argmax。聊天模型的高 temperature 会使逐 token 采样更随机;StartLux 通常不生成文本,温度是部署前用开发集拟合的固定校准参数,不是用户输入时的发散开关。
问题 5: “再解释一下交叉熵函数,以及如何起作用的,我还是没看明白”
解答: 交叉熵可以先记成“正确答案概率越低,惩罚越大”。唯一正确答案时它就是 -log(p_correct):正确概率为 0.99 时损失约 0.010,为 0.1 时约 2.303,为 0.01 时约 4.605。它比准确率多约束了一层概率质量:0.51 猜对和 0.99 猜对的准确率相同,但后者损失更低;猜错且极度自信会受到更大惩罚。软标签时,最优预测可以保留标注者分歧,不必被推到 100%/0%。
问题 6: “L=-∑ yᵢlog pᵢ 这个怎么读,此外现在类 Jev 的模型公开的流程有哪些方法,是不是这种用 logits 和校准的方式是一种类别?”
解答: 读作“损失等于负的、对所有候选项求和的真实概率乘预测概率的对数”。类 Jev 方法需要拆成三个轴:
- 答案读出:candidate-token logits、classification head、pointer/option representation、约束生成、native decision head;
- 模型训练:training-free、SFT/LoRA、self-distillation、RL/校准奖励训练、专用决策头训练;
- 概率处理:raw restricted softmax、temperature scaling、位置轮换、label-prior correction、isotonic/分桶校准、
unknown/abstain。
所以“candidate-token logits + restricted softmax + temperature calibration”确实是一类非生成式候选项决策组合,但 logits 读出和温度校准是两个不同层次,可以和分类头或 pointer 分别组合。
问题 7: “方法 C:pointer / option representation 具体介绍一下。此外完全不训练 training-free readout 的问题是啥?AnyJev 怎么说的?此外交叉熵是不是最常见的损失函数啊,然后方法 D 也详细介绍一下”
解答: pointer 取决策位置向量 (h_d) 和每个选项末尾向量 (h_i),经 Q/K 变换后计算 (z_i=q^\top k_i/\sqrt{d_p}),必要时加 residual scorer,最后仍对这些候选 logits 做 softmax。它不依赖 A/B/C 固定 token,但新增 pointer head 通常需要训练;训练仍可用交叉熵。
training-free readout 的问题是位置偏差、标签先验、候选内部归一化造成的假高置信度、没有学会 typed decision 格式、没有业务规则和知识,以及没有利用生成式多步推理。AnyJev 的 L0 通过候选位置轮换、映射回原选项、估计并扣除标签先验来缓解这些问题,同时记录 answer_mass。在其特定的 Qwen3-8B、BANKING77 20-way、300 样本实验中,raw/L0 的顺序反转变化率为 0.230/0.073,准确率为 0.747/0.803,ECE 为 0.240/0.184;这些数字不是普适保证,batch prior 估计错误时可能损害准确率。AnyJev 0.3.0 的 Tacit 自蒸馏和困难样本升级生成推理已经不属于完全 training-free。
交叉熵是分类和语言模型中最常见的损失之一,但回归、排序、对比学习和强化学习会使用其他目标。方法 D 指 RL/校准奖励后训练:温度校准只改固定模型的概率形状,SFT 用目标答案改参数,RL 则按决策结果和概率质量改参数。
问题 8: “这种加高斯扰动再优化扰动方向的强化学习之前有类似的方式吗(哪怕不是这个 Jev 任务)”
解答: 有明确的历史亲缘关系:REINFORCE/策略梯度、Evolution Strategies、parameter-space/action-space noise、Reward-weighted regression/Cross-Entropy Method,以及 Brier 等 proper scoring rules。RLCR 的具体组合是:对 pointer logits 加零均值高斯扰动;对每个提案做 softmax 并取动作和置信度;用 r=c-(q-c)^2 奖励“答对且置信度合理”、惩罚“错得很自信”;减去组均值形成 advantage;用策略梯度更新,同时保留交叉熵项。它的新意在于把这些思想放到候选决策 logits 的局部优化中,而不是第一次发明高斯扰动。JevAny 的模型卡仍把 RLCR 标为实验路线,通用场景推荐 SFT checkpoint。
问题 9: “上面的所有回答形成一个 md 吧……放到 dev 知识库合适的位置”以及目录修正
解答: 这篇内容的主体是 StartLux、Jev、AnyJev、JevAny 的公开项目和类 Jev 技术调研,因此归档在:
bytetech-community/AI工程/框架与调研/261009 - StartLux-Decision - StartLuxLabs - 类Jev候选项决策与概率校准/
本文件保留主题化技术解读,同时增加了本节问答索引。原会话中出现的“继续”是被中断后的续问,不构成新的技术问题;目录位置讨论也已记录在这里。