A³:把一次成败,
分给一串命令
智能体可能连续查目录、读文件、改脚本,最后才得到一个“做对了没有”的分数。A³ 试图把这份稀疏反馈用得更细:借助 shell 命令的程序结构,寻找合适的比较对象,再把终局回报变成逐轮更新信号。
1 一次成败,不能直接说明哪一步有用
设想一个任务:从多个日志中找出异常记录,生成一份报告,并返回异常总数。智能体需要先找到文件,再理解格式,最后写入正确位置。最终数字答对而报告写错,仍然可能失败;整个任务成功,也不表示中间每条命令都有贡献。
组相对强化学习可以把同一问题下多条轨迹的回报作比较。但如果一条轨迹所有轮次共用同一个优势,查找、编辑与验证就收到同样的更新方向。A³ 的问题是:能否利用已经执行过的命令,为每一轮补充更有区分度的参照?
这里的奖励来自执行后的答案与文件状态评测,与上一篇 Bradley–Terry 图解中“训练模型预测人更偏好哪个答案”是不同环节。A³ 主要改变的是已有回报怎样形成优势,并不额外训练一个偏好奖励模型。
静态图
2 比较命令的结构,而不只比较文本
grep 'ERROR' a.log | sort 与 grep 'WARN' b.log | sort 的文件名和字面量不同,却有相近的管道结构。相反,打印文件、删除文件与修改文件即使共享路径,动作含义也不同。这些是帮助理解的命令示例,并非论文测量样本。
A³ 用 Tree-sitter 解析 Bash 的抽象语法树,按确定性顺序提取控制结构、规范化命令动词和字面量,形成签名 。两个动作的距离定义为:
表示编辑距离,分母是较长签名的长度。距离越小,表示在这套结构表示下越相近。它可以用于当前一步,也可以用于多步动作子链。
静态图
因此,动作结构提供的是一个统计比较依据,不是新的真值。它既不直接判定某条命令是否正确,也没有通过重置到同一真实状态、替换动作来测量因果贡献。
3 三种参照,回答三个不同问题
记 为问题, 为采样轨迹, 为轮次, 为该轨迹的终局回报。A³ 为每个轮次实例 构造三个信号。
静态图
轨迹层:这次执行,整体比同任务的其他执行好多少? 论文用同组回报的中位数与中位绝对偏差(MAD)作标准化:
是同一问题下的回报集合。中位数是把数值排序后位于中间的值;MAD 则先计算每个回报到中位数的绝对距离,再取这些距离的中位数:
用于数值稳定,尤其是多个回报相同、MAD 为零时。该分量在同一轨迹的所有轮次相同,保留直接的任务结果监督。
轮次层:执行相近命令片段的其他轨迹,最后表现怎样? 在同一问题、同一轮次,把结构相近的动作子链分到一起。当前轨迹与“同组其他轨迹”的平均回报作差,再融合不同子链范围:
是动作范围, 是归一化范围权重;LOO 表示留一计算,即平均值不包含当前轨迹。公开实现中,只有一个成员的组返回零残差。这避免把“当前轨迹与它自己相比较”误当成额外证据。
构造例子 · 同一问题、同一轮次;只演示留一均值,不运行 AST 聚类。
| 轨迹 | 动作片段示意 | 终局回报 | 参与当前留一均值 |
|---|---|---|---|
| 当前轨迹 | grep … | sort | 1.00 | 排除自身 |
| 轨迹 B | grep … | sort | 0.00 | 是 |
| 轨迹 C | python … | 1.00 | 否 |
| 轨迹 D | awk … | 1.00 | 否 |
1.00 − 0.00 = +1.00
切换比较范围改变的是参照集合。这个残差仍然使用整条轨迹的回报,不能解释成当前命令本身的独立奖励。
4 历史树,比较的是怎样的“分支”?
仅看当前命令,不足以判断它是否合适。同样一条编辑命令,可能发生在文件已经检查完毕之后,也可能发生在尚未读取文件时。树结构分量因此把过去各轮的动作分组标签串起来,构造抽象历史。
同一问题、同一轮次中,过去轮次集合一致且加权标签差异足够小的轨迹,被归入同一个抽象状态 ;再按当前动作标签形成分支 。状态价值与分支价值分别用对应采样轨迹的平均终局回报估计:
例如,一个抽象状态内四条轨迹的回报为 1、1、0、0,均值为 0.5;若其中某个分支对应两条回报均为 1 的轨迹,它的局部差就是 。这是算式示例,不是论文测量,也不是在同一真实文件状态上做的随机干预。
控制后续分支差向前累计的程度, 表示该轨迹的下一轮。论文还用 衰减样本支持较少的信号: 是样本支持量, 控制收缩强度。这个“树”是从已经采样的轨迹归组得到的,不代表推理时额外展开搜索树。
5 最后怎样进入策略损失?
三个通道的数值尺度可能不同。A³ 先分别除以批内平均绝对值,再加权相加,最后通过有界 tanh 变换:
波浪号表示尺度对齐,两个 控制额外分量的权重, 限制极端值的影响。融合后的 对应该轮生成的可执行响应。序列级重要性比率为:
是该轮受训练响应的 token 数; 是该 token 的生成历史。它先平均 token 的 log 概率比,再指数化,避免把长响应的概率比简单累乘。随后进入带裁剪的策略目标:
是参与平均的轮次实例数, 与 设置概率比的裁剪区间。因此 A³ 先在轮次之间产生不同的优势,再用序列级概率比更新该轮响应。 在裁剪约束内,正优势倾向提高该轮响应的相对概率,负优势倾向压低它。输出给模型的仍是可微的策略损失;AST 解析和聚类本身无需参与反向传播。
论文公式与公开实现的细节
以上按论文式 (5)–(10) 展示主线。核对的代码版本为 1bd96d0:轨迹基础分量使用的 MAD 尺度乘以 1.4826、设置最低尺度 0.5,再经过一次有界处理;树分量先按分支样本量收缩局部差,再递推支持度并作门控。因此这些公式是论文层的定义,不是对当前代码每一行的完全展开。代码把最终标量优势乘响应掩码,确保更新落在相应响应 token 上。
6 σ-Reveal 先解决“从哪里看起”
另一个瓶颈发生在第一条命令之前:重要信息可能藏在深层目录,而模型最初只有很少的环境线索。σ-Reveal 为文件树节点计算相关性分数,再在呈现预算内选择一个保留目录依赖的子集。
是初始文件树, 是任务观察; 综合文件名是否被任务提及、目录深度和扩展名与任务类型的匹配; 是呈现成本。被选择的文件需要保留必要的父目录上下文。
这并不是把整个工作区都读入模型。公开实现给出文件名、大小和短文件头,用树形背包选择保留内容;初始布局只构建一次。后面文件状态改变,仍靠真实命令输出和后续读取获取新信息。
预算在代码里怎样计算?
论文用 token 预算描述目标;当前公开实现设置 _BUDGET_CHARS = 2400,按 16 字符为单位分桶,最大目录深度 4,最多读取文件头 160 字节,首行展示至多 80 字符。这是字符成本近似,并非精确 tokenizer 计数。不要把“2400 字符”写成“2400 tokens”。
7 14B 超过 235B,要把比较条件一起看
先看与算法直接相关的比较。论文使用 Qwen3-14B,在统一训练配置下比较多种方法。ShellOps 混合任务同时要求文本结果和文件状态正确:GSPO 的精确匹配率为 11.3%,A³ 在普通观测下达到 21.9%,再加入 σ-Reveal 为 24.6%。这里分别看得见训练方法和观测机制对应的变化。
更难的 ShellOps-Pro 包含 150 个分布外任务。论文主表中,10 轮预算下 A³ 加 σ-Reveal 为 31.1%,Qwen3-235B-A22B 的普通观测基线为 28.3%。这组数字同时改变了训练方法、模型和观测方式。 附录 G 给其他基线也加入 σ-Reveal,提供了更适合判断观测收益的对照。
ShellOps-Pro · 三类任务的宏平均精确匹配率(%)
相同 σ-Reveal、10 轮时,A³ 为 31.1%,Qwen3-235B 为 33.2%。宣传文中 31.1% 对 28.3% 的大小关系不再成立。
在相同 σ-Reveal 和 10 轮预算下,Qwen3-235B 为 33.2%,GiGPO 为 33.9%,GSPO 为 31.9%,A³ 为 31.1%。这并不抹去 A³ 在 ShellOps 主实验中的收益,但会改变“普遍击败更大模型”或“同条件最优”的解释。本文也没有把不同总参数量直接换算成训练或推理成本;235B-A22B 是稀疏激活模型,总参数量不是每 token 的实际计算量。
三分量消融同样需要逐项阅读。下面是论文 Table 4 的混合基准平均精确匹配率,均为 Qwen3-14B、最多 6 轮:
| 设置 | 文本任务 | 文件任务 | 混合任务 |
|---|---|---|---|
| 完整 A³ | 44.5% | 38.1% | 21.9% |
| 移除轮次残差 | 38.2% | 32.9% | 17.2% |
| 移除历史树分量 | 42.5% | 30.6% | 22.0% |
| 同时移除两者 | 39.0% | 30.7% | 10.9% |
同时去掉轮次与树结构信号,混合任务从 21.9% 降为 10.9%,说明仅保留轨迹层会损失这组实验中的重要收益;但单独去掉树分量时,混合任务为 22.0%,并未下降。因此可以说这些分量在不同任务上提供互补信号,不能说“每个分量在每个指标上都必不可少”。
8 保留结构,也保留比较的尺度
A³ 最值得带走的思路,是把可执行动作本身的结构纳入学习:同样只有一个终局回报,仍可以通过不同参照集合,构造更细的逐轮优势。它不需要把每步都交给额外大模型评判,也不必先训练一个 Critic。
论文 Table 5 报告 A³ 的优势计算耗时为 0.023 秒,GSPO 为 0.027 秒。这是优势计算这一环节的报告值,不是整个训练用时或单个任务延迟。σ-Reveal 的推理输入则从每轮约 0.99K 增至 1.11K tokens,平均交互轮数从 4.33 降到 4.18;更多初始线索与后续探索之间存在实际开销交换。
把这两条线分开后,论文的贡献会更清楚:一条改善模型先看见什么,另一条改善模型怎样从已经执行过的动作中学习。其方法与证据目前围绕 shell 驱动的文件系统任务;结构签名能否迁移到其他动作空间,需要相应的新验证。
原文与实现
- Su & Wen · Learning CLI Agents with Structured Action Credit under Selective Observation,方法 §3、主实验 §4、附录 G 的统一观测比较。本文数字为作者报告,未复现训练。
- A³ 官方代码 · 固定版本 1bd96d0,核对优势、结构比较、σ-Reveal 与训练配置。
- ShellOps 数据 · A³-Qwen3-14B 模型,作者发布入口。
- 青稞AI 原解读,2026 年 10 月 16 日,文内署名苏浩阳。本页从该线索回到论文和代码重新组织图解。