A³:把一次成败,
分给一串命令

智能体可能连续查目录、读文件、改脚本,最后才得到一个“做对了没有”的分数。A³ 试图把这份稀疏反馈用得更细:借助 shell 命令的程序结构,寻找合适的比较对象,再把终局回报变成逐轮更新信号。

1 一次成败,不能直接说明哪一步有用

设想一个任务:从多个日志中找出异常记录,生成一份报告,并返回异常总数。智能体需要先找到文件,再理解格式,最后写入正确位置。最终数字答对而报告写错,仍然可能失败;整个任务成功,也不表示中间每条命令都有贡献。

组相对强化学习可以把同一问题下多条轨迹的回报作比较。但如果一条轨迹所有轮次共用同一个优势,查找、编辑与验证就收到同样的更新方向。A³ 的问题是:能否利用已经执行过的命令,为每一轮补充更有区分度的参照?

这里的奖励来自执行后的答案与文件状态评测,与上一篇 Bradley–Terry 图解中“训练模型预测人更偏好哪个答案”是不同环节。A³ 主要改变的是已有回报怎样形成优势,并不额外训练一个偏好奖励模型。

静态图观测侧用σ-Reveal选择初始工作区线索;学习侧用A³组织已有动作和回报,生成逐轮优势。
图 1 · 两种干预发生在不同位置。σ-Reveal 调整提供给策略的初始线索;A³ 调整采样轨迹完成后的信用分配。二者的收益应分别比较。依据论文 §3.2–3.3。

2 比较命令的结构,而不只比较文本

grep 'ERROR' a.log | sort 与 grep 'WARN' b.log | sort 的文件名和字面量不同,却有相近的管道结构。相反,打印文件、删除文件与修改文件即使共享路径,动作含义也不同。这些是帮助理解的命令示例,并非论文测量样本。

A³ 用 Tree-sitter 解析 Bash 的抽象语法树,按确定性顺序提取控制结构、规范化命令动词和字面量,形成签名 σ(a)。两个动作的距离定义为:

d(ai,aj)=Lev(σ(ai),σ(aj))max{|σ(ai)|,|σ(aj)|}.

Lev 表示编辑距离,分母是较长签名的长度。距离越小,表示在这套结构表示下越相近。它可以用于当前一步,也可以用于多步动作子链。

静态图shell命令经Bash语法树形成签名,计算归一化编辑距离、分组并构造留一回报残差。
图 2 · 在同一任务、同一轮次和同一动作范围内,结构距离决定比较分组。结构相近不等于效果相同:文件内容、参数和先前状态仍会改变执行结果。依据论文 §3.1、§3.3.2。

因此,动作结构提供的是一个统计比较依据,不是新的真值。它既不直接判定某条命令是否正确,也没有通过重置到同一真实状态、替换动作来测量因果贡献。

3 三种参照,回答三个不同问题

记 u 为问题,n 为采样轨迹,k 为轮次,Rn 为该轨迹的终局回报。A³ 为每个轮次实例 i=(u,n,k) 构造三个信号。

静态图同一批轨迹产生轨迹级、轮次级和历史树级优势,经尺度对齐、加权与有界变换生成逐轮优势,再更新策略。
图 3 · 三个通道分别比较整条轨迹、当前命令片段和相近历史下的动作分支。它们复用同一批终局回报,最终汇成每一轮的优势。依据论文式 (5)–(10)。

轨迹层:这次执行,整体比同任务的其他执行好多少? 论文用同组回报的中位数与中位绝对偏差(MAD)作标准化:

Au,n,kep=Rn−median(Ru)MAD(Ru)+ϵ.

Ru 是同一问题下的回报集合。中位数是把数值排序后位于中间的值;MAD 则先计算每个回报到中位数的绝对距离,再取这些距离的中位数:

MAD(Ru)=medianr∈Ru|r−median(Ru)|.

ϵ>0 用于数值稳定,尤其是多个回报相同、MAD 为零时。该分量在同一轨迹的所有轮次相同,保留直接的任务结果监督。

轮次层:执行相近命令片段的其他轨迹,最后表现怎样? 在同一问题、同一轮次,把结构相近的动作子链分到一起。当前轨迹与“同组其他轨迹”的平均回报作差,再融合不同子链范围:

Aiintent=∑gw^g(Rn−R¯u,k,ℓgLOO(n)).

ℓg 是动作范围,w^g 是归一化范围权重;LOO 表示留一计算,即平均值不包含当前轨迹。公开实现中,只有一个成员的组返回零残差。这避免把“当前轨迹与它自己相比较”误当成额外证据。

改变比较组,看看残差

构造例子 · 同一问题、同一轮次;只演示留一均值,不运行 AST 聚类。

轨迹动作片段示意终局回报参与当前留一均值
当前轨迹grep … | sort1.00排除自身
轨迹 Bgrep … | sort0.00是
轨迹 Cpython …1.00否
轨迹 Dawk …1.00否

1.00 − 0.00 = +1.00

切换比较范围改变的是参照集合。这个残差仍然使用整条轨迹的回报,不能解释成当前命令本身的独立奖励。

图 4 · 留一均值排除当前轨迹;分组改变,参照也随之改变。滑块中的数值是教学构造,不是论文实验结果。

4 历史树,比较的是怎样的“分支”?

仅看当前命令,不足以判断它是否合适。同样一条编辑命令,可能发生在文件已经检查完毕之后,也可能发生在尚未读取文件时。树结构分量因此把过去各轮的动作分组标签串起来,构造抽象历史。

同一问题、同一轮次中,过去轮次集合一致且加权标签差异足够小的轨迹,被归入同一个抽象状态 S;再按当前动作标签形成分支 K。状态价值与分支价值分别用对应采样轨迹的平均终局回报估计:

δi=V(K(i))−V(S(i)),Aitree=δi+γAi+tree.

例如,一个抽象状态内四条轨迹的回报为 1、1、0、0,均值为 0.5;若其中某个分支对应两条回报均为 1 的轨迹,它的局部差就是 1−0.5=0.5。这是算式示例,不是论文测量,也不是在同一真实文件状态上做的随机干预。

γ 控制后续分支差向前累计的程度,i+ 表示该轨迹的下一轮。论文还用 gi=ni/(ni+α) 衰减样本支持较少的信号:ni 是样本支持量,α>0 控制收缩强度。这个“树”是从已经采样的轨迹归组得到的,不代表推理时额外展开搜索树。

5 最后怎样进入策略损失?

三个通道的数值尺度可能不同。A³ 先分别除以批内平均绝对值,再加权相加,最后通过有界 tanh 变换:

Ai=ϕ(A~iep+wintentA~iintent+wtreegiAitree~).

波浪号表示尺度对齐,两个 w 控制额外分量的权重,ϕ 限制极端值的影响。融合后的 Ai 对应该轮生成的可执行响应。序列级重要性比率为:

ρi=exp[1Li∑l=1Li(logπθ(ai,l∣hi,l)−logπθold(ai,l∣hi,l))].

Li 是该轮受训练响应的 token 数;hi,l 是该 token 的生成历史。它先平均 token 的 log 概率比,再指数化,避免把长响应的概率比简单累乘。随后进入带裁剪的策略目标:

L=−1N∑imin(ρiAi,clip(ρi,1−ϵlo,1+ϵhi)Ai).

N 是参与平均的轮次实例数,ϵlo 与 ϵhi 设置概率比的裁剪区间。因此 A³ 先在轮次之间产生不同的优势,再用序列级概率比更新该轮响应。 在裁剪约束内,正优势倾向提高该轮响应的相对概率,负优势倾向压低它。输出给模型的仍是可微的策略损失;AST 解析和聚类本身无需参与反向传播。

论文公式与公开实现的细节

以上按论文式 (5)–(10) 展示主线。核对的代码版本为 1bd96d0:轨迹基础分量使用的 MAD 尺度乘以 1.4826、设置最低尺度 0.5,再经过一次有界处理;树分量先按分支样本量收缩局部差,再递推支持度并作门控。因此这些公式是论文层的定义,不是对当前代码每一行的完全展开。代码把最终标量优势乘响应掩码,确保更新落在相应响应 token 上。

6 σ-Reveal 先解决“从哪里看起”

另一个瓶颈发生在第一条命令之前:重要信息可能藏在深层目录,而模型最初只有很少的环境线索。σ-Reveal 为文件树节点计算相关性分数,再在呈现预算内选择一个保留目录依赖的子集。

T*=\argmaxT∈CB(FS0)∑x∈Tμ^(x∣o0),∑x∈Tτ(x)≤B.

FS0 是初始文件树,o0 是任务观察;μ^ 综合文件名是否被任务提及、目录深度和扩展名与任务类型的匹配;τ 是呈现成本。被选择的文件需要保留必要的父目录上下文。

这并不是把整个工作区都读入模型。公开实现给出文件名、大小和短文件头,用树形背包选择保留内容;初始布局只构建一次。后面文件状态改变,仍靠真实命令输出和后续读取获取新信息。

预算在代码里怎样计算?

论文用 token 预算描述目标;当前公开实现设置 _BUDGET_CHARS = 2400,按 16 字符为单位分桶,最大目录深度 4,最多读取文件头 160 字节,首行展示至多 80 字符。这是字符成本近似,并非精确 tokenizer 计数。不要把“2400 字符”写成“2400 tokens”。

7 14B 超过 235B,要把比较条件一起看

先看与算法直接相关的比较。论文使用 Qwen3-14B,在统一训练配置下比较多种方法。ShellOps 混合任务同时要求文本结果和文件状态正确:GSPO 的精确匹配率为 11.3%,A³ 在普通观测下达到 21.9%,再加入 σ-Reveal 为 24.6%。这里分别看得见训练方法和观测机制对应的变化。

更难的 ShellOps-Pro 包含 150 个分布外任务。论文主表中,10 轮预算下 A³ 加 σ-Reveal 为 31.1%,Qwen3-235B-A22B 的普通观测基线为 28.3%。这组数字同时改变了训练方法、模型和观测方式。 附录 G 给其他基线也加入 σ-Reveal,提供了更适合判断观测收益的对照。

把观测条件固定,再比较模型

ShellOps-Pro · 三类任务的宏平均精确匹配率(%)

Qwen3-235B-A22B
33.2%
Qwen3-14B · ReACT
27.6%
Qwen3-14B · GSPO
31.9%
Qwen3-14B · GiGPO
33.9%
Qwen3-14B · A³
31.1%

相同 σ-Reveal、10 轮时,A³ 为 31.1%,Qwen3-235B 为 33.2%。宣传文中 31.1% 对 28.3% 的大小关系不再成立。

图 5 · 原文 Table 3 与 Appendix G Table 9 的报告值。比较对象均使用同一轮数上限;“统一 σ-Reveal”给所有方法相同类型的初始工作区线索。选取这里列出的模型用于解释比较条件,并非完整排行榜。

在相同 σ-Reveal 和 10 轮预算下,Qwen3-235B 为 33.2%,GiGPO 为 33.9%,GSPO 为 31.9%,A³ 为 31.1%。这并不抹去 A³ 在 ShellOps 主实验中的收益,但会改变“普遍击败更大模型”或“同条件最优”的解释。本文也没有把不同总参数量直接换算成训练或推理成本;235B-A22B 是稀疏激活模型,总参数量不是每 token 的实际计算量。

三分量消融同样需要逐项阅读。下面是论文 Table 4 的混合基准平均精确匹配率,均为 Qwen3-14B、最多 6 轮:

设置文本任务文件任务混合任务
完整 A³44.5%38.1%21.9%
移除轮次残差38.2%32.9%17.2%
移除历史树分量42.5%30.6%22.0%
同时移除两者39.0%30.7%10.9%

同时去掉轮次与树结构信号,混合任务从 21.9% 降为 10.9%,说明仅保留轨迹层会损失这组实验中的重要收益;但单独去掉树分量时,混合任务为 22.0%,并未下降。因此可以说这些分量在不同任务上提供互补信号,不能说“每个分量在每个指标上都必不可少”。

8 保留结构,也保留比较的尺度

A³ 最值得带走的思路,是把可执行动作本身的结构纳入学习:同样只有一个终局回报,仍可以通过不同参照集合,构造更细的逐轮优势。它不需要把每步都交给额外大模型评判,也不必先训练一个 Critic。

论文 Table 5 报告 A³ 的优势计算耗时为 0.023 秒,GSPO 为 0.027 秒。这是优势计算这一环节的报告值,不是整个训练用时或单个任务延迟。σ-Reveal 的推理输入则从每轮约 0.99K 增至 1.11K tokens,平均交互轮数从 4.33 降到 4.18;更多初始线索与后续探索之间存在实际开销交换。

把这两条线分开后,论文的贡献会更清楚:一条改善模型先看见什么,另一条改善模型怎样从已经执行过的动作中学习。其方法与证据目前围绕 shell 驱动的文件系统任务;结构签名能否迁移到其他动作空间,需要相应的新验证。

原文与实现

  1. Su & Wen · Learning CLI Agents with Structured Action Credit under Selective Observation,方法 §3、主实验 §4、附录 G 的统一观测比较。本文数字为作者报告,未复现训练。
  2. A³ 官方代码 · 固定版本 1bd96d0,核对优势、结构比较、σ-Reveal 与训练配置。
  3. ShellOps 数据 · A³-Qwen3-14B 模型,作者发布入口。
  4. 青稞AI 原解读,2026 年 10 月 16 日,文内署名苏浩阳。本页从该线索回到论文和代码重新组织图解。