章节总览
导航与阅读路线 / 36 · 导航索引
原目录

Code Agent 训练体系与 Auto-Thinking 的主文、历史版本和阅读路径。

CodeAgent 训练体系与 Auto-Thinking:阅读入口

符号速查表

本表为入库时补充的阅读辅助,对应同目录《多维表格CodeAgent训练体系与Auto-Thinking完整解析》中的公式;解析稿正文保持原样。下标相同但所处公式不同时,参数含义可能不同,不能直接视为同一个超参数。

符号 读法 在本文中的含义
ss、aa s、a 状态(需求、表格状态、代码和反馈);代码或工具动作
τ\tau tau,陶 一次完整交互轨迹
mm、m^\hat m、DD m、m hat、D 模式;实际选择的模式;DIRECT 模式的简写
zz、yy z、y 短思考内容;选定模式后生成的内容
θ\theta theta,西塔 模型可训练参数
πθ\pi_\theta pi theta,派西塔 参数为 θ\theta 的策略,即模型输出的概率分布
πg\pi_g、πz\pi_z、πa\pi_a pi g、pi z、pi a 模式选择、思考内容生成、动作生成三个条件分布;分解不表示必须使用三个独立模型
πSFT\pi_{\text{SFT}} pi SFT SFT 后的参考策略
U(τ)U(\tau)、U(s,m)U(s,m) U of tau;U of s m 轨迹效用;状态下某模式的效用
J(θ)J(\theta)、Jgate-RLJ_{\text{gate-RL}} J theta;J gate RL 期望奖励目标;模式策略的强化学习目标
RR、R(s,a)R(s,a) R 奖励;状态和动作对应的奖励
RcorrectR_{\text{correct}}、RoutcomeR_{\text{outcome}} R correct;R outcome 正确性奖励;模式执行结果的奖励
RterminalR_{\text{terminal}}、RprocessR_{\text{process}} R terminal;R process 终局奖励;过程进展奖励
RfailureR_{\text{failure}}、RcostR_{\text{cost}}、RsafetyR_{\text{safety}} R failure;R cost;R safety 总奖励中被扣除的失败、成本和安全惩罚项
Rthinking-semR_{\text{thinking-sem}} R thinking semantic 思考内容的语义奖励组合
RgroundedR_{\text{grounded}}、Rthought-actionR_{\text{thought-action}} R grounded;R thought action 依据当前证据的程度;说明与动作的一致性
Rexpected-effectR_{\text{expected-effect}}、RredundancyR_{\text{redundancy}} R expected effect;R redundancy 可验证预期效果;冗余惩罚
Rgate(s,m)R_{\text{gate}}(s,m) R gate 模式执行结果奖励减去对应成本
CC、CregressionC_{\text{regression}} C;C regression 成本;回归损失
CtoolC_{\text{tool}}、CthinkingC_{\text{thinking}}、CwalltimeC_{\text{walltime}}、CrepeatC_{\text{repeat}} C tool/thinking/wall time/repeat 工具使用、思考、实际耗时、重复动作的成本
λt,λz,λw,λr\lambda_t,\lambda_z,\lambda_w,\lambda_r lambda,兰姆达,加对应下标 效用公式中的工具、思考、耗时、重复成本权重
LSFTL_{\text{SFT}}、LRLL_{\text{RL}} L SFT;L RL 监督微调损失;强化学习损失
LgateL_{\text{gate}}、LthinkingL_{\text{thinking}}、LactionL_{\text{action}}、LpreferenceL_{\text{preference}} L 加对应下标 模式、思考、动作、偏好四项损失
λg,λz,λa,λp\lambda_g,\lambda_z,\lambda_a,\lambda_p lambda 加对应下标 SFT 组合损失中上述四项的权重;这里的 λz\lambda_z 不必等于效用公式中的思考成本权重
Lgate-SFTL_{\text{gate-SFT}}、Lgate-RLL_{\text{gate-RL}} L gate SFT/RL 模式选择的监督损失/强化学习损失
mteacherm_{\text{teacher}} m teacher 教师或反事实执行产生的模式标签
Ag,Az,AaA_g,A_z,A_a advantage g/z/a 模式、思考、动作的优势估计,表示相对基准的收益
wg,wz,waw_g,w_z,w_a、w1…w4w_1\ldots w_4 w 加下标 RL 分段损失权重;语义奖励各分量权重
t,wt,i∈t,Mi,CEit,w_t,i\in t,M_i,\mathrm{CE}_i turn t;w t;i 属于 t;M i;cross entropy i assistant 轮次、轮次权重、该轮 token 索引、损失掩码、token 交叉熵;这里的 tt 是轮次索引
zi,aj,∣z∣,∣a∣z_i,a_j,\lvert z\rvert,\lvert a\rvert z i;a j;z/a 的长度 思考和动作的 token 及其序列长度;i,ji,j 是位置索引
β,η\beta,\eta beta,贝塔;eta,伊塔 KL 正则系数;模式熵奖励系数
DKL(πθ∥πSFT)D_{\mathrm{KL}}(\pi_\theta\Vert\pi_{\text{SFT}}) KL divergence,KL 散度 当前策略相对参考策略的分布差异
H(πg)H(\pi_g) H of pi g 模式分布的熵
E,∑,mean⁡,max⁡\mathbb E,\sum,\operatorname{mean},\max 期望、求和、平均、最大值 公式中的聚合运算;max⁡m\max_m 表示在可选模式中取最大值
1m≠D\mathbf 1_{m\ne D} 指示函数 模式不是 DIRECT 时为 1,否则为 0
log⁡,∣,∼,⋅\log,\mid,\sim,\cdot 对数、给定、采样自、占位点 对数概率;条件概率;按分布采样;分布中未指定的取值
ModeRegret(s)\text{ModeRegret}(s) mode regret,模式遗憾 同状态最优合法模式效用减去实际选择模式效用
x,y,x∗x,y,x^* x、y、x star 新增多目标优化章节中的候选方案、另一方案和最优候选;此处 yy 不再指生成内容,星号表示最优性质
k,fi(x),F(x)k,f_i(x),F(x) k、f i of x、F of x 目标数量、第 i 个标量目标、目标向量;i,ji,j 在这里是目标索引
P,F(P)\mathcal P,F(\mathcal P) 花体 P、F of P 正文定义的非支配方案集合;其映射到目标空间的像称为帕累托前沿
≻,≥,>,  ⟺  ,∀,∃,∄,∧\succ,\geq,>,\iff,\forall,\exists,\nexists,\land 支配、不小于、大于、当且仅当、任意、存在、不存在、且 支配定义中的比较和逻辑符号;字典序优于应与帕累托支配区分
T0(x)…T4(x),wi,U(x)T_0(x)\ldots T_4(x),w_i,U(x) T 下标零至四、w i、U of x 分层目标、加权系数、标量效用;TiT_i 不是下行中的总轮数 TT
K,T,t,atK,T,t,a_t K、T、t、a t 多臂老虎机的臂数、总轮数、轮次及所选臂
μ∗,μat,Regret(T)\mu^*,\mu_{a_t},\text{Regret}(T) mu star,缪星;mu a t;regret T 最优臂的期望收益、所选臂的期望收益、按期望收益差累计的遗憾
M(s),m∗(s),arg⁡max⁡,Gate(s)M(s),m^*(s),\arg\max,\text{Gate}(s) M of s、m star of s、arg max、gate s 合法模式集合、最优模式、取得最大值的自变量、Gate 实际选择;M(s)M(s) 不同于 token 掩码 MiM_i
s′,∈,{⋅},→s',\in,\{\cdot\},\to s prime、属于、集合、到 另一示例状态、集合成员关系、集合表示、方案变换
q,query,context,f,dq,\text{query},\text{context},f,d q、query、context、f、d 输入问题、查询、上下文、模式决策函数及示意难度分数;d∈[0,1]d\in[0,1] 的阈值是示例配置
xt,x<t,P(xt∣x<t,q)x_t,x_{<t},P(x_t\mid x_{<t},q) x t、x 小于 t、条件概率 当前 token、之前的 token 序列、给定前缀和问题的下一 token 概率;此处 xx 不指多目标优化候选方案
oi,πθold,G,Ot,Ono_i,\pi_{\theta_{\mathrm{old}}},G,O_t,O_n o i、pi theta old、G、O t、O n 第 i 个生成回答、采样时的旧策略、每模式采样数、thinking 与 no-thinking 样本组;两组共 2G2G 条
ri,r(q,oi),ravg,std⁡r_i,r(q,o_i),r_{\mathrm{avg}},\operatorname{std} r i、r q o i、r average、标准差 样本奖励、问题与回答的奖励、平均奖励、组内标准差
Ai,A^i,t(m)A_i,\hat A^{(m)}_{i,t} A i、A hat 上标 m 下标 i t 标准化优势、带掩码的 token 级优势估计;帽号表示估计量
mi,τ,s1…skm_i,\tau,s_1\ldots s_k m i、tau、s 一至 s k Adaptive GRPO 中的样本保留掩码、拒绝阈值、被选样本的索引;这里的 τ\tau 不是交互轨迹,sjs_j 不是环境状态
li,λ,σ,wil_i,\lambda,\sigma,w_i l i、lambda 兰姆达、sigma 西格玛、w i 难度加权示例中的样本损失、权重中心、带宽和样本权重;与前文成本权重区分
N,c,count⁡(c),Difficulty⁡(q)N,c,\operatorname{count}(c),\operatorname{Difficulty}(q) N、c、count c、difficulty q 采样次数、答案类别、该类别计数、问题难度代理值;答案分歧不等于有金标的真实难度
T,Confidence⁡(q)T,\operatorname{Confidence}(q) T、confidence q 平均 token 对数概率公式中的序列长度,以及该式定义的分数;分数不是校准后的正确概率
zi,yi,T,exp⁡z_i,y_i,T,\exp z i、y i、temperature T、指数函数 softmax 公式中的 logit、候选输出、温度及自然指数函数;此处 ziz_i 不是思考 token,TT 不是序列长度或训练轮数
1[⋅],≠,≈,±,min⁡\mathbf 1[\cdot],\ne,\approx,\pm,\min 指示函数、不等于、约等于、正负、最小值 条件成立时取 1 的掩码、比较与近似符号、区间边界和最小值算子

建议阅读顺序

  1. 训练体系与 Auto-Thinking 完整解析:2026-09-14 第二次更新。第一部分讲 CodeAct、数据合成和训练指标;第二部分讲三档模式、SFT/RL、奖励和评估;第三部分解释术语、多目标优化与 Mode Regret,并补充 Thinking 格式、Auto 模式训练、动态数据与难度评估;第四部分新增 Omni-AutoThink 论文解读;附录保留稿件所附的方案全文。阅读校注见下文。
  2. Auto-Thinking 飞书原始方案:[飞书来源](内部资源。
  3. Base AI Post Training 团队核心思路版本目录:查看团队全景及已有 v1/v3/v5 材料。
  4. SpecAgent 与 CodeAgent 训练和交付:对齐两个 Agent 的职责边界。

来源与版本

相关基础:多臂老虎机与 MDP,可用于补充理解选臂、遗憾、状态与长期回报;正文只保存在通用方法目录。

  • 首次入库:2026-09-13;最近同步:2026-09-14。输入是用户提供的本地 Markdown,文件名为 多维表格CodeAgent训练体系与Auto-Thinking完整解析.md;未把它冒充成新抓取的飞书原文。
  • 当前解析稿大小:236,979 字节;4,972 行;SHA-256:f11b3e16fc5ed10c355adaa9e020ff7afcadf1f25ccb0adaad69a452b34ca6b0。知识库副本与本次输入逐字节一致。
  • 2026-09-13 版本:156,507 字节;3,277 行;SHA-256:201ceed7392312af73d2a1bdf5046665ebc88e387d1fe846933f5644be0dc920。
  • 2026-09-14 第一次更新:170,990 字节;3,580 行;SHA-256:0b0b5c4ad573f6119db271a2b64e493dc8513190ca6e348fc7198df9e09d15f6。相较 9 月 13 日净增 303 行,新增第三部分概念章节和目录。
  • 本次相较 9 月 14 日第一次更新净增 1,392 行、65,989 字节:第三部分新增第八至十节,新增第四部分 Omni-AutoThink 解读及相应目录;其余正文和附录未变。
  • 输入没有图片、视频或相对文件附件;14 个外部文献链接按输入保留。本次未重新下载或逐篇核验文献。
  • 原有飞书方案 SHA-256:93ae8aa1af50199e57d271c565de4cc72a751bf4223909bd0fa36f4e1db53cc3,本次未修改。解析稿附录与这份既有离线方案不完全相同,因此保留各自版本,没有覆盖或合并。
  • 外层 260730 沿用既有 Auto-Thinking 方案专题日期,不代表本次解析稿的创建日期。

阅读口径

  • 本目录把同一专题的原始方案和用户提供的解析稿放在一起,便于对照;解析稿不代表新增的一手实验记录。
  • “当前训练进展与效果”中的 5,888 条轨迹、编译/执行/Judge 比例等,是输入稿引用的口径;本次仅归档,没有据此更新项目当前状态。
  • 5,000 DIRECT 加 700 THINK_SHORT 加 150 REPLAN,以及阶段比例、损失权重等,在稿中属于方案建议,不能据此认定训练已经完成或配置已验证。
  • CodeAgent 属于相邻执行层。Spec Model、Judge Model、Fix Model 的合训工作仍从 Spec Agent 项目入口 阅读;这里的方案不会自动变成该项目的实验结论。

2026-09-14 新增章节校注

以下是入库时对新增章节的阅读辅助,与用户提供的正文分开保存。

  • 加权奖励不等于零和博弈。 正确率 − λ × 成本 是多目标的标量化,不要求收益总和固定,也不自动构成多参与者零和博弈。权重可能导致不合意的取舍,但这与是否零和是不同问题。
  • 字典序优于不等于帕累托支配。 帕累托支配要求所有目标不差、至少一项严格更好;字典序可以因为高优先级目标更好而接受低优先级目标更差。仅凭成功率从 40% 对比 75%、或 78% 对比 80%,不能断言某模式支配另一模式,还要比较成本等目标。正文的 P\mathcal P 定义在方案空间,严格说是帕累托最优解集;目标空间中的 F(P)F(\mathcal P) 才是前沿,离散候选也不一定形成连续曲线。
  • Mode Regret 取决于选定的标量效用。 它衡量实际模式与最优合法模式的效用差,并不直接表示到帕累托前沿的距离;若只使用字典序比较,需要另行定义可相减的标量效用,或分别报告各优先级的差距。每模式 2~4 次 rollout 给出的是有噪声的估计,不是已知的真实期望效用。
  • 160 token 是初始建议,不是已证明的最优预算。 原始方案 §9.4 要求比较 96/128/160/192,并明确讨论“192 相比 160 有明显收益”时如何处理;未给出“192 只增加成本、不提高成功率”的已完成实验结论。新增章节的预算解释和模式效用数字例子应按示意阅读。
  • 模式错误指标不能直接相加得到 regret。 漏选必要 REPLAN 更接近召回问题,Replan precision 则衡量已经选择 REPLAN 时的准确性;效用接近意味着差值较小,不能单独据此定义一个“不可避免 regret”分量。

第二次更新的阅读提示

  • 本次仅同步提供的解析稿,没有重新核验 Omni-AutoThink 论文、模型官方模板或文中实验数字。正文中的标签格式、训练比例和配置示例不应直接作为已验证实现;实际使用前需对照对应模型版本的官方 chat template 和训练代码。
  • 第四部分结果表列出的 Auto 分数为文本 0.66、音频 0.73、视觉 0.56、视听 0.69;按该表比较,Auto 在音频、视听两列最高。正文“3/4”最优的说法与表中数字不一致,此处只指出内部不一致,未裁定论文原始结果。