CodeAgent 训练体系与 Auto-Thinking:阅读入口
符号速查表
本表为入库时补充的阅读辅助,对应同目录《多维表格CodeAgent训练体系与Auto-Thinking完整解析》中的公式;解析稿正文保持原样。下标相同但所处公式不同时,参数含义可能不同,不能直接视为同一个超参数。
| 符号 | 读法 | 在本文中的含义 |
|---|---|---|
| 、 | s、a | 状态(需求、表格状态、代码和反馈);代码或工具动作 |
| tau,陶 | 一次完整交互轨迹 | |
| 、、 | m、m hat、D | 模式;实际选择的模式;DIRECT 模式的简写 |
| 、 | z、y | 短思考内容;选定模式后生成的内容 |
| theta,西塔 | 模型可训练参数 | |
| pi theta,派西塔 | 参数为 的策略,即模型输出的概率分布 | |
| 、、 | pi g、pi z、pi a | 模式选择、思考内容生成、动作生成三个条件分布;分解不表示必须使用三个独立模型 |
| pi SFT | SFT 后的参考策略 | |
| 、 | U of tau;U of s m | 轨迹效用;状态下某模式的效用 |
| 、 | J theta;J gate RL | 期望奖励目标;模式策略的强化学习目标 |
| 、 | R | 奖励;状态和动作对应的奖励 |
| 、 | R correct;R outcome | 正确性奖励;模式执行结果的奖励 |
| 、 | R terminal;R process | 终局奖励;过程进展奖励 |
| 、、 | R failure;R cost;R safety | 总奖励中被扣除的失败、成本和安全惩罚项 |
| R thinking semantic | 思考内容的语义奖励组合 | |
| 、 | R grounded;R thought action | 依据当前证据的程度;说明与动作的一致性 |
| 、 | R expected effect;R redundancy | 可验证预期效果;冗余惩罚 |
| R gate | 模式执行结果奖励减去对应成本 | |
| 、 | C;C regression | 成本;回归损失 |
| 、、、 | C tool/thinking/wall time/repeat | 工具使用、思考、实际耗时、重复动作的成本 |
| lambda,兰姆达,加对应下标 | 效用公式中的工具、思考、耗时、重复成本权重 | |
| 、 | L SFT;L RL | 监督微调损失;强化学习损失 |
| 、、、 | L 加对应下标 | 模式、思考、动作、偏好四项损失 |
| lambda 加对应下标 | SFT 组合损失中上述四项的权重;这里的 不必等于效用公式中的思考成本权重 | |
| 、 | L gate SFT/RL | 模式选择的监督损失/强化学习损失 |
| m teacher | 教师或反事实执行产生的模式标签 | |
| advantage g/z/a | 模式、思考、动作的优势估计,表示相对基准的收益 | |
| 、 | w 加下标 | RL 分段损失权重;语义奖励各分量权重 |
| turn t;w t;i 属于 t;M i;cross entropy i | assistant 轮次、轮次权重、该轮 token 索引、损失掩码、token 交叉熵;这里的 是轮次索引 | |
| z i;a j;z/a 的长度 | 思考和动作的 token 及其序列长度; 是位置索引 | |
| beta,贝塔;eta,伊塔 | KL 正则系数;模式熵奖励系数 | |
| KL divergence,KL 散度 | 当前策略相对参考策略的分布差异 | |
| H of pi g | 模式分布的熵 | |
| 期望、求和、平均、最大值 | 公式中的聚合运算; 表示在可选模式中取最大值 | |
| 指示函数 | 模式不是 DIRECT 时为 1,否则为 0 | |
| 对数、给定、采样自、占位点 | 对数概率;条件概率;按分布采样;分布中未指定的取值 | |
| mode regret,模式遗憾 | 同状态最优合法模式效用减去实际选择模式效用 | |
| x、y、x star | 新增多目标优化章节中的候选方案、另一方案和最优候选;此处 不再指生成内容,星号表示最优性质 | |
| k、f i of x、F of x | 目标数量、第 i 个标量目标、目标向量; 在这里是目标索引 | |
| 花体 P、F of P | 正文定义的非支配方案集合;其映射到目标空间的像称为帕累托前沿 | |
| 支配、不小于、大于、当且仅当、任意、存在、不存在、且 | 支配定义中的比较和逻辑符号;字典序优于应与帕累托支配区分 | |
| T 下标零至四、w i、U of x | 分层目标、加权系数、标量效用; 不是下行中的总轮数 | |
| K、T、t、a t | 多臂老虎机的臂数、总轮数、轮次及所选臂 | |
| mu star,缪星;mu a t;regret T | 最优臂的期望收益、所选臂的期望收益、按期望收益差累计的遗憾 | |
| M of s、m star of s、arg max、gate s | 合法模式集合、最优模式、取得最大值的自变量、Gate 实际选择; 不同于 token 掩码 | |
| s prime、属于、集合、到 | 另一示例状态、集合成员关系、集合表示、方案变换 | |
| q、query、context、f、d | 输入问题、查询、上下文、模式决策函数及示意难度分数; 的阈值是示例配置 | |
| x t、x 小于 t、条件概率 | 当前 token、之前的 token 序列、给定前缀和问题的下一 token 概率;此处 不指多目标优化候选方案 | |
| o i、pi theta old、G、O t、O n | 第 i 个生成回答、采样时的旧策略、每模式采样数、thinking 与 no-thinking 样本组;两组共 条 | |
| r i、r q o i、r average、标准差 | 样本奖励、问题与回答的奖励、平均奖励、组内标准差 | |
| A i、A hat 上标 m 下标 i t | 标准化优势、带掩码的 token 级优势估计;帽号表示估计量 | |
| m i、tau、s 一至 s k | Adaptive GRPO 中的样本保留掩码、拒绝阈值、被选样本的索引;这里的 不是交互轨迹, 不是环境状态 | |
| l i、lambda 兰姆达、sigma 西格玛、w i | 难度加权示例中的样本损失、权重中心、带宽和样本权重;与前文成本权重区分 | |
| N、c、count c、difficulty q | 采样次数、答案类别、该类别计数、问题难度代理值;答案分歧不等于有金标的真实难度 | |
| T、confidence q | 平均 token 对数概率公式中的序列长度,以及该式定义的分数;分数不是校准后的正确概率 | |
| z i、y i、temperature T、指数函数 | softmax 公式中的 logit、候选输出、温度及自然指数函数;此处 不是思考 token, 不是序列长度或训练轮数 | |
| 指示函数、不等于、约等于、正负、最小值 | 条件成立时取 1 的掩码、比较与近似符号、区间边界和最小值算子 |
建议阅读顺序
- 训练体系与 Auto-Thinking 完整解析:2026-09-14 第二次更新。第一部分讲 CodeAct、数据合成和训练指标;第二部分讲三档模式、SFT/RL、奖励和评估;第三部分解释术语、多目标优化与 Mode Regret,并补充 Thinking 格式、Auto 模式训练、动态数据与难度评估;第四部分新增 Omni-AutoThink 论文解读;附录保留稿件所附的方案全文。阅读校注见下文。
- Auto-Thinking 飞书原始方案:[飞书来源](内部资源。
- Base AI Post Training 团队核心思路版本目录:查看团队全景及已有 v1/v3/v5 材料。
- SpecAgent 与 CodeAgent 训练和交付:对齐两个 Agent 的职责边界。
来源与版本
相关基础:多臂老虎机与 MDP,可用于补充理解选臂、遗憾、状态与长期回报;正文只保存在通用方法目录。
- 首次入库:2026-09-13;最近同步:2026-09-14。输入是用户提供的本地 Markdown,文件名为
多维表格CodeAgent训练体系与Auto-Thinking完整解析.md;未把它冒充成新抓取的飞书原文。 - 当前解析稿大小:236,979 字节;4,972 行;SHA-256:
f11b3e16fc5ed10c355adaa9e020ff7afcadf1f25ccb0adaad69a452b34ca6b0。知识库副本与本次输入逐字节一致。 - 2026-09-13 版本:156,507 字节;3,277 行;SHA-256:
201ceed7392312af73d2a1bdf5046665ebc88e387d1fe846933f5644be0dc920。 - 2026-09-14 第一次更新:170,990 字节;3,580 行;SHA-256:
0b0b5c4ad573f6119db271a2b64e493dc8513190ca6e348fc7198df9e09d15f6。相较 9 月 13 日净增 303 行,新增第三部分概念章节和目录。 - 本次相较 9 月 14 日第一次更新净增 1,392 行、65,989 字节:第三部分新增第八至十节,新增第四部分 Omni-AutoThink 解读及相应目录;其余正文和附录未变。
- 输入没有图片、视频或相对文件附件;14 个外部文献链接按输入保留。本次未重新下载或逐篇核验文献。
- 原有飞书方案 SHA-256:
93ae8aa1af50199e57d271c565de4cc72a751bf4223909bd0fa36f4e1db53cc3,本次未修改。解析稿附录与这份既有离线方案不完全相同,因此保留各自版本,没有覆盖或合并。 - 外层
260730沿用既有 Auto-Thinking 方案专题日期,不代表本次解析稿的创建日期。
阅读口径
- 本目录把同一专题的原始方案和用户提供的解析稿放在一起,便于对照;解析稿不代表新增的一手实验记录。
- “当前训练进展与效果”中的 5,888 条轨迹、编译/执行/Judge 比例等,是输入稿引用的口径;本次仅归档,没有据此更新项目当前状态。
- 5,000 DIRECT 加 700 THINK_SHORT 加 150 REPLAN,以及阶段比例、损失权重等,在稿中属于方案建议,不能据此认定训练已经完成或配置已验证。
- CodeAgent 属于相邻执行层。Spec Model、Judge Model、Fix Model 的合训工作仍从 Spec Agent 项目入口 阅读;这里的方案不会自动变成该项目的实验结论。
2026-09-14 新增章节校注
以下是入库时对新增章节的阅读辅助,与用户提供的正文分开保存。
- 加权奖励不等于零和博弈。
正确率 − λ × 成本是多目标的标量化,不要求收益总和固定,也不自动构成多参与者零和博弈。权重可能导致不合意的取舍,但这与是否零和是不同问题。 - 字典序优于不等于帕累托支配。 帕累托支配要求所有目标不差、至少一项严格更好;字典序可以因为高优先级目标更好而接受低优先级目标更差。仅凭成功率从 40% 对比 75%、或 78% 对比 80%,不能断言某模式支配另一模式,还要比较成本等目标。正文的 定义在方案空间,严格说是帕累托最优解集;目标空间中的 才是前沿,离散候选也不一定形成连续曲线。
- Mode Regret 取决于选定的标量效用。 它衡量实际模式与最优合法模式的效用差,并不直接表示到帕累托前沿的距离;若只使用字典序比较,需要另行定义可相减的标量效用,或分别报告各优先级的差距。每模式 2~4 次 rollout 给出的是有噪声的估计,不是已知的真实期望效用。
- 160 token 是初始建议,不是已证明的最优预算。 原始方案 §9.4 要求比较 96/128/160/192,并明确讨论“192 相比 160 有明显收益”时如何处理;未给出“192 只增加成本、不提高成功率”的已完成实验结论。新增章节的预算解释和模式效用数字例子应按示意阅读。
- 模式错误指标不能直接相加得到 regret。 漏选必要 REPLAN 更接近召回问题,Replan precision 则衡量已经选择 REPLAN 时的准确性;效用接近意味着差值较小,不能单独据此定义一个“不可避免 regret”分量。
第二次更新的阅读提示
- 本次仅同步提供的解析稿,没有重新核验 Omni-AutoThink 论文、模型官方模板或文中实验数字。正文中的标签格式、训练比例和配置示例不应直接作为已验证实现;实际使用前需对照对应模型版本的官方 chat template 和训练代码。
- 第四部分结果表列出的 Auto 分数为文本 0.66、音频 0.73、视觉 0.56、视听 0.69;按该表比较,Auto 在音频、视听两列最高。正文“3/4”最优的说法与表中数字不一致,此处只指出内部不一致,未裁定论文原始结果。