2026 年 9 月以来的知识整理
整理时间:2026-11-02 14:44:22(Asia/Shanghai,上海时间)。
范围与统计口径
- 知识库:
dev-knowledge-base;以下路径以知识库根目录为起点。 - 时间范围:2026-09-01 00:00:00 至本次生成时间;按本机文件创建时间或内容修改时间判断,不使用访问时间、元数据变更时间、文件名日期或论文发表日期。
- 正文区域:
bytetech-community、engineering-basics、feishu-internal、company、project-notes、learning;补充收录同期更新的_skills文档。 - 顶层
projects整棵代码目录不扫描;local-project-data的运行副本和依赖、.git的版本元数据、.prompt-harness的会话记录、Users中的误落盘代码路径不计作知识点。_viz-tools、project-archives和根目录的 Markdown 也检查过,本期没有符合日期条件的文件。 - 每个入选文件收录当前保存版本中的全部一级至六级 Markdown 标题,保留顺序、原级别和行号;忽略代码围栏内的伪标题。标题提取不扩写正文。
- 某文档在本期发生更新时,列出其当前全部标题;这不代表所有章节都在本期新增。创建时间也可能反映本地复制或导入时间,不能据此认定原文创作时间。
- 原文、解读版、历史版本分别保留;下列标题数量包含重复主题和导航标题,不是去重后的知识点数量。
共 47 份 Markdown、2,003 条原文标题:知识区域 45 份,工具技能 2 份。其中正文 31 份、1,350 条标题;导航 9 份,参考资料 3 份,历史版本 2 份。
| 文档类别 | 文件数 | 原文标题数 |
|---|---|---|
| 正文知识文档 | 31 | 1350 |
| 同期更新的导航与导读 | 9 | 49 |
| 同期收录的参考资料 | 3 | 29 |
| 保留的历史版本 | 2 | 556 |
| 补充:知识库工具技能 | 2 | 19 |
9 月以来整理的主要知识方向
下表根据入选正文的标题归纳主题,具体章节见后面的完整清单。
按目录统计
| 来源目录 | 入选文件数 | 原文标题数 |
|---|---|---|
_skills/ |
2 | 19 |
bytetech-community/ |
30 | 704 |
engineering-basics/ |
1 | 51 |
feishu-internal/ |
7 | 964 |
learning/ |
1 | 60 |
project-notes/ |
6 | 205 |
全时期文件夹路径清单
- 完整路径清单:361,736 行(根目录 1 行,加下级目录 361,735 行)。覆盖所有时期,递归只排除顶层
projects;包含隐藏目录、运行数据目录、依赖目录和参考源码目录。 - 便于浏览的路径清单:2,425 行。保留
.git/和local-project-data/两个入口,折叠这两者的内部目录;其余与完整清单一致。 - 两份清单均每行只保存一个绝对文件夹路径,末尾带
/,不加标题、说明、树形符号、文件名或日期筛选。 - 本次遇到 74,311 个符号链接;为避免别名重复、循环和跨入
projects,不列出或展开符号链接,只枚举实际目录。 知识库管理/是本次输出目录,已包含在路径清单中。完整清单较大,日常浏览可先使用浏览版。
本期文档总表
“新增/本期更新”仅表示本机时间戳命中本期的方式。点击文档名可跳到本篇对应的章节目录。
| 编号 | 类别 | 文档 | 本机创建时间 | 最后修改时间 | 命中方式 | 标题数 |
|---|---|---|---|---|---|---|
| 01 | 正文 | Mastering Diverse Domains through World Models(DreamerV3)解读 | 2026-09-11 21:32:08 | 2026-09-11 21:32:08 | 本期在本机创建 | 19 |
| 02 | 正文 | Genie: Generative Interactive Environments——解读版 | 2026-09-11 21:34:07 | 2026-09-11 21:36:40 | 本期在本机创建 | 24 |
| 03 | 正文 | Agentic 轨迹数据合成调研报告:OS-Genesis × AgentTrek | 2026-10-10 17:52:50 | 2026-10-10 17:52:50 | 本期在本机创建 | 71 |
| 04 | 正文 | Cosmos World Foundation Model Platform for Physical AI(解读版) | 2026-09-11 21:34:53 | 2026-09-11 21:42:23 | 本期在本机创建 | 16 |
| 05 | 正文 | V-JEPA 2(Self-Supervised Video Models Enable Understanding, Prediction and Planning)解读 | 2026-09-11 21:33:43 | 2026-09-11 21:39:45 | 本期在本机创建 | 25 |
| 06 | 正文 | Atlas 技术解读(二次解读) | 2026-09-11 20:42:10 | 2026-09-11 20:42:10 | 本期在本机创建 | 16 |
| 07 | 正文 | Atlas: A World Model for Spatial Intelligence | 2026-09-11 20:39:25 | 2026-09-11 23:51:11 | 本期在本机创建 | 18 |
| 08 | 正文 | On-Policy Distillation:OPD 和 SFT/RL 比较 | 2026-09-11 15:31:59 | 2026-09-11 20:33:40 | 本期在本机创建 | 32 |
| 09 | 正文 | 大模型训练与推理搜索术语体系及 Judge-Fix 链路搜索升级方案 | 2026-09-02 15:45:50 | 2026-09-02 15:56:54 | 本期在本机创建 | 58 |
| 10 | 正文 | 多臂老虎机与马尔可夫决策过程:从入门到体系 | 2026-09-14 20:55:33 | 2026-09-14 20:59:11 | 本期在本机创建 | 43 |
| 11 | 正文 | GRPO 及其变体系统教程:从强化学习基础到业务落地 | 2026-09-16 18:07:50 | 2026-09-16 18:07:50 | 本期在本机创建 | 63 |
| 12 | 正文 | Markov 家族算法系统教程:从马尔可夫性质到 MDP、HMM 与 MCMC | 2026-09-16 18:15:01 | 2026-09-16 18:15:01 | 本期在本机创建 | 56 |
| 13 | 正文 | 01 · PPO / GRPO 与熵控制 | 2026-09-22 18:01:24 | 2026-09-22 18:01:24 | 本期在本机创建 | 33 |
| 14 | 正文 | 02 · CodeAct 与 Agent 工程 | 2026-09-22 17:43:04 | 2026-09-22 17:43:04 | 本期在本机创建 | 12 |
| 15 | 正文 | 03 · On-Policy Distillation 家族 | 2026-09-22 17:43:04 | 2026-09-22 17:43:04 | 本期在本机创建 | 26 |
| 16 | 正文 | On-Policy Distillation 方法辨析:OPSD / OPCD / SDPO 与 KL 方向 | 2026-09-24 18:56:33 | 2026-09-24 18:56:33 | 本期在本机创建 | 19 |
| 17 | 正文 | StartLux-Decision 与类 Jev 决策模型:候选项读出、训练、校准与 RLCR | 2026-10-09 20:31:21 | 2026-10-09 21:30:18 | 本期在本机创建 | 36 |
| 18 | 正文 | 《Why DPO is a Misspecified Estimator and How to Fix It》深度解读 | 2026-09-10 14:58:49 | 2026-09-10 15:29:47 | 本期在本机创建 | 13 |
| 19 | 正文 | ICLR 2026 Oral:DPO 从一开始就是错的! | 2026-09-10 14:47:56 | 2026-09-10 14:47:56 | 本期在本机创建 | 1 |
| 20 | 正文 | Trace as State:前置推理轨迹,引导长上下文重读 | 2026-09-15 16:06:42 | 2026-09-15 16:06:42 | 本期在本机创建 | 7 |
| 21 | 正文 | 智谱&清华提出推理新范式:无需训练,DeepSeek V4/GLM-5.2 长文本推理效果暴涨 | 2026-09-15 16:03:48 | 2026-09-15 16:03:48 | 本期在本机创建 | 10 |
| 22 | 正文 | S-Space 深化解读:多模态模型里的可读写空间工作区 | 2026-09-10 15:16:25 | 2026-09-11 23:44:34 | 本期在本机创建 | 19 |
| 23 | 正文 | 《S-Space: Exploring Spatial Workspace in Multimodal Models》精读笔记 | 2026-09-10 15:06:01 | 2026-09-10 15:06:01 | 本期在本机创建 | 32 |
| 24 | 正文 | 火山方舟(Ark)使用指南 | 2026-09-01 21:00:15 | 2026-09-01 21:00:15 | 本期在本机创建 | 51 |
| 25 | 正文 | Bits Flux - 产品介绍 | Bits Flux - Product Introduction | 2026-09-11 21:35:20 | 2026-09-11 21:35:20 | 本期在本机创建 | 16 |
| 26 | 正文 | Basics of LLM Post Training | 2026-09-02 15:00:09 | 2026-09-02 15:00:09 | 本期在本机创建 | 29 |
| 27 | 正文 | 多维表格 Code Agent 训练体系与 Auto-Thinking 完整解析 | 2026-09-13 11:52:42 | 2026-09-14 17:21:35 | 本期在本机创建 | 346 |
| 28 | 正文 | LLM 技术总结 — DeepSeek 与 Qwen3 架构对比 | 2026-09-22 19:16:40 | 2026-09-22 19:16:40 | 本期在本机创建 | 60 |
| 29 | 正文 | RL 训练指标与泛化概念总结 | 2026-09-07 17:14:39 | 2026-09-07 17:14:39 | 本期在本机创建 | 22 |
| 30 | 正文 | Lark Base AI 后训练:已投递简历面试讲解与追问准备 | 2026-09-15 01:11:50 | 2026-09-15 16:56:14 | 本期在本机创建 | 138 |
| 31 | 正文 | Writings 选题:按知识库分类的精选版 | 2026-10-24 12:30:36 | 2026-10-24 13:28:53 | 本期在本机创建 | 39 |
| 32 | 导航索引 | 讲座与论文 | 2026-10-10 17:32:13 | 2026-10-10 17:32:13 | 本期在本机创建 | 3 |
| 33 | 导航索引 | 多臂老虎机与 MDP:阅读入口 | 2026-09-14 20:56:42 | 2026-09-14 20:59:11 | 本期在本机创建 | 4 |
| 34 | 导航索引 | GRPO 变体知识图谱:总览与导读 | 2026-09-22 17:43:31 | 2026-09-22 17:43:31 | 本期在本机创建 | 11 |
| 35 | 导航索引 | AI 工程 | 2026-08-25 07:35:08 | 2026-09-15 16:06:42 | 既有文件在本期更新 | 8 |
| 36 | 导航索引 | CodeAgent 训练体系与 Auto-Thinking:阅读入口 | 2026-09-13 11:52:42 | 2026-09-14 20:56:42 | 本期在本机创建 | 7 |
| 37 | 导航索引 | Base AI / Spec 飞书原文合集 | 2026-08-24 17:24:52 | 2026-09-13 11:52:42 | 既有文件在本期更新 | 10 |
| 38 | 导航索引 | 链路与架构 | 2026-08-24 20:46:37 | 2026-09-02 15:55:12 | 既有文件在本期更新 | 1 |
| 39 | 导航索引 | Spec Agent 合训 | 2026-08-24 17:33:38 | 2026-09-13 11:52:42 | 既有文件在本期更新 | 3 |
| 40 | 导航索引 | 会议、汇报与交接 | 2026-08-24 17:33:38 | 2026-09-15 01:26:49 | 既有文件在本期更新 | 2 |
| 41 | 参考资料 | README | 2026-09-10 15:06:18 | 2026-09-10 15:06:18 | 本期在本机创建 | 20 |
| 42 | 参考资料 | InstructPart action-supervision experiment | 2026-09-10 15:06:18 | 2026-09-10 15:06:18 | 本期在本机创建 | 8 |
| 43 | 参考资料 | S-Space 代码来源 | 2026-09-11 23:44:34 | 2026-09-11 23:44:34 | 本期在本机创建 | 1 |
| 44 | 历史版本 | 多维表格 Code Agent 训练体系与 Auto-Thinking 完整解析 | 2026-09-14 13:37:19 | 2026-09-14 13:37:19 | 本期在本机创建 | 266 |
| 45 | 历史版本 | 多维表格 Code Agent 训练体系与 Auto-Thinking 完整解析 | 2026-09-14 17:20:04 | 2026-09-14 17:20:04 | 本期在本机创建 | 290 |
| 46 | 技能文档 | k2md — knowledge2md 短名入口 | 2026-09-11 20:17:54 | 2026-09-11 20:17:54 | 本期在本机创建 | 3 |
| 47 | 技能文档 | knowledge2md / k2md — 知识源转离线 Markdown | 2026-09-11 20:17:54 | 2026-09-11 20:17:54 | 本期在本机创建 | 16 |
全部标题
下列每项标注原文标题级别与行号。例如“三级,第 42 行”表示原文的三级标题;列表缩进保留章节从属关系。
正文知识文档
01. Mastering Diverse Domains through World Models(DreamerV3)解读
路径:bytetech-community/讲座与论文/2301 - DreamerV3 - Google DeepMind - 一套固定超参打通150+任务的世界模型强化学习/Mastering Diverse Domains through World Models-解读版.md
本机创建:2026-09-11 21:32:08;最后修改:2026-09-11 21:32:08;标题:19 条。
- 一级,第 1 行:Mastering Diverse Domains through World Models(DreamerV3)解读
- 二级,第 3 行:元信息
- 二级,第 14 行:符号速查表
- 二级,第 49 行:一、研究问题与路线定位
- 二级,第 63 行:二、方法
- 三级,第 65 行:2.1 世界模型:RSSM
- 三级,第 85 行:2.2 世界模型的损失:三项 + free bits
- 三级,第 97 行:2.3 Actor-Critic:在想象轨迹上训练
- 三级,第 132 行:2.4 稳定化技巧汇总:symlog 与 twohot
- 二级,第 160 行:三、实验设置与结果
- 三级,第 162 行:3.1 设置
- 三级,第 168 行:3.2 主要结果(论文报告)
- 三级,第 178 行:3.3 消融与扩展性
- 二级,第 184 行:四、限制
- 二级,第 192 行:五、与其他世界模型路线的关系
- 三级,第 194 行:5.1 谱系内:PlaNet → DreamerV1 → V2 → V3
- 三级,第 205 行:5.2 谱系外:潜空间交互模型 vs 显式 3D 生成模型
- 二级,第 219 行:六、工程启示
- 二级,第 227 行:参考与延伸阅读
02. Genie: Generative Interactive Environments——解读版
路径:bytetech-community/讲座与论文/2402 - Genie - Google DeepMind - 从无标注视频无监督学习可交互世界模型/Genie - Generative Interactive Environments-解读版.md
本机创建:2026-09-11 21:34:07;最后修改:2026-09-11 21:36:40;标题:24 条。
- 一级,第 1 行:Genie: Generative Interactive Environments——解读版
- 二级,第 10 行:符号速查表
- 二级,第 30 行:易混淆概念对照
- 二级,第 45 行:一、研究问题与路线定位
- 二级,第 61 行:二、方法
- 三级,第 63 行:2.0 总体结构(论文事实)
- 三级,第 72 行:2.1 ST-transformer:三个组件共用的骨干(论文事实)
- 三级,第 82 行:2.2 视频 tokenizer(ST-ViViT)
- 三级,第 100 行:2.3 潜动作模型(LAM):从视频里"挖"动作
- 三级,第 115 行:2.4 动力学模型:MaskGIT 风格的自回归预测
- 三级,第 133 行:2.5 推理:怎么"玩"
- 三级,第 144 行:2.6 两阶段训练的数据流(编者重构,帮助建立整体图景)
- 三级,第 162 行:2.7 超参数一览(论文附录 C,论文事实)
- 二级,第 172 行:三、实验设置与结果
- 三级,第 174 行:3.1 数据与训练配置(论文事实)
- 三级,第 181 行:3.2 评估指标(论文事实)
- 三级,第 194 行:3.3 主要结果
- 三级,第 219 行:3.4 论文自述的限制(作者观点,第 5 节)
- 二级,第 232 行:四、与其他世界模型路线的关系
- 三级,第 234 行:4.1 概念对照表(编者整理)
- 三级,第 245 行:4.2 与 Genie 2 / Genie 3 的关系(编者整理,均仅博客、无技术论文)
- 三级,第 253 行:4.3 与 Atlas / World Labs 空间生成路线的对比(编者整理)
- 二级,第 267 行:五、工程启示
- 二级,第 279 行:附:一页速记
03. Agentic 轨迹数据合成调研报告:OS-Genesis × AgentTrek
路径:bytetech-community/讲座与论文/2412 - Agent Trajectory Synthesis - OS-Genesis与AgentTrek - GUI智能体轨迹数据合成调研/Agentic-轨迹数据合成调研报告.md
本机创建:2026-10-10 17:52:50;最后修改:2026-10-10 17:52:50;标题:71 条。
- 一级,第 1 行:Agentic 轨迹数据合成调研报告:OS-Genesis × AgentTrek
- 二级,第 11 行:第一部分:OS-Genesis 深度精读(ACL 2025)
- 三级,第 28 行:一、结论速览
- 三级,第 30 行:这篇论文真正解决了什么
- 三级,第 34 行:最重要的三个判断
- 三级,第 40 行:是否值得继续使用
- 三级,第 44 行:二、论文全景
- 三级,第 46 行:研究背景与问题
- 三级,第 52 行:核心贡献
- 三级,第 63 行:论文地图
- 三级,第 70 行:三、研究故事与论证链
- 三级,第 83 行:四、方法、理论或解释机制
- 三级,第 85 行:核心思想
- 三级,第 89 行:工作机制(三模块管线)
- 四级,第 102 行:逆向任务合成与完整轨迹生成:逐步拆解
- 三级,第 184 行:关键设计选择:为什么成立、依赖什么、去掉会怎样
- 三级,第 193 行:五、关键证据与实验结果
- 三级,第 195 行:主要结论—证据对应
- 三级,第 206 行:实验或材料设计
- 三级,第 214 行:最有说服力的结果
- 三级,第 220 行:反直觉结果与失效条件
- 三级,第 227 行:六、可信度、局限与复现边界
- 三级,第 229 行:证据最扎实的部分
- 三级,第 234 行:会影响解释的关键问题
- 三级,第 241 行:局限性
- 三级,第 257 行:复现与落地风险
- 三级,第 264 行:七、可复用洞察与研究行动
- 三级,第 266 行:值得复用
- 三级,第 273 行:不应直接照搬
- 三级,第 279 行:与用户课题的连接
- 三级,第 287 行:下一步研究问题
- 三级,第 294 行:建议行动顺序
- 三级,第 300 行:八、阅读范围与信息边界
- 二级,第 311 行:第二部分:AgentTrek 深度精读(ICLR 2025)
- 三级,第 324 行:2.1 结论速览
- 四级,第 326 行:这篇论文真正解决了什么
- 四级,第 330 行:最重要的三个判断
- 四级,第 336 行:是否值得继续使用
- 三级,第 340 行:2.2 论文全景
- 四级,第 342 行:研究背景与问题
- 四级,第 348 行:核心贡献
- 四级,第 360 行:论文地图
- 三级,第 367 行:2.3 研究故事与论证链
- 三级,第 380 行:2.4 方法、理论或解释机制
- 四级,第 382 行:核心思想
- 四级,第 386 行:工作机制(三阶段管线)
- 四级,第 412 行:三阶段管线逐环节拆解(贯穿示例:Under Armour 退货政策任务)
- 四级,第 446 行:关键设计选择:为什么成立、依赖什么、去掉会怎样
- 三级,第 457 行:2.5 关键证据与实验结果
- 四级,第 459 行:主要结论—证据对应
- 四级,第 470 行:实验或材料设计
- 四级,第 478 行:最有说服力的结果
- 四级,第 484 行:反直觉结果与失效条件
- 三级,第 492 行:2.6 可信度、局限与复现边界
- 四级,第 494 行:证据最扎实的部分
- 四级,第 500 行:会影响解释的关键问题
- 四级,第 508 行:局限性
- 四级,第 524 行:复现与落地风险
- 三级,第 531 行:2.7 可复用洞察与研究行动
- 四级,第 533 行:值得复用
- 四级,第 541 行:不应直接照搬
- 四级,第 547 行:与用户课题的连接
- 四级,第 554 行:下一步研究问题
- 四级,第 562 行:建议行动顺序
- 三级,第 568 行:2.8 阅读范围与信息边界
- 三级,第 324 行:2.1 结论速览
- 二级,第 578 行:第三部分:两方法综合对比与调研结论
- 三级,第 580 行:3.1 一句话对比
- 三级,第 584 行:3.2 核心维度对比
- 三级,第 600 行:3.3 融合方向(对 agentic 轨迹数据合成的实际建议)
- 三级,第 608 行:3.4 调研结论
- 二级,第 616 行:附录:一手材料与版本说明
- 二级,第 11 行:第一部分:OS-Genesis 深度精读(ACL 2025)
04. Cosmos World Foundation Model Platform for Physical AI(解读版)
路径:bytetech-community/讲座与论文/2501 - Cosmos - NVIDIA - 物理AI的世界基础模型平台/Cosmos World Foundation Model Platform for Physical AI-解读版.md
本机创建:2026-09-11 21:34:53;最后修改:2026-09-11 21:42:23;标题:16 条。
- 一级,第 1 行:Cosmos World Foundation Model Platform for Physical AI(解读版)
- 二级,第 3 行:元信息
- 二级,第 12 行:符号速查表
- 二级,第 48 行:一、研究问题与路线定位
- 二级,第 84 行:二、方法
- 三级,第 86 行:2.1 数据策展管线(§3)
- 三级,第 114 行:2.2 视频 Tokenizer(§4)
- 三级,第 142 行:2.3 预训练范式一:扩散 WFM(§5.1)
- 三级,第 164 行:2.4 预训练范式二:自回归 WFM(§5.2)
- 三级,第 182 行:2.5 后训练示例(§6)
- 三级,第 198 行:2.6 Guardrail(§7)
- 二级,第 202 行:三、实验设置与结果
- 二级,第 256 行:四、限制
- 二级,第 262 行:五、与其他世界模型路线的关系
- 二级,第 287 行:六、工程启示
- 二级,第 298 行:七、附:阅读原文的建议路径
05. V-JEPA 2(Self-Supervised Video Models Enable Understanding, Prediction and Planning)解读
路径:bytetech-community/讲座与论文/2506 - V-JEPA 2 - Meta AI - 百万小时视频自监督的世界模型用于理解与机器人规划/V-JEPA 2-解读版.md
本机创建:2026-09-11 21:33:43;最后修改:2026-09-11 21:39:45;标题:25 条。
- 一级,第 1 行:V-JEPA 2(Self-Supervised Video Models Enable Understanding, Prediction and Planning)解读
- 二级,第 3 行:元信息
- 二级,第 13 行:关键数字速览
- 二级,第 27 行:符号速查表
- 二级,第 54 行:论文结构导读(编者整理)
- 二级,第 66 行:1. 研究问题与路线定位
- 三级,第 68 行:1.1 研究问题
- 三级,第 74 行:1.2 路线定位:JEPA 与生成式世界模型的分歧(论文事实 + 作者观点)
- 三级,第 83 行:1.3 与相邻概念的对照
- 二级,第 95 行:2. 方法
- 三级,第 99 行:2.1 第一阶段:掩码去噪表征预测预训练
- 三级,第 139 行:2.2 第二阶段:V-JEPA 2-AC 动作条件世界模型
- 三级,第 151 行:2.3 规划:以能量最小化做模型预测控制
- 二级,第 171 行:3. 实验设置与结果
- 三级,第 173 行:3.1 理解:探针分类(论文事实)
- 三级,第 190 行:3.2 预测:EK100 动作预期(论文事实)
- 三级,第 198 行:3.3 视频问答:与 LLM 对齐(论文事实)
- 三级,第 215 行:3.4 规划:零样本机器人真机实验(论文事实)
- 三级,第 237 行:3.5 证据边界
- 二级,第 243 行:4. 限制(论文自述 + 编者整理)
- 二级,第 251 行:5. 与其他世界模型路线的关系
- 三级,第 253 行:5.1 与像素生成路线(Genie / Cosmos)的取舍
- 三级,第 267 行:5.2 与空间生成路线(Atlas / World Labs)的关系
- 二级,第 280 行:6. 工程启示
- 二级,第 293 行:附:参考
06. Atlas 技术解读(二次解读)
路径:bytetech-community/讲座与论文/260901 - Atlas世界模型 - World Labs - 统一生成重建与空间仿真/Atlas - A World Model for Spatial Intelligence-解读版.md
本机创建:2026-09-11 20:42:10;最后修改:2026-09-11 20:42:10;标题:16 条。
- 一级,第 1 行:Atlas 技术解读(二次解读)
- 二级,第 9 行:1. 系统定位
- 二级,第 23 行:2. 术语与概念
- 二级,第 45 行:3. 架构解读
- 二级,第 61 行:4. 能力逐项分析
- 三级,第 63 行:4.1 相机可控生成
- 三级,第 70 行:4.2 空间重建
- 三级,第 76 行:4.3 时空仿真
- 三级,第 82 行:4.4 图像生成
- 二级,第 86 行:5. 基准结果与证据强度
- 三级,第 88 行:5.1 相机控制人偏测试
- 三级,第 94 行:5.2 稀疏视角重建
- 三级,第 100 行:5.3 Scaling 声明
- 二级,第 104 行:6. 与其他世界模型范式的对照
- 二级,第 115 行:7. 证据支持与不支持的内容
- 二级,第 129 行:8. 工程启示
07. Atlas: A World Model for Spatial Intelligence
路径:bytetech-community/讲座与论文/260901 - Atlas世界模型 - World Labs - 统一生成重建与空间仿真/Atlas - A World Model for Spatial Intelligence.md
本机创建:2026-09-11 20:39:25;最后修改:2026-09-11 23:51:11;标题:18 条。
- 一级,第 1 行:Atlas: A World Model for Spatial Intelligence
- 二级,第 53 行:Camera-Controlled Generation
- 三级,第 66 行:Pixel-Perfect Camera Control
- 三级,第 82 行:Generating with Spatial Context
- 三级,第 100 行:Controllable Long Videos
- 二级,第 116 行:Spatial Reconstruction
- 三级,第 125 行:Reconstructing from Multiple Images
- 三级,第 159 行:Reconstructing Diverse Paths
- 三级,第 173 行:Explicit 3D Outputs
- 二级,第 210 行:Space-Time Simulation
- 三级,第 218 行:Reframing Video
- 三级,第 237 行:Robotics Simulation
- 二级,第 276 行:Image Generation
- 二级,第 289 行:Technical Details
- 三级,第 291 行:Model Architecture
- 三级,第 336 行:Benchmarks
- 三级,第 388 行:Model Scaling
- 二级,第 401 行:Build with Atlas
- 二级,第 53 行:Camera-Controlled Generation
08. On-Policy Distillation:OPD 和 SFT/RL 比较
路径:bytetech-community/AI工程/框架与调研/260831 - On-Policy Distillation - ByteTech - 比较OPD与SFT和RL监督信号/On-Policy Distillation:OPD 和 SFT RL 比较.md
本机创建:2026-09-11 15:31:59;最后修改:2026-09-11 20:33:40;标题:32 条。
- 一级,第 4 行:On-Policy Distillation:OPD 和 SFT/RL 比较
- 二级,第 6 行:符号速查表
- 二级,第 47 行:预备知识:KL 散度与 Forward / Reverse KL
- 三级,第 55 行:Forward KL:$D_{KL}(P | Q)$
- 三级,第 61 行:Reverse KL:$D_{KL}(Q | P)$
- 三级,第 67 行:公式细节:为什么乘 Q(x)、为什么用 log
- 四级,第 71 行:为什么要乘 Q(x)
- 四级,第 87 行:为什么要用 log
- 四级,第 110 行:为什么整体一定非负:Jensen 不等式
- 三级,第 192 行:对比总结
- 二级,第 202 行:预备知识:自回归分解
- 一级,第 226 行:问题定义
- 二级,第 242 行:SFT
- 二级,第 256 行:Outcome-Reward RL
- 二级,第 270 行:OPD 的 Sequence-level Objective
- 三级,第 311 行:Teacher 作为稠密隐式 Reward
- 一级,第 323 行:Full-vocabulary、Sampled-token 与 Top-K OPD
- 二级,第 325 行:Full-vocabulary OPD
- 二级,第 333 行:Sampled-token OPD
- 二级,第 351 行:Top-K OPD
- 一级,第 361 行:OPD 与 SFT 和 Outcome-Reward RL对比
- 二级,第 363 行:为什么 OPD 相比 SFT 更有效
- 三级,第 365 行:训练状态分布从 Teacher 变为 Student
- 三级,第 377 行:OPD 不能完全替代 SFT
- 二级,第 421 行:为什么 OPD 相比 Outcome-Reward RL 更高效
- 三级,第 423 行:监督密度不同
- 三级,第 435 行:OPD 与 RL 优化的目标不同
- 二级,第 363 行:为什么 OPD 相比 SFT 更有效
- 一级,第 445 行:OPD 的应用
- 三级,第 457 行:应用场景详解:Teacher 不一定是更大的模型
- 一级,第 482 行:局限
- 一级,第 486 行:结论
- 一级,第 496 行:参考文献
09. 大模型训练与推理搜索术语体系及 Judge-Fix 链路搜索升级方案
路径:bytetech-community/AI工程/框架与调研/260901 - 训练与推理搜索术语 - 综合整理 - 映射Judge-Fix链路升级/大模型训练推理术语体系与judge-fix链路搜索升级方案.md
本机创建:2026-09-02 15:45:50;最后修改:2026-09-02 15:56:54;标题:58 条。
- 一级,第 1 行:大模型训练与推理搜索术语体系及 Judge-Fix 链路搜索升级方案
- 二级,第 7 行:目录
- 二级,第 45 行:1. 大模型后训练核心术语体系
- 三级,第 47 行:1.1 CPT(Continued Pre-training,继续预训练)
- 三级,第 79 行:1.2 PRM(Process Reward Model,过程奖励模型)
- 三级,第 117 行:1.3 ORM(Outcome Reward Model,结果奖励模型)
- 三级,第 130 行:1.4 DPO(Direct Preference Optimization,直接偏好优化)
- 三级,第 153 行:1.5 GRPO(Group Relative Policy Optimization)
- 三级,第 170 行:1.6 MCTS(Monte Carlo Tree Search,蒙特卡洛树搜索)
- 二级,第 187 行:2. 关键概念对比与关系
- 三级,第 189 行:2.1 ORM vs 普通强化学习
- 三级,第 204 行:2.2 DPO vs GRPO:哪个是 on-policy
- 三级,第 224 行:2.3 Bradley-Terry 模型与 TrueSkill 的关系
- 三级,第 243 行:2.4 MC 方法与 TD 方法
- 三级,第 276 行:2.5 MCTS 与 GRPO rollout 的类比
- 三级,第 301 行:2.6 奖励模型本身的训练方式
- 二级,第 339 行:3. 推理时搜索(Test-Time Search)业界实践
- 三级,第 341 行:3.1 两种形态:外置搜索 vs 内化搜索
- 三级,第 354 行:3.2 成熟落地案例
- 四级,第 356 行:案例 1:rStar-Math(最典型的推理时 MCTS)
- 四级,第 365 行:案例 2:DeepMind AlphaProof + AlphaGeometry(天花板级)
- 四级,第 371 行:案例 3:HierFlow(2026,免训练的 test-time 搜索)
- 三级,第 377 行:3.3 通用场景的局限
- 二级,第 390 行:4. 本地 Judge-Fix 链路架构分析
- 三级,第 392 行:4.1 整体架构
- 三级,第 416 行:4.2 Judge 机制
- 三级,第 445 行:4.3 Fix 机制
- 三级,第 482 行:4.4 收敛控制与终末兜底
- 三级,第 510 行:4.5 核心问题:单路径贪心
- 三级,第 522 行:4.6 I2 配置组:实际 50 Case 实验基线
- 四级,第 526 行:I2 vs J10 关键配置对比
- 四级,第 537 行:I2 实验结果
- 四级,第 550 行:I2 的 17 条 E2E 失败归因
- 二级,第 574 行:5. Judge-Fix 链路搜索升级方案
- 三级,第 576 行:5.1 可行性分析
- 三级,第 594 行:5.2 Level 1:Best-of-N(推荐优先实施)
- 四级,第 598 行:具体实现步骤
- 四级,第 626 行:为什么这步收益最大
- 四级,第 632 行:成本估算
- 三级,第 644 行:5.3 Level 2:Beam Search(集束搜索)
- 三级,第 663 行:5.4 Level 3:MCTS / Tree of Thoughts
- 三级,第 682 行:5.5 需要注意的实际问题
- 四级,第 684 行:问题 1:成本控制(最重要)
- 四级,第 702 行:问题 2:Judge 的可靠性是天花板
- 四级,第 711 行:问题 3:状态去重
- 四级,第 720 行:问题 4:Patch 机制带来的状态管理复杂度
- 四级,第 727 行:问题 5:跨域依赖
- 三级,第 738 行:5.6 实施建议
- 四级,第 740 行:推荐路线:分阶段实施
- 四级,第 763 行:预期收益
- 四级,第 773 行:关键成功因素
- 三级,第 783 行:5.7 基于 I2 配置的差异化分析
- 四级,第 787 行:I2 配置下搜索的独特优势
- 四级,第 804 行:基于 I2 失败归因的差异化搜索策略
- 四级,第 815 行:预期收益估算(基于 I2 的 17 条失败)
- 四级,第 826 行:比搜索更优先的事情
- 四级,第 840 行:I2 vs J10 搜索升级优先级总结
- 二级,第 854 行:附录:术语速查表
10. 多臂老虎机与马尔可夫决策过程:从入门到体系
路径:bytetech-community/AI工程/框架与调研/260914 - 多臂老虎机与马尔可夫决策过程 - 系统整理 - 强化学习决策建模基础。/多臂老虎机与马尔可夫决策过程详解.md
本机创建:2026-09-14 20:55:33;最后修改:2026-09-14 20:59:11;标题:43 条。
- 一级,第 1 行:多臂老虎机与马尔可夫决策过程:从入门到体系
- 二级,第 3 行:符号速查表
- 二级,第 38 行:目录
- 二级,第 69 行:一、多臂老虎机(MAB)
- 三级,第 71 行:1.1 问题起源与定义
- 三级,第 86 行:1.2 核心矛盾:探索 vs 利用
- 三级,第 99 行:1.3 评价指标:遗憾值(Regret)
- 三级,第 113 行:1.4 经典算法详解
- 四级,第 117 行:(1)全知全能(Omniscient)—— 理论上界
- 四级,第 123 行:(2)随机策略(Random)—— 纯探索
- 四级,第 131 行:(3)贪婪策略(Greedy)—— 纯利用
- 四级,第 138 行:(4)ε-贪婪(ε-Greedy)—— 最简单的平衡
- 四级,第 149 行:(5)Softmax-贪婪(Softmax-Greedy)—— 探索时也带倾向性
- 四级,第 160 行:(6)ε-下降(ε-Decreasing)—— 动态调整探索率
- 四级,第 168 行:(7)汤普森采样(Thompson Sampling)—— 贝叶斯概率匹配
- 四级,第 196 行:(8)UCB(Upper Confidence Bound,上置信界)—— 乐观面对未知
- 三级,第 217 行:1.5 算法性能对比汇总
- 三级,第 234 行:1.6 实际应用场景
- 二级,第 254 行:二、马尔可夫决策过程(MDP)
- 三级,第 256 行:2.1 从马尔可夫链到 MDP:逐层加要素
- 四级,第 260 行:第 1 层:马尔可夫链(Markov Chain)
- 四级,第 269 行:第 2 层:马尔可夫奖励过程(MRP)
- 四级,第 281 行:第 3 层:马尔可夫决策过程(MDP)
- 三级,第 289 行:2.2 MDP 的五元组与核心概念
- 四级,第 301 行:关键派生概念
- 三级,第 334 行:2.3 单状态 MDP = 多臂老虎机
- 三级,第 354 行:2.4 中间形态:Contextual Bandit
- 三级,第 256 行:2.1 从马尔可夫链到 MDP:逐层加要素
- 二级,第 373 行:三、马尔可夫性深度解析
- 三级,第 375 行:3.1 公式拆解
- 三级,第 387 行:3.2 通俗理解与例子
- 四级,第 395 行:满足马尔可夫性的例子:棋盘游戏
- 四级,第 404 行:不满足马尔可夫性的例子:生病吃药
- 三级,第 413 行:3.3 为什么这个假设重要?
- 三级,第 433 行:3.4 现实中不满足怎么办?
- 二级,第 445 行:四、MDP 的扩展家族
- 三级,第 449 行:4.1 POMDP(部分可观测 MDP)
- 三级,第 457 行:4.2 多智能体 MDP
- 三级,第 464 行:4.3 SMDP(半马尔可夫决策过程)
- 三级,第 471 行:4.4 CMDP(约束 MDP)
- 三级,第 478 行:4.5 平均奖励 MDP
- 三级,第 484 行:4.6 鲁棒 MDP
- 二级,第 492 行:五、MDP 与强化学习的关系
- 二级,第 503 行:六、一句话总结
11. GRPO 及其变体系统教程:从强化学习基础到业务落地
路径:bytetech-community/AI工程/框架与调研/260916 - 强化学习基础从Markov到GRPO - 系统整理 - 从马尔可夫性质到GRPO变体的完整推导与业务落地。/260916 - GRPO及其变体系统教程 - 系统整理 - 从RL基础到GRPO公式推导、12+变体对比与Base AI落地。.md
本机创建:2026-09-16 18:07:50;最后修改:2026-09-16 18:07:50;标题:63 条。
- 一级,第 1 行:GRPO 及其变体系统教程:从强化学习基础到业务落地
- 二级,第 7 行:目录
- 二级,第 44 行:一、强化学习基础
- 三级,第 48 行:1.1 强化学习的基本框架
- 三级,第 63 行:1.2 马尔可夫决策过程
- 三级,第 79 行:1.3 策略、回报与价值函数
- 四级,第 81 行:策略
- 四级,第 90 行:回报
- 四级,第 98 行:状态价值函数与动作价值函数
- 四级,第 112 行:优势函数
- 三级,第 120 行:1.4 策略梯度方法
- 四级,第 124 行:策略梯度定理
- 四级,第 138 行:REINFORCE 算法
- 三级,第 148 行:1.5 PPO:近端策略优化
- 四级,第 152 行:重要性采样
- 四级,第 160 行:PPO 的 Clip 目标函数
- 四级,第 174 行:价值网络与 GAE
- 四级,第 191 行:PPO 的完整训练流程
- 三级,第 210 行:1.6 PPO 在大语言模型中的问题
- 二级,第 222 行:二、GRPO:组相对策略优化详解
- 三级,第 224 行:2.1 GRPO 的核心思想
- 三级,第 234 行:2.2 GRPO 的完整公式推导
- 四级,第 236 行:采样与奖励
- 四级,第 250 行:组内优势估计
- 四级,第 266 行:GRPO 的目标函数
- 四级,第 286 行:KL 散度的估计形式
- 三级,第 294 行:2.3 GRPO 的三个 Policy 角色
- 三级,第 306 行:2.4 GRPO 的完整训练流程
- 三级,第 331 行:2.5 GRPO 暴露的六大问题
- 四级,第 335 行:问题一:长度偏置(Length Bias)
- 四级,第 341 行:问题二:难度偏置(Difficulty Bias)
- 四级,第 350 行:问题三:训练不稳定(Training Instability)
- 四级,第 354 行:问题四:裁剪丢梯度(Clip Kills Gradients)
- 四级,第 358 行:问题五:奖励信息过粗(Coarse Reward)
- 四级,第 362 行:问题六:多奖励塌缩(Multi-Reward Collapse)
- 二级,第 370 行:三、GRPO 变体详解
- 三级,第 372 行:3.1 变体全景总览
- 三级,第 404 行:3.2 路线一:工程系统与大规模稳定
- 四级,第 406 行:DAPO:Dynamic Sampling + Adaptive Clipping + Policy Optimization
- 四级,第 440 行:GSPO:Group Sequence-level Policy Optimization
- 四级,第 460 行:Dr. GRPO:诊断与修复
- 三级,第 468 行:3.3 路线二:偏置修正与极简化
- 四级,第 470 行:GFPO:Group Flow Policy Optimization
- 三级,第 482 行:3.4 路线三:优化粒度(序列级 vs token 级)
- 四级,第 484 行:CISPO:Critical-token Importance Sampling Policy Optimization
- 四级,第 496 行:SPO+:Sequence-level Policy Optimization Plus
- 三级,第 500 行:3.5 路线四:采样/数据/难度自适应
- 三级,第 507 行:3.6 路线五:多奖励解耦
- 四级,第 509 行:GDPO:Group Direct Preference Optimization
- 四级,第 521 行:MCPO:Multi-Constraint Policy Optimization
- 三级,第 525 行:3.7 路线六:价值回归(VAPO)
- 三级,第 537 行:3.8 其他前沿变体
- 三级,第 546 行:3.9 变体选型速查
- 二级,第 560 行:四、对 Base AI 业务的落地价值
- 三级,第 562 行:4.1 业务场景与 GRPO 痛点的对应
- 三级,第 575 行:4.2 DAPO:最值得优先落地的"GRPO++"
- 三级,第 589 行:4.3 VAPO:长输出信用分配的终极方案
- 三级,第 600 行:4.4 GDPO:多奖励训练的解耦方案
- 三级,第 611 行:4.5 GSPO:MoE 训练稳定性保障
- 三级,第 617 行:4.6 Dr. GRPO / GFPO:控制长度膨胀
- 三级,第 627 行:4.7 CISPO:保护 Auto-Thinking 的关键反思 token
- 三级,第 637 行:4.8 推荐落地路径
- 二级,第 655 行:参考资料
12. Markov 家族算法系统教程:从马尔可夫性质到 MDP、HMM 与 MCMC
路径:bytetech-community/AI工程/框架与调研/260916 - 强化学习基础从Markov到GRPO - 系统整理 - 从马尔可夫性质到GRPO变体的完整推导与业务落地。/260916 - Markov家族算法系统教程 - 系统整理 - 从马尔可夫性质到马尔可夫链、HMM、MDP、POMDP与MCMC。.md
本机创建:2026-09-16 18:15:01;最后修改:2026-09-16 18:15:01;标题:56 条。
- 一级,第 1 行:Markov 家族算法系统教程:从马尔可夫性质到 MDP、HMM 与 MCMC
- 二级,第 7 行:目录
- 二级,第 40 行:一、马尔可夫性质与马尔可夫链
- 三级,第 44 行:1.1 马尔可夫性质
- 三级,第 65 行:1.2 离散时间马尔可夫链
- 四级,第 69 行:定义
- 四级,第 114 行:齐次与非齐次马尔可夫链
- 四级,第 120 行:n 步转移概率
- 四级,第 214 行:状态转移图示例
- 三级,第 240 行:1.3 马尔可夫链的状态分类
- 四级,第 244 行:常返态与瞬态
- 四级,第 249 行:周期与非周期
- 四级,第 273 行:吸收态
- 四级,第 277 行:不可约与遍历
- 三级,第 354 行:1.4 平稳分布与细致平衡
- 四级,第 356 行:平稳分布
- 四级,第 420 行:细致平衡
- 二级,第 466 行:二、隐马尔可夫模型(HMM)
- 三级,第 470 行:2.1 HMM 的定义
- 三级,第 535 行:2.2 HMM 的两个基本假设
- 三级,第 558 行:2.3 HMM 的三个基本问题
- 四级,第 568 行:问题一:评估问题与前向算法
- 四级,第 619 行:问题二:解码问题与 Viterbi 算法
- 四级,第 661 行:问题三:学习问题与 Baum-Welch 算法
- 三级,第 695 行:2.4 HMM 的应用与局限
- 二级,第 712 行:三、马尔可夫决策过程(MDP)
- 三级,第 716 行:3.1 MDP 的定义
- 三级,第 728 行:3.2 策略、回报与价值函数
- 四级,第 730 行:策略
- 四级,第 747 行:回报
- 四级,第 762 行:状态价值函数
- 四级,第 774 行:动作价值函数
- 四级,第 782 行:优势函数
- 三级,第 790 行:3.3 贝尔曼方程
- 四级,第 794 行:贝尔曼期望方程
- 四级,第 815 行:贝尔曼最优方程
- 三级,第 833 行:3.4 动态规划求解 MDP
- 四级,第 837 行:策略迭代
- 四级,第 851 行:值迭代
- 三级,第 863 行:3.5 MDP 与强化学习算法的关系
- 二级,第 878 行:四、部分可观测马尔可夫决策过程(POMDP)
- 三级,第 882 行:4.1 POMDP 的定义
- 三级,第 896 行:4.2 信念状态
- 三级,第 923 行:4.3 POMDP 与 LLM Agent 的联系
- 二级,第 936 行:五、马尔可夫链蒙特卡洛(MCMC)
- 三级,第 940 行:5.1 为什么需要 MCMC
- 三级,第 952 行:5.2 MCMC 的基本原理
- 三级,第 974 行:5.3 Metropolis-Hastings 算法
- 三级,第 1000 行:5.4 Gibbs 采样
- 三级,第 1018 行:5.5 MCMC 的实践要点
- 三级,第 1025 行:5.6 MCMC 在机器学习中的应用
- 二级,第 1034 行:六、Markov 家族算法关系图谱与总结
- 三级,第 1036 行:6.1 家族关系图谱
- 三级,第 1053 行:6.2 各算法的核心对比
- 三级,第 1063 行:6.3 在 LLM/RL 中的交织
- 二级,第 1077 行:参考资料
13. 01 · PPO / GRPO 与熵控制
路径:bytetech-community/AI工程/框架与调研/260922 - GRPO变体知识图谱 - 系统整理 - 从PPO到熵控制与On-Policy蒸馏的完整后训练图谱/01-PPO-GRPO-与熵控制.md
本机创建:2026-09-22 18:01:24;最后修改:2026-09-22 18:01:24;标题:33 条。
- 一级,第 1 行:01 · PPO / GRPO 与熵控制
- 二级,第 5 行:3. PPO 详解
- 三级,第 7 行:3.1 Actor-Critic 框架
- 三级,第 16 行:3.2 重要性采样比率
- 三级,第 22 行:3.3 PPO-Clip 损失函数
- 三级,第 30 行:3.4 KL 惩罚
- 三级,第 36 行:3.5 PPO 在大模型场景的痛点
- 二级,第 43 行:4. GRPO 详解
- 三级,第 45 行:4.1 核心思路:干掉 Critic
- 三级,第 49 行:4.2 组内相对优势
- 三级,第 57 行:4.3 损失函数
- 三级,第 63 行:4.4 GRPO 的新问题
- 三级,第 69 行:4.5 Reward / Advantage 粒度谱系
- 三级,第 84 行:4.6 VAPO:把 critic 请回来,但只做轻量版
- 二级,第 107 行:5. 与熵相关的 GRPO 变体
- 三级,第 109 行:5.1 DAPO —— GRPO 的稳定改进版
- 四级,第 113 行:5.1.1 Clip-Higher:非对称 clip 防熵崩
- 四级,第 126 行:5.1.2 Dynamic Sampling:丢无效组
- 四级,第 132 行:5.1.3 Token-Level Policy Gradient Loss:治长度偏置
- 四级,第 146 行:5.1.4 Overlong Reward Shaping:治超长截断
- 四级,第 150 行:5.1.5 一句话总结
- 三级,第 154 行:5.2 GTPO —— Token 级熵加权
- 三级,第 160 行:5.3 GRPO-S —— Sequence 级熵加权
- 三级,第 164 行:5.4 EP-GRPO —— 熵门控 + 策略散度
- 三级,第 170 行:5.5 CE-GPPO —— 修正 DAPO 的熵爆炸
- 三级,第 174 行:5.6 EARL —— 熵 Mask 精准探索
- 三级,第 178 行:三条技术路线总结
- 三级,第 109 行:5.1 DAPO —— GRPO 的稳定改进版
- 二级,第 188 行:6. 熵崩溃:如何监控
- 三级,第 190 行:一级指标:策略熵曲线
- 三级,第 198 行:二级辅助指标
- 三级,第 208 行:陷阱指标:模板崩溃
- 三级,第 212 行:组合预警信号
- 二级,第 218 行:7. 策略熵的统计粒度
- 二级,第 5 行:3. PPO 详解
14. 02 · CodeAct 与 Agent 工程
路径:bytetech-community/AI工程/框架与调研/260922 - GRPO变体知识图谱 - 系统整理 - 从PPO到熵控制与On-Policy蒸馏的完整后训练图谱/02-CodeAct-与Agent工程.md
本机创建:2026-09-22 17:43:04;最后修改:2026-09-22 17:43:04;标题:12 条。
- 一级,第 1 行:02 · CodeAct 与 Agent 工程
- 二级,第 5 行:8. CodeAct 与沙箱基础概念
- 三级,第 7 行:8.1 CodeAct 架构
- 三级,第 18 行:8.2 SDK 是什么
- 三级,第 22 行:8.3 TypeScript 代码是什么
- 三级,第 26 行:8.4 tsc 类型检查是什么
- 三级,第 34 行:8.5 如何操作真实 Base
- 三级,第 49 行:8.6 沙箱是什么
- 二级,第 55 行:9. TypeScript vs Python:为什么选 TS
- 二级,第 68 行:10. Function Calling vs CodeAct
- 二级,第 79 行:11. SDK 与编程语言的关系
- 二级,第 87 行:12. Batch 概念
- 二级,第 5 行:8. CodeAct 与沙箱基础概念
15. 03 · On-Policy Distillation 家族
路径:bytetech-community/AI工程/框架与调研/260922 - GRPO变体知识图谱 - 系统整理 - 从PPO到熵控制与On-Policy蒸馏的完整后训练图谱/03-On-Policy-Distillation家族.md
本机创建:2026-09-22 17:43:04;最后修改:2026-09-22 17:43:04;标题:26 条。
- 一级,第 1 行:03 · On-Policy Distillation 家族
- 二级,第 5 行:13. On-Policy Distillation 家族:与 GRPO 平行的另一条后训练线
- 三级,第 9 行:13.1 散度三选一:Forward KL / Reverse KL / JSD
- 三级,第 21 行:13.2 OPD 家族树
- 三级,第 48 行:13.3 关键方法速查
- 三级,第 62 行:13.4 OPCD vs SD-RLVR:privileged 老师的两种用法(面试高频对比)
- 三级,第 76 行:13.5 全景对比:蒸馏线 vs RLVR 线
- 三级,第 89 行:13.6 三个面试 takeaway
- 二级,第 97 行:14. SDPO 详解:环境反馈如何变成 dense 监督
- 三级,第 101 行:14.1 先澄清:student 训练时看不到 f
- 三级,第 123 行:14.2 损失函数与优势函数
- 三级,第 143 行:14.3 反馈 f 装什么
- 三级,第 152 行:14.4 工程实现要点
- 三级,第 163 行:14.5 实验效果
- 三级,第 170 行:14.6 GRPO + SDPO 加权:什么时候才需要
- 三级,第 189 行:14.7 为什么论文标题没写"环境反馈"
- 二级,第 199 行:15. 信息不对称风险与 RLSD / SRPO
- 三级,第 201 行:15.1 Privileged Information Asymmetry 是什么
- 三级,第 209 行:15.2 为什么直接分布匹配一定会泄漏
- 三级,第 213 行:15.3 落地已经踩过的坑
- 三级,第 222 行:15.4 三种缓解思路
- 三级,第 230 行:15.5 RLSD:teacher 只调幅度,方向归 verifier
- 三级,第 257 行:15.6 SRPO:让每个 sample 自己选走哪条路
- 三级,第 285 行:15.7 OPCD / OPSD / SDPO 三方对比
- 三级,第 302 行:15.8 演进逻辑
- 二级,第 310 行:参考资料
- 二级,第 5 行:13. On-Policy Distillation 家族:与 GRPO 平行的另一条后训练线
16. On-Policy Distillation 方法辨析:OPSD / OPCD / SDPO 与 KL 方向
路径:bytetech-community/AI工程/框架与调研/260924 - On-Policy Distillation方法辨析 - 内部讨论 - OPSD OPCD SDPO与KL方向/On-Policy Distillation方法辨析:OPSD OPCD SDPO与KL方向.md
本机创建:2026-09-24 18:56:33;最后修改:2026-09-24 18:56:33;标题:19 条。
- 一级,第 1 行:On-Policy Distillation 方法辨析:OPSD / OPCD / SDPO 与 KL 方向
- 二级,第 5 行:一句话
- 二级,第 15 行:1. 三者到底差在哪
- 二级,第 25 行:2. Forward KL vs Reverse KL:这是另一个维度
- 三级,第 27 行:2.1 符号
- 三级,第 37 行:2.2 两种方向
- 三级,第 46 行:2.3 原论文各自选了什么
- 三级,第 52 行:2.4 关键认知:算法名 ≠ KL 方向
- 二级,第 63 行:3. 为什么 OPSD 倾向 forward KL
- 二级,第 72 行:4. Teacher 能不能换成更强的模型
- 二级,第 81 行:5. 落到 Rubric Judge 任务
- 三级,第 83 行:5.1 当前设定
- 三级,第 90 行:5.2 为什么 OPCD 框架选对了
- 三级,第 94 行:5.3 但 reverse KL + task_reward_coef=0 对"找全问题"不利
- 三级,第 100 行:5.4 Forward KL 能解决问题吗
- 三级,第 108 行:5.5 给 teacher 加"答案提示"能不能救 recall
- 二级,第 119 行:6. 评测指标(别只看平均分)
- 二级,第 132 行:7. 实验建议(按优先级)
- 二级,第 141 行:参考材料
17. StartLux-Decision 与类 Jev 决策模型:候选项读出、训练、校准与 RLCR
路径:bytetech-community/AI工程/框架与调研/261009 - StartLux-Decision - StartLuxLabs - 类Jev候选项决策与概率校准/StartLux-Decision与类Jev决策模型解读.md
本机创建:2026-10-09 20:31:21;最后修改:2026-10-09 21:30:18;标题:36 条。
- 一级,第 1 行:StartLux-Decision 与类 Jev 决策模型:候选项读出、训练、校准与 RLCR
- 二级,第 18 行:本轮问题总览
- 二级,第 32 行:符号速查表
- 二级,第 58 行:一、StartLux-Decision 是什么
- 二级,第 79 行:二、候选字母 logits 读出
- 二级,第 140 行:三、交叉熵是什么,如何推动训练
- 二级,第 213 行:四、温度缩放与概率校准
- 二级,第 248 行:五、Pointer / option representation
- 二级,第 308 行:六、完全不训练的 training-free readout 有什么问题
- 三级,第 320 行:1. 位置偏差
- 三级,第 324 行:2. 标签先验
- 三级,第 328 行:3. 条件概率造成的假高置信度
- 三级,第 334 行:4. 没有学会决策格式
- 三级,第 338 行:5. 没有吸收领域规则
- 三级,第 342 行:6. 直接读出不包含额外推理
- 三级,第 346 行:AnyJev 的改进
- 二级,第 368 行:七、类 Jev 方法的主要路线
- 三级,第 372 行:1. 答案读出
- 三级,第 380 行:2. 模型训练
- 三级,第 388 行:3. 概率处理
- 二级,第 397 行:八、RLCR 与“高斯扰动后按奖励优化”的关系
- 三级,第 433 行:这种思想以前有没有类似方法
- 二级,第 447 行:九、推理优化
- 二级,第 474 行:十、StartLux 与 Jev 的准确率比较如何理解
- 二级,第 509 行:十一、工程采用建议
- 二级,第 521 行:十二、相关经典方法参考
- 二级,第 533 行:十三、原始会话中的问题与解答
- 三级,第 537 行:问题 1: “分析一下这个项目:https://github.com/StartLuxLabs/Startlux-Decision”
- 三级,第 541 行:问题 2: “他这个是用的啥模型啊,qwen 继续训练的吗?此外他这个是直接取 logprob?怎么训练的啊,和 jev 有啥区别,如何理解比 jev 准确率高”
- 三级,第 549 行:问题 3: “在候选字母上计算 softmax,然后对目标分布做交叉熵,具体解释一下?此外推理优化指的是啥,它咋优化的”
- 三级,第 553 行:问题 4: “要具体解释 softmax 的公式,此外为啥训练会推动模型提高正确选项字母的 logit,正确答案概率里面的 0.99 是啥。此外温度缩放是啥,比如用户指定的温度高,那么生成的内容就相对来说更发散一些?还是说逆向校准用户输入的温度”
- 三级,第 571 行:问题 5: “再解释一下交叉熵函数,以及如何起作用的,我还是没看明白”
- 三级,第 575 行:问题 6: “L=-∑ yᵢlog pᵢ 这个怎么读,此外现在类 Jev 的模型公开的流程有哪些方法,是不是这种用 logits 和校准的方式是一种类别?”
- 三级,第 585 行:问题 7: “方法 C:pointer / option representation 具体介绍一下。此外完全不训练 training-free readout 的问题是啥?AnyJev 怎么说的?此外交叉熵是不是最常见的损失函数啊,然后方法 D 也详细介绍一下”
- 三级,第 593 行:问题 8: “这种加高斯扰动再优化扰动方向的强化学习之前有类似的方式吗(哪怕不是这个 Jev 任务)”
- 三级,第 597 行:问题 9: “上面的所有回答形成一个 md 吧……放到 dev 知识库合适的位置”以及目录修正
18. 《Why DPO is a Misspecified Estimator and How to Fix It》深度解读
路径:bytetech-community/AI工程/论文解读/251023 - AuxDPO - IISc - 修正参数化策略下DPO错配估计/ICLR 2026 Oral:DPO 从一开始就是错的!-解读版.md
本机创建:2026-09-10 14:58:49;最后修改:2026-09-10 15:29:47;标题:13 条。
- 一级,第 1 行:《Why DPO is a Misspecified Estimator and How to Fix It》深度解读
- 二级,第 7 行:结论先行
- 二级,第 15 行:术语与实验角色
- 二级,第 36 行:DPO 的几何刻画:从监督损失到加权 KL 投影
- 二级,第 60 行:局部线性化:DPO 和 RLHF 各自看见什么
- 二级,第 82 行:反例:为什么能力受限会让 DPO 学到相反顺序
- 二级,第 102 行:AuxDPO:给不可表达分量一个受控出口
- 二级,第 130 行:实验证据:提升集中在 OOD 和低容量设置
- 二级,第 159 行:对公众号转述的校正
- 二级,第 165 行:限制与未解决问题
- 二级,第 174 行:工程检查清单
- 二级,第 183 行:最小可复现实验
- 二级,第 187 行:参考材料
19. ICLR 2026 Oral:DPO 从一开始就是错的!
路径:bytetech-community/AI工程/论文解读/251023 - AuxDPO - IISc - 修正参数化策略下DPO错配估计/ICLR 2026 Oral:DPO 从一开始就是错的!.md
本机创建:2026-09-10 14:47:56;最后修改:2026-09-10 14:47:56;标题:1 条。
- 一级,第 1 行:ICLR 2026 Oral:DPO 从一开始就是错的!
20. Trace as State:前置推理轨迹,引导长上下文重读
路径:bytetech-community/AI工程/论文解读/260902 - Trace as State - 清华大学 - 前置推理轨迹引导长上下文重读/智谱&清华提出推理新范式:无需训练,DeepSeek V4 GLM-5.2 长文本推理效果暴涨-解读版.md
本机创建:2026-09-15 16:06:42;最后修改:2026-09-15 16:06:42;标题:7 条。
- 一级,第 1 行:Trace as State:前置推理轨迹,引导长上下文重读
- 二级,第 3 行:符号速查表
- 二级,第 22 行:1. 方法与输入布局
- 二级,第 46 行:2. 因果注意力与理论边界
- 二级,第 60 行:3. 实验阅读口径
- 二级,第 73 行:4. 成本与接口限制
- 二级,第 81 行:5. 归档与来源
21. 智谱&清华提出推理新范式:无需训练,DeepSeek V4/GLM-5.2 长文本推理效果暴涨
路径:bytetech-community/AI工程/论文解读/260902 - Trace as State - 清华大学 - 前置推理轨迹引导长上下文重读/智谱&清华提出推理新范式:无需训练,DeepSeek V4 GLM-5.2 长文本推理效果暴涨.md
本机创建:2026-09-15 16:03:48;最后修改:2026-09-15 16:03:48;标题:10 条。
- 一级,第 1 行:智谱&清华提出推理新范式:无需训练,DeepSeek V4/GLM-5.2 长文本推理效果暴涨
- 二级,第 30 行:一、输入顺序与推理顺序的错配
- 二级,第 40 行:二、方法:Trace as State
- 二级,第 52 行:三、理论:条件状态更新与指数级内存分离
- 二级,第 66 行:四、实验设置
- 二级,第 82 行:五、主结果:27 赢 26
- 二级,第 94 行:六、消融:排除替代解释
- 二级,第 108 行:七、难度剖析与统计显著性
- 二级,第 134 行:八、成本
- 二级,第 142 行:最后
22. S-Space 深化解读:多模态模型里的可读写空间工作区
路径:bytetech-community/AI工程/论文解读/260907 - S-Space - MirroS - 探测多模态模型空间工作区/S-Space-深度精读报告-深化版.md
本机创建:2026-09-10 15:16:25;最后修改:2026-09-11 23:44:34;标题:19 条。
- 一级,第 1 行:S-Space 深化解读:多模态模型里的可读写空间工作区
- 二级,第 7 行:0. 相对原稿,本版改动四处
- 二级,第 14 行:1. 材料身份与证据等级
- 二级,第 26 行:2. 总结论
- 二级,第 36 行:3. 方法细节:坐标轴不是训练出来的探针,而是从答案对比量反推
- 三级,第 38 行:3.1 基本对象
- 三级,第 52 行:3.2 Jacobian 与角色反对称
- 三级,第 80 行:3.3 数据规模与配置
- 三级,第 86 行:3.4 读出与干预
- 二级,第 103 行:4. 新增实测:三轴并不严格正交,但问题比原稿猜测的更分层
- 二级,第 127 行:5. 证据审计:每个结论到底由什么支撑
- 二级,第 144 行:6. SpinBench 三个百分数:计数、区间和可引用口径
- 二级,第 161 行:7. CoT 演化实验:代码证据比正文更保守
- 二级,第 172 行:8. 动作监督实验:只支持 depth 轴的局部改善
- 二级,第 178 行:9. 语言污染:哪些是真机制,哪些只是展示效果
- 二级,第 186 行:10. 可复现检查清单
- 二级,第 198 行:11. 工程使用边界
- 二级,第 212 行:12. 本版新增文件与计算口径
- 二级,第 221 行:13. 仍待核实
23. 《S-Space: Exploring Spatial Workspace in Multimodal Models》精读笔记
路径:bytetech-community/AI工程/论文解读/260907 - S-Space - MirroS - 探测多模态模型空间工作区/S-Space-深度精读报告.md
本机创建:2026-09-10 15:06:01;最后修改:2026-09-10 15:06:01;标题:32 条。
- 一级,第 1 行:《S-Space: Exploring Spatial Workspace in Multimodal Models》精读笔记
- 二级,第 14 行:一、先给结论
- 三级,第 16 行:它解决的是什么问题
- 三级,第 24 行:三个主要判断
- 三级,第 32 行:值不值得用
- 二级,第 41 行:二、论文全貌
- 三级,第 43 行:背景和缺口
- 三级,第 49 行:作者声称的贡献,和实际能确认的贡献
- 三级,第 59 行:论证结构
- 二级,第 73 行:三、研究故事
- 二级,第 81 行:四、方法拆解
- 三级,第 83 行:基本假设
- 三级,第 91 行:方向怎么求
- 三级,第 111 行:三个软处
- 三级,第 125 行:Jacobian 是怎么把空间方向算出来的(数值图解)
- 二级,第 151 行:五、证据与实验
- 三级,第 153 行:结论—证据对照
- 三级,第 169 行:两个百分数要小心读
- 三级,第 175 行:几处反直觉的结果
- 三级,第 185 行:代码仓库暴露的一处折扣
- 二级,第 189 行:六、可信度、局限与复现
- 三级,第 191 行:可以放心接受的部分
- 三级,第 195 行:按影响程度排的问题
- 三级,第 203 行:局限分三类
- 三级,第 211 行:复现条件
- 二级,第 225 行:七、可以拿走什么
- 三级,第 227 行:值得复用
- 三级,第 237 行:不能照搬
- 三级,第 241 行:它在文献里的位置
- 三级,第 247 行:后续问题
- 三级,第 259 行:行动顺序
- 二级,第 265 行:八、阅读范围说明
- 二级,第 14 行:一、先给结论
24. 火山方舟(Ark)使用指南
路径:engineering-basics/AI平台工具/火山方舟使用指南/火山方舟使用指南.md
本机创建:2026-09-01 21:00:15;最后修改:2026-09-01 21:00:15;标题:51 条。
- 一级,第 1 行:火山方舟(Ark)使用指南
- 二级,第 7 行:一、平台概述
- 三级,第 9 行:1.1 什么是火山方舟
- 三级,第 19 行:1.2 平台能力全景
- 二级,第 34 行:二、核心概念
- 三级,第 36 行:2.1 项目(Project)
- 三级,第 44 行:2.2 接入点(EP / Endpoint)
- 三级,第 57 行:2.3 TPM / RPM
- 三级,第 68 行:2.4 模型单元(Model Unit)
- 四级,第 72 行:关键特性
- 四级,第 79 行:方舟部署方式对比(按稳定性从低到高)
- 四级,第 87 行:模型单元的类型
- 四级,第 95 行:部署模板
- 三级,第 108 行:2.5 TPM 保障包
- 二级,第 123 行:三、完整使用流程
- 三级,第 125 行:3.1 第一步:创建项目
- 三级,第 134 行:3.2 第二步:获取 API Key
- 三级,第 144 行:3.3 第三步:选择模型
- 三级,第 161 行:3.4 第四步(可选):模型精调
- 四级,第 165 行:精调方式
- 四级,第 173 行:精调流程
- 四级,第 185 行:精调模型的使用
- 三级,第 195 行:3.5 第五步:创建在线推理接入点
- 四级,第 199 行:创建步骤
- 四级,第 212 行:购买方式选择
- 四级,第 220 行:精调模型的约束
- 四级,第 229 行:动态模型单元创建(新版)
- 三级,第 243 行:3.6 第六步:API 调用
- 四级,第 247 行:调用信息获取
- 四级,第 253 行:Python SDK 调用示例
- 四级,第 278 行:兼容 OpenAI SDK
- 三级,第 296 行:3.7 批量推理(可选)
- 四级,第 300 行:批量推理 vs 在线推理
- 四级,第 310 行:批量推理配额
- 二级,第 318 行:四、资源配额与成本
- 三级,第 320 行:4.1 配额申请原则
- 三级,第 327 行:4.2 资源计算步骤
- 三级,第 339 行:4.3 免费额度
- 二级,第 347 行:五、常见问题
- 三级,第 349 行:Q1:模型单元和 GPU 是什么关系?
- 三级,第 353 行:Q2:精调后的模型上线用公共池还是模型单元?
- 三级,第 359 行:Q3:TPM 和模型单元怎么换算?
- 三级,第 366 行:Q4:在线推理的模型服务背后是什么?
- 三级,第 374 行:Q5:模型精调和推理用的都是模型单元吗?
- 三级,第 383 行:Q6:按 Token 付费的公共池,一段时间不用会怎样?
- 三级,第 389 行:Q7:动态模型单元和弹性模型单元怎么选?
- 二级,第 398 行:六、最佳实践
- 三级,第 400 行:6.1 上线 Checklist
- 三级,第 412 行:6.2 成本优化建议
- 三级,第 421 行:6.3 性能优化建议
- 二级,第 430 行:参考资料
- 二级,第 7 行:一、平台概述
25. Bits Flux - 产品介绍 | Bits Flux - Product Introduction
路径:feishu-internal/基础设施/260526 - Bits Flux - Bits - 多人多Agent需求交付协作方案/Bits Flux - 产品介绍 Bits Flux - Product Introduction.md
本机创建:2026-09-11 21:35:20;最后修改:2026-09-11 21:35:20;标题:16 条。
- 一级,第 3 行:Bits Flux - 产品介绍 | Bits Flux - Product Introduction
- 一级,第 14 行:1. Bits Flux 是什么
- 二级,第 18 行:1.1 Bits Flux 想解决的核心问题
- 二级,第 31 行:1.2 Bits Flux 功能介绍
- 二级,第 37 行:1.3 Flux 与 Bits 的关系
- 一级,第 43 行:2. 核心概念
- 一级,第 70 行:3. 四大工作模式
- 二级,第 74 行:3.1 需求创作模式 · 面向从灵感到方案
- 二级,第 87 行:3.2 开发/测试模式 · 面向 RD 从需求到上线
- 二级,第 97 行:3.3 数据洞察模式 · 面向数据问答与归因
- 二级,第 109 行:3.4 自由探索模式 · 面向开放式任务与探索
- 一级,第 115 行:4. 协作:多人 + 多 Agent 的交付新范式
- 一级,第 134 行:5. 开放性设计:业务自建能力接入
- 一级,第 142 行:6. 产品形态
- 一级,第 154 行:交流反馈渠道
- 一级,第 162 行:欢迎加入我们,一起建设更加 AI Native 的产品!
26. Basics of LLM Post Training
路径:feishu-internal/Base-AI飞书文档合集/250331 - LLM Post Training基础 - SFT、PEFT、PPO、GRPO、DPO与KTO/Basics of LLM Post Training.md
本机创建:2026-09-02 15:00:09;最后修改:2026-09-02 15:00:09;标题:29 条。
- 一级,第 3 行:Basics of LLM Post Training
- 二级,第 5 行:SFT
- 二级,第 53 行:PEFT
- 二级,第 63 行:RLHF
- 三级,第 65 行:PPO
- 四级,第 67 行:Reward Model
- 四级,第 81 行:PPO算法
- 五级,第 85 行:Reinforce
- 五级,第 111 行:Actor-Critic
- 五级,第 131 行:Off-Policy
- 五级,第 141 行:Importance Sampling
- 五级,第 153 行:RLHF
- 六级,第 165 行:根据上面的原理部分,首先需要计算GAE:
- 六级,第 181 行:然后,更新actor模型:
- 六级,第 187 行:最后,更新critic模型:
- 三级,第 195 行:GRPO
- 三级,第 223 行:Reinforce++
- 三级,第 261 行:DAPO
- 三级,第 279 行:DPO
- 六级,第 283 行:一、从RLHF的目标函数去推导最优的策略(将KL展开, reward作为确定值, 策略作为求解的变量):
- 六级,第 297 行:二、把reward作为BT模型需要优化的参数,得到最终的loss function:
- 三级,第 317 行:KTO
- 三级,第 327 行:Conclusions
- 五级,第 329 行:1、Human Feedback不是必须的,比如如果是数学或者编程可以直接获得最终反馈的(结果对or错),就不用人工标注反馈信号了。
- 五级,第 331 行:2、Reward Model 也不是必须的,DPO和KTO可以不用显示的训练reward model,所以对于一些比较难以用准确衡量的优化目标(e.g.,reasoning, factuality, and instruction-following)可以用DPO去训练,而对于可以用reward衡量的目标(e.g.,truthfulness, helpfulness, conciseness, relevance, harmlessness and debiasing)可以使用PPO这样的强化学习,所以一般是post training阶段会使用两阶段训练(先offline-RL(DPO), 再online-RL(PPO) 参考《Qwen2.5 tech report》)。
- 五级,第 333 行:3、RLHF的发展趋势是朝着更简单更容易scale up的方向的,去掉critic model同时使用其他的一些tricks增加性能和稳定性,可以使得RL更容易训练。但是很多时候有些trick并不一定work的,还是要自己去实验才行。
- 五级,第 335 行:4、怎么通过RLHF有效学习多个preference目标呢?我们发现直接用一个reward model很多时候很难直接去学习,但是使用多个reward model的串行方法去学习时又会出现catastrophic forgetting的问题,所以我们的一篇paper讨论了这个问题,巧妙使用课程式构造多段对比数据可以实现另一种形式的rehearsal,从而在减少catastrophic forgetting的同时提升学习性能。(参考我们的paper 《Are U a Joke Master? Pun Generation via Multi-Stage Curriculum Learning towards a Humor LLM》 ACL findings 2024)
- 五级,第 337 行:5、Long CoT的训练从SFT模型开始还是从Base模型开始?从Base模型训练可以有更好的exploration,但是采样效率可能会低,可能会无法收敛;从SFT模型训练可以有更好的采样效率,更容易收敛,但是最终效果上可能会差一些。同样SFT和RL的对比上也有类似的结论:SFT更会memorize但是容易过拟合,RL更能泛化但是不容易收敛,所以可以结合起来使用(《SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training》)
- 五级,第 339 行:6、ORM vs PRM:在数学、coding等问题上,一般需要在Long CoT的训练数据上训练来提升推理效果,ORM只根据最终答案的正确性提供反馈,不关心推理过程;PRM对推理链中的每一步都提供反馈,确保整个思考过程正确。MCTS是一种对CoT的搜索策略。有以下结论:a、PRM的效果一般比ORM更好(符合直觉,PRM可以缓解”推理答案正确,但推理过程出现错误,但我们标注为正确”的情况),但是PRM的数据很难标注,因为要判断过程的好坏;所以从数据scaling的角度看ORM可能更适合Scale(参考 DeepSeek)。b、通过active learning标注难样本收益更大(符合直觉)(《Let's verify step by step》)c、PRM可以结合MCTS达到更好的效果(《rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking》)d、采用PRM和ORM的两段式监督会不会有更好的效果???(待验证),e、推理步骤的在隐空间进行是否就足够(参考Coconut),除了显示推理的压缩,有没有办法直接在隐空间推理?
- 三级,第 65 行:PPO
27. 多维表格 Code Agent 训练体系与 Auto-Thinking 完整解析
路径:feishu-internal/Base-AI飞书文档合集/260730 - Auto-Thinking - 用SFT与RL优化CodeAgent/多维表格CodeAgent训练体系与Auto-Thinking完整解析.md
本机创建:2026-09-13 11:52:42;最后修改:2026-09-14 17:21:35;标题:346 条。
- 一级,第 1 行:多维表格 Code Agent 训练体系与 Auto-Thinking 完整解析
- 二级,第 9 行:目录
- 一级,第 54 行:第一部分:多维表格 Code Agent 训练体系总览
- 二级,第 56 行:一、核心架构:CodeAct
- 三级,第 60 行:执行链路
- 三级,第 68 行:CodeAct vs Function Calling
- 三级,第 77 行:关键组件
- 二级,第 84 行:二、数据合成方案
- 三级,第 88 行:1. 多 Agent 协作合成
- 三级,第 107 行:2. 蒸馏数据提取
- 三级,第 120 行:3. 数据增强策略
- 二级,第 127 行:三、训练方法论体系
- 三级,第 129 行:1. 直接 SFT(基线方法)
- 三级,第 133 行:2. 课程训练(当前主力,5 月建立)
- 三级,第 148 行:3. 多阶段混合训练(方法论指导)
- 三级,第 158 行:4. RL GRPO 训练(当前主力)
- 三级,第 173 行:5. Auto-Thinking 架构(下一代方案,探索中)
- 二级,第 182 行:四、当前训练进展与效果
- 三级,第 184 行:SFT 进展
- 三级,第 203 行:RL 第一版 E2E 评测(5,888 条有效轨迹)
- 三级,第 216 行:分模块诊断
- 三级,第 225 行:训练趋势(step 1→23)
- 三级,第 231 行:关键发现
- 二级,第 238 行:五、训练平台
- 二级,第 56 行:一、核心架构:CodeAct
- 一级,第 249 行:第二部分:Auto-Thinking 文档深度解读
- 二级,第 256 行:一、要解决的根本问题
- 三级,第 266 行:目标函数
- 三级,第 284 行:核心指标
- 三级,第 308 行:离线验收目标
- 二级,第 320 行:二、三档模式 + 逐 turn Gate
- 三级,第 322 行:为什么"短思考链 + RL"通常优于"直接代码 + RL"
- 三级,第 339 行:三种模式的精确定义
- 四级,第 341 行:DIRECT
- 四级,第 353 行:THINK_SHORT
- 四级,第 366 行:REPLAN
- 三级,第 380 行:THINK_SHORT 与 REPLAN 的核心区别
- 三级,第 405 行:Gate token 机制
- 四级,第 428 行:Gate token 的价值
- 四级,第 440 行:Runtime availability mask
- 三级,第 449 行:状态输入要先去噪
- 二级,第 474 行:三、数据策略:增量补充,不重新切分
- 三级,第 476 行:默认配比
- 四级,第 488 行:DIRECT:确保 post-feedback 覆盖
- 四级,第 499 行:THINK_SHORT:内部分类
- 四级,第 510 行:REPLAN:少而精
- 三级,第 519 行:模式标签怎么打
- 三级,第 552 行:Recovery SFT 与 Loss Mask
- 三级,第 570 行:推荐 SFT loss
- 三级,第 583 行:训练单位不要混淆
- 三级,第 476 行:默认配比
- 二级,第 592 行:四、SFT:三阶段,只冷启动不替代 RL
- 三级,第 594 行:S1:模式分支能力冷启动
- 三级,第 623 行:S2:轻量 Gate warm-start
- 三级,第 644 行:S3:可选的联合小步 SFT
- 三级,第 657 行:为什么 Auto-thinking 的关键必须放在 RL
- 三级,第 668 行:Gate 训练的三层信号
- 二级,第 680 行:五、RL:GRPO/DAPO + 三阶段 + 分层 Reward
- 三级,第 682 行:算法
- 三级,第 709 行:Macro-turn
- 三级,第 717 行:分段 RL loss
- 三级,第 737 行:Reward 层级
- 三级,第 789 行:多维表格专用 Reward
- 四级,第 791 行:Schema 图正确性
- 四级,第 794 行:公式语义 Reward
- 四级,第 797 行:View 行为 Reward
- 四级,第 800 行:Automation 图 Reward
- 四级,第 803 行:数据与权限不变量
- 四级,第 806 行:最小改动 Reward
- 三级,第 809 行:Process Reward
- 三级,第 830 行:Gate Reward
- 三级,第 844 行:RL 三阶段(顺序不能反转)
- 四级,第 846 行:R0:Reward dry-run
- 四级,第 849 行:R1:正确性与恢复能力
- 四级,第 856 行:R2:Gate 与一次修复
- 四级,第 863 行:R3:Pareto 压缩
- 三级,第 872 行:线上 query 的 RL 数据工程
- 四级,第 874 行:Query 入池
- 四级,第 884 行:RL prompt 采样建议
- 四级,第 901 行:以"修复预算"约束一次修好
- 二级,第 911 行:六、六种训练崩溃模式与防护
- 三级,第 913 行:1. 永远 DIRECT
- 三级,第 932 行:2. 永远 THINK_SHORT
- 三级,第 951 行:3. 永远 REPLAN
- 三级,第 969 行:4. Token 熵塌缩
- 三级,第 992 行:5. Gate 决策边界塌缩
- 三级,第 1002 行:6. Reward hacking
- 二级,第 1023 行:七、怎么证明 Auto-Thinking 真的有效
- 三级,第 1025 行:1. 强制模式 Oracle
- 三级,第 1029 行:2. 因果干预
- 四级,第 1031 行:Thinking 置空
- 四级,第 1037 行:Thinking 置换
- 四级,第 1040 行:Decision 干预
- 四级,第 1043 行:Expect 校验
- 三级,第 1049 行:3. 必做消融
- 三级,第 1065 行:4. 上线闸门
- 二级,第 1080 行:八、高阶模型的角色
- 三级,第 1082 行:分工公式
- 三级,第 1106 行:双教师视角
- 四级,第 1108 行:Privileged Critic
- 四级,第 1111 行:Blinded Actor
- 三级,第 1114 行:数据生产流水线
- 三级,第 1126 行:与学生分布一致的约束
- 二级,第 1137 行:九、落地时间线(7 步)
- 三级,第 1139 行:Step 1:建立评测与可重放环境
- 三级,第 1147 行:Step 2:审计 5,000 条 DIRECT 并补充冷启动数据
- 三级,第 1157 行:Step 3:高阶模型生成同状态反事实
- 三级,第 1164 行:Step 4:完成能力冷启动与轻量 Gate warm-start
- 三级,第 1170 行:Step 5:Reward dry-run
- 三级,第 1176 行:Step 6:R1/R2/R3 在线 RL
- 三级,第 1185 行:Step 7:周期性蒸馏与刷新
- 二级,第 1193 行:十、一句话总结
- 二级,第 256 行:一、要解决的根本问题
- 一级,第 1219 行:第三部分:核心概念深入解读
- 二级,第 1221 行:一、CoT 及其家族
- 三级,第 1223 行:1. 什么是 CoT(Chain-of-Thought,思维链)
- 三级,第 1246 行:2. CoT 的问题
- 三级,第 1258 行:3. CoT 的主要变体
- 三级,第 1269 行:4. 文档中的三档模式与 CoT 的关系
- 三级,第 1287 行:5. THINK_SHORT 的 token 预算
- 二级,第 1307 行:二、训练范式
- 三级,第 1309 行:1. SFT(Supervised Fine-Tuning,监督微调)
- 三级,第 1318 行:2. RFT(Rejection Sampling Fine-Tuning,拒绝采样微调)
- 三级,第 1328 行:3. RL(Reinforcement Learning,强化学习)
- 三级,第 1336 行:4. RLHF / RLVR / RLAIF
- 三级,第 1351 行:5. DPO(Direct Preference Optimization,直接偏好优化)
- 三级,第 1357 行:6. 课程学习(Curriculum Learning)
- 二级,第 1365 行:三、RL 算法
- 三级,第 1367 行:1. PPO(Proximal Policy Optimization,近端策略优化)
- 三级,第 1375 行:2. GRPO(Group Relative Policy Optimization,组相对策略优化)
- 三级,第 1391 行:3. DAPO(Dynamic Sampling, Length Control, and Clipping for Policy Optimization)
- 三级,第 1400 行:4. On-policy vs Off-policy
- 三级,第 1410 行:5. Advantage 与信用分配(Credit Assignment)
- 二级,第 1422 行:四、Auto-Thinking 特有概念
- 三级,第 1424 行:1. Gate token / Reasoning-mode token
- 三级,第 1439 行:2. Mode Regret(模式遗憾)
- 三级,第 1449 行:3. 同状态反事实比较(Counterfactual Comparison)
- 三级,第 1455 行:4. 模式塌缩(Mode Collapse)
- 三级,第 1464 行:5. Pareto 优化 / Pareto 压缩
- 二级,第 1472 行:五、工程与评估概念
- 三级,第 1474 行:1. ReAct(Reasoning + Acting)
- 三级,第 1480 行:2. CodeAct
- 三级,第 1484 行:3. Verifier vs JudgeRM
- 三级,第 1495 行:4. Process Reward(过程奖励)
- 三级,第 1504 行:5. Reward Hacking(奖励作弊)
- 三级,第 1512 行:6. 熵塌缩(Entropy Collapse)
- 三级,第 1518 行:7. 知识蒸馏(Distillation)
- 三级,第 1527 行:8. Loss Mask(损失掩码)
- 二级,第 1538 行:六、深入理解:零和游戏、帕累托最优与 Mode Regret
- 三级,第 1540 行:1. 零和游戏(Zero-sum Game)
- 四级,第 1542 行:基本定义
- 四级,第 1550 行:经典例子
- 四级,第 1559 行:非零和游戏
- 四级,第 1566 行:在 Auto-Thinking 语境中的含义
- 三级,第 1576 行:2. 帕累托最优的数学公式
- 四级,第 1578 行:多目标优化的形式化
- 四级,第 1588 行:支配关系(Dominance)
- 四级,第 1602 行:帕累托最优(Pareto Optimality)
- 四级,第 1610 行:帕累托前沿(Pareto Front)
- 四级,第 1618 行:帕累托改进(Pareto Improvement)
- 四级,第 1626 行:文档中的字典序帕累托实现
- 四级,第 1644 行:为什么不用简单加权
- 四级,第 1652 行:帕累托在文档中的具体应用场景
- 三级,第 1678 行:3. Mode Regret(模式遗憾)
- 四级,第 1680 行:Regret 的一般概念
- 四级,第 1692 行:Mode Regret 的具体定义
- 四级,第 1712 行:效用 U(s, m) 是什么
- 四级,第 1720 行:怎么计算 Mode Regret
- 四级,第 1732 行:为什么 Mode Regret 是核心指标
- 四级,第 1745 行:Mode Regret 的分解
- 四级,第 1770 行:具体例子
- 三级,第 1828 行:4. 三个概念的串联
- 三级,第 1540 行:1. 零和游戏(Zero-sum Game)
- 二级,第 1840 行:七、概念组合:完整训练流水线
- 二级,第 1927 行:八、Thinking 格式设计与推理模式控制
- 三级,第 1929 行:8.1 主流 Thinking 格式设计
- 四级,第 1933 行:DeepSeek-R1 风格(当前最主流的源头)
- 四级,第 1949 行:Omni-AutoThink 风格(带 answer 标签)
- 四级,第 1963 行:OpenAI o1 风格(隐藏推理)
- 四级,第 1972 行:Qwen3 风格(控制 token + think 标签)
- 四级,第 1985 行:多维表格 CodeAgent 风格(mode token + 多段结构)
- 三级,第 2003 行:8.2 格式设计的核心要素
- 三级,第 2016 行:8.3 为什么 <think> 成为了主流
- 三级,第 2023 行:8.4 格式设计对训练的影响
- 三级,第 2044 行:8.5 各种格式的对比表
- 三级,第 2056 行:8.6 Qwen3 控制 token 强制三种模式
- 三级,第 2134 行:8.7 ReAct 格式详解
- 三级,第 2501 行:9.7 自由模式(Auto)的决策机制
- 三级,第 2559 行:9.8 自由模式的能力是怎么训练出来的
- 三级,第 2582 行:9.9 Auto 模式训练的关键难点
- 三级,第 2616 行:9.10 完整训练流水线总结
- 三级,第 1929 行:8.1 主流 Thinking 格式设计
- 二级,第 2659 行:十、动态数据更新与难度评估策略
- 三级,第 2661 行:10.1 固定难度标注的根本性矛盾
- 三级,第 2682 行:10.2 策略一:Learning-Frontier 动态采样
- 三级,第 2711 行:10.3 策略二:Self-Paced Curriculum Learning
- 三级,第 2770 行:10.4 策略三:Difficulty-Anchored Mixing
- 三级,第 2818 行:10.5 策略四:On-Policy Data Generation
- 三级,第 2833 行:10.6 策略五:Multi-Model 难度锚定
- 三级,第 2856 行:10.7 没有更强的教师模型怎么办?七种替代方案
- 三级,第 2971 行:10.8 绝对难度 vs 相对难度
- 三级,第 2985 行:10.9 各难度评估方法对比
- 三级,第 2997 行:10.10 三种动态数据策略的本质对比
- 二级,第 1221 行:一、CoT 及其家族
- 一级,第 3011 行:第四部分:Omni-AutoThink 论文深度解读
- 二级,第 3019 行:一、论文基本信息与研究问题
- 二级,第 3028 行:二、三个关键预实验(负结果的价值)
- 三级,第 3032 行:假设 1:靠 Prompt 就能让模型自适应思考
- 三级,第 3040 行:假设 2:靠 SFT(带难度标注的数据)就能学会
- 三级,第 3048 行:假设 3:靠普通 RL(GRPO + 格式奖励 + 正确率奖励)就能学会
- 二级,第 3062 行:三、Adaptive SFT:两层数据构造
- 三级,第 3064 行:目标
- 三级,第 3068 行:两种模式的格式定义
- 三级,第 3085 行:两层数据构造
- 三级,第 3092 行:训练策略
- 二级,第 3098 行:四、Adaptive GRPO:强制采样与拒绝策略
- 三级,第 3102 行:改进 1:自适应采样(Adaptive Sampling)
- 三级,第 3117 行:改进 2:拒绝策略(Rejection Strategy)
- 三级,第 3135 行:完整算法
- 二级,第 3151 行:五、奖励函数设计:内嵌成本差异的四档奖励
- 二级,第 3171 行:六、数据集与 Omni Adaptive Reasoning Benchmark
- 三级,第 3173 行:训练数据
- 三级,第 3184 行:Benchmark 贡献
- 二级,第 3188 行:七、难度校准协议:三层模型定义五级难度
- 二级,第 3210 行:八、实验结果与消融研究
- 三级,第 3212 行:主结果(Text-Audio 模态为例)
- 三级,第 3225 行:三种模式对比
- 三级,第 3235 行:消融研究
- 二级,第 3260 行:九、与多维表格 Auto-Thinking 方案的对比
- 二级,第 3287 行:十、局限性与总结
- 三级,第 3289 行:局限性
- 三级,第 3297 行:总结
- 一级,第 3305 行:附录:Auto-Thinking 原始文档全文
- 二级,第 3309 行:0. 结论先行
- 二级,第 3361 行:1. 训练目标与评测口径
- 三级,第 3363 行:1.1 目标函数不是"少思考",而是"以最低总代价正确完成"
- 三级,第 3381 行:1.2 核心指标
- 三级,第 3405 行:1.3 建议的离线验收目标
- 二级,第 3421 行:2. 为什么"短思考链 + RL"通常优于"直接代码 + RL"
- 三级,第 3423 行:2.1 直接代码 RL 的学习信号过于稀疏
- 三级,第 3433 行:2.2 短 thinking 把大动作分解成可学习的中间变量
- 三级,第 3451 行:2.3 从数据密度看:一条轨迹不再只有一个终局标签
- 三级,第 3473 行:2.4 类比:终验、工单与资深工程师
- 三级,第 3483 行:2.5 必须保留的边界:thinking 不是天然可信
- 二级,第 3489 行:3. 最终 Auto-Thinking 架构
- 三级,第 3491 行:3.1 Gate 必须逐 turn 决策
- 四级,第 3529 行:Gate token 是否必需
- 四级,第 3542 行:推理成本与可见性
- 三级,第 3558 行:3.2 三种模式的精确定义
- 四级,第 3560 行:DIRECT
- 四级,第 3566 行:THINK_SHORT
- 四级,第 3574 行:REPLAN
- 三级,第 3582 行:3.3 THINK_SHORT 与 REPLAN 的核心区别
- 三级,第 3614 行:3.4 状态输入要先去噪
- 三级,第 3639 行:3.5 <thinking> 与reasoning.content
- 三级,第 3491 行:3.1 Gate 必须逐 turn 决策
- 二级,第 3647 行:4. 已有 5,000 条 DIRECT 后的增量 SFT 构成
- 三级,第 3649 行:4.1 默认配比
- 四级,第 3653 行:DIRECT:已有 5,000 条
- 四级,第 3664 行:THINK_SHORT:新增 600~800 条,默认 700 条
- 四级,第 3675 行:REPLAN:新增 100~200 条,默认 150 条
- 三级,第 3697 行:4.2 训练单位不要混淆
- 三级,第 3711 行:4.3 数据切分与线上分布
- 三级,第 3649 行:4.1 默认配比
- 二级,第 3719 行:5. SFT 轨迹如何判断 DIRECT、THINK_SHORT 与 REPLAN
- 三级,第 3721 行:5.1 最可靠的方法:同一状态的反事实模式比较
- 三级,第 3742 行:5.2 低成本启发式预标注
- 三级,第 3757 行:5.3 轨迹示例一:首次 DIRECT
- 三级,第 3777 行:5.4 轨迹示例二:修复仍然 DIRECT
- 三级,第 3804 行:5.5 轨迹示例三:THINK_SHORT 一次修复
- 三级,第 3833 行:5.6 轨迹示例四:噪声反馈下 THINK_SHORT
- 三级,第 3857 行:5.7 轨迹示例五:REPLAN
- 二级,第 3890 行:6. Recovery SFT 与 Loss Mask
- 三级,第 3892 行:6.1 Recovery suffix 从"正确恢复判断"开始
- 三级,第 3908 行:6.2 错误前缀为什么要保留
- 三级,第 3921 行:6.3 推荐 SFT loss
- 二级,第 3939 行:7. SFT 训练顺序:冷启动能力,不替代 RL
- 三级,第 3941 行:7.1 阶段 S1:模式分支能力冷启动
- 三级,第 3972 行:7.2 阶段 S2:轻量 Gate warm-start
- 三级,第 3994 行:7.3 阶段 S3:可选的联合小步 SFT
- 三级,第 4007 行:7.4 Gate warm-start 的关键不是标签数量,而是边界信息量
- 三级,第 4029 行:7.5 为什么 Auto-thinking 的关键必须放在 RL
- 三级,第 4050 行:7.6 Gate 训练的真正意义
- 四级,第 4064 行:分支能力 SFT
- 四级,第 4073 行:Gate warm-start
- 四级,第 4082 行:Gate RL
- 四级,第 4096 行:Forced-mode rollout 的 on-policy 边界
- 四级,第 4109 行:Gate 是否训练成功
- 二级,第 4117 行:8. 如何使用更强的高阶模型构建轨迹
- 三级,第 4119 行:8.1 最合理的分工
- 三级,第 4140 行:8.2 双教师视角
- 四级,第 4142 行:Privileged Critic
- 四级,第 4160 行:Blinded Actor
- 三级,第 4164 行:8.3 可落地的数据生产流水线
- 三级,第 4176 行:8.4 如何保证与学生分布一致
- 二级,第 4192 行:9. THINK_SHORT 的 token 预算
- 三级,第 4194 行:9.1 推荐默认值
- 三级,第 4208 行:9.2 160-token 硬上限为什么是合理起点
- 三级,第 4223 行:9.3 长度控制方式
- 三级,第 4227 行:9.4 必做预算消融
- 二级,第 4239 行:10. 线上 query 的 RL 数据工程
- 三级,第 4241 行:10.1 Query 入池
- 三级,第 4254 行:10.2 RL prompt 采样建议
- 三级,第 4276 行:10.3 以"修复预算"约束一次修好
- 二级,第 4294 行:11. RL Reward 体系
- 三级,第 4296 行:11.1 Reward 层级
- 三级,第 4350 行:11.2 现有两类 Reward 如何使用
- 四级,第 4352 行:编译/执行工具
- 四级,第 4356 行:JudgeRewardModel
- 三级,第 4362 行:11.3 建议新增的多维表格专用 Reward
- 四级,第 4364 行:Schema 图正确性
- 四级,第 4367 行:公式语义 Reward
- 四级,第 4370 行:View 行为 Reward
- 四级,第 4373 行:Automation 图 Reward
- 四级,第 4376 行:数据与权限不变量
- 四级,第 4379 行:最小改动 Reward
- 三级,第 4382 行:11.4 Process Reward
- 三级,第 4406 行:11.5 Gate Reward
- 二级,第 4422 行:12. RL 算法与 Loss 设计
- 三级,第 4424 行:12.1 推荐起点
- 三级,第 4455 行:12.2 Macro-turn
- 三级,第 4463 行:12.3 分段 RL loss
- 三级,第 4486 行:12.4 RL 分阶段
- 四级,第 4488 行:R0:Reward dry-run
- 四级,第 4492 行:R1:正确性与恢复能力
- 四级,第 4500 行:R2:Gate 与一次修复
- 四级,第 4508 行:R3:Pareto 压缩
- 二级,第 4520 行:13. 如何避免训练崩溃与模式塌缩
- 三级,第 4522 行:13.1 永远 DIRECT
- 三级,第 4541 行:13.2 永远 THINK_SHORT
- 三级,第 4560 行:13.3 永远 REPLAN
- 三级,第 4578 行:13.4 Token 熵塌缩
- 三级,第 4604 行:13.5 Gate 决策边界塌缩
- 三级,第 4617 行:13.6 Reward hacking
- 二级,第 4640 行:14. 怎样证明 Auto-Thinking 真的符合预期
- 三级,第 4642 行:14.1 强制模式 Oracle
- 三级,第 4646 行:14.2 因果干预
- 四级,第 4648 行:Thinking 置空
- 四级,第 4656 行:Thinking 置换
- 四级,第 4660 行:Decision 干预
- 四级,第 4664 行:Expect 校验
- 三级,第 4671 行:14.3 必做消融
- 三级,第 4687 行:14.4 Auto-thinking 的上线闸门
- 二级,第 4706 行:15. 推荐的完整落地时间线
- 三级,第 4708 行:Step 1:建立评测与可重放环境
- 三级,第 4717 行:Step 2:审计 5,000 条 DIRECT 并补充冷启动数据
- 三级,第 4728 行:Step 3:高阶模型生成同状态反事实
- 三级,第 4736 行:Step 4:完成能力冷启动与轻量 Gate warm-start
- 三级,第 4744 行:Step 5:Reward dry-run
- 三级,第 4751 行:Step 6:R1/R2/R3 在线 RL
- 三级,第 4761 行:Step 7:周期性蒸馏与刷新
- 二级,第 4772 行:16. 推荐的首版配置全览
- 二级,第 4913 行:17. 总结
- 二级,第 4954 行:参考资料
28. LLM 技术总结 — DeepSeek 与 Qwen3 架构对比
路径:learning/machine-learning/260916-LLM-Architecture-DeepSeek-vs-Qwen3/LLM技术总结.md
本机创建:2026-09-22 19:16:40;最后修改:2026-09-22 19:16:40;标题:60 条。
- 一级,第 1 行:LLM 技术总结 — DeepSeek 与 Qwen3 架构对比
- 二级,第 9 行:一、背景
- 三级,第 11 行:为什么重读技术报告
- 三级,第 17 行:对比才能加深认识
- 三级,第 24 行:论知识储备的重要性
- 二级,第 32 行:二、模型
- 三级,第 34 行:2.1 Input
- 四级,第 36 行:Tokenization
- 四级,第 50 行:Position
- 四级,第 55 行:Mask
- 三级,第 63 行:2.2 Transformer Block
- 四级,第 65 行:Self-Attention
- 五级,第 67 行:MHA(Multi-Head Attention)
- 五级,第 80 行:RoPE(Rotary Position Embedding)
- 五级,第 142 行:GQA(Grouped-Query Attention)
- 五级,第 148 行:MLA(Multi-head Latent Attention)
- 五级,第 174 行:DSA(DeepSeek Sparse Attention)
- 四级,第 65 行:Self-Attention
- 三级,第 193 行:2.3 MLP
- 三级,第 212 行:2.4 MoE
- 三级,第 237 行:2.5 Engram
- 三级,第 271 行:2.6 Norm & Residual
- 三级,第 296 行:2.7 Output
- 四级,第 298 行:Head
- 四级,第 308 行:温度与 Top_P
- 四级,第 316 行:生成采样策略
- 三级,第 34 行:2.1 Input
- 二级,第 339 行:三、部署
- 三级,第 341 行:3.1 GPU
- 三级,第 382 行:3.2 核心性能指标
- 三级,第 401 行:3.3 优化加速
- 四级,第 403 行:Paged Attention
- 四级,第 412 行:Flash Attention
- 四级,第 437 行:Sequence Parallelism
- 四级,第 449 行:Tensor Parallelism
- 四级,第 469 行:专家并行
- 四级,第 489 行:PD 分离
- 四级,第 509 行:连续批处理
- 二级,第 527 行:四、训练
- 三级,第 529 行:4.1 多重并行
- 四级,第 531 行:Data Parallelism(ZeRO)
- 四级,第 566 行:Pipeline Parallelism
- 四级,第 596 行:3D Parallelism
- 三级,第 605 行:4.2 FP8 混合精度训练
- 四级,第 607 行:量化和乘法精度优化
- 四级,第 652 行:混合精度框架
- 三级,第 676 行:4.3 优化算法
- 四级,第 678 行:AdamW
- 四级,第 691 行:学习速率调整
- 四级,第 700 行:BatchSize 与梯度积累
- 三级,第 705 行:4.4 稳定性与泛化性
- 三级,第 712 行:4.5 数据与方法
- 四级,第 714 行:拒绝采样
- 四级,第 720 行:RL
- 四级,第 724 行:蒸馏
- 四级,第 729 行:LoRA
- 四级,第 757 行:MoE 专家负载均衡
- 四级,第 778 行:MTP(Multi-Token Prediction)
- 三级,第 792 行:4.6 训练统筹规划
- 三级,第 817 行:4.7 Scaling Law
- 三级,第 529 行:4.1 多重并行
- 二级,第 824 行:五、总结
- 二级,第 834 行:参考链接(PDF 中引用)
- 二级,第 9 行:一、背景
29. RL 训练指标与泛化概念总结
路径:project-notes/Lark-Base-AI后训练/05-Spec-Agent合训/02-训练稳定性与OOD/RL训练指标与泛化概念总结.md
本机创建:2026-09-07 17:14:39;最后修改:2026-09-07 17:14:39;标题:22 条。
- 一级,第 1 行:RL 训练指标与泛化概念总结
- 二级,第 7 行:一、Train Reward 下降 + Test Reward 上升,意味着什么?
- 三级,第 9 行:现象
- 三级,第 16 行:最可能的原因:Train Reward 含 KL 惩罚,Test Reward 是纯奖励分
- 三级,第 27 行:其他可能原因
- 三级,第 34 行:排查方法
- 二级,第 43 行:二、Train / Valid / Test 三个集合的角色
- 三级,第 45 行:核心区别
- 三级,第 53 行:Valid 如何"间接影响训练方向"
- 三级,第 64 行:为什么 Test 必须完全隔离
- 三级,第 68 行:类比
- 二级,第 77 行:三、如何判断梯度下降的方向是正确的?
- 三级,第 79 行:核心结论
- 三级,第 83 行:梯度下降的方向是算出来的
- 三级,第 91 行:确认梯度下降正常工作的信号
- 三级,第 101 行:Valid 在优化判断中的角色
- 三级,第 109 行:实际训练中的 Sanity Check Checklist
- 二级,第 119 行:四、回到本次 RL 训练的具体应用
- 三级,第 121 行:面板关键指标解读
- 三级,第 132 行:当前面板中 "test" 的实际角色
- 三级,第 141 行:正确的评估流程建议
- 二级,第 148 行:五、一句话总结
- 二级,第 7 行:一、Train Reward 下降 + Test Reward 上升,意味着什么?
30. Lark Base AI 后训练:已投递简历面试讲解与追问准备
路径:project-notes/Lark-Base-AI后训练/90-会议、汇报与交接/20260915-已投递简历面试讲解与追问准备.md
本机创建:2026-09-15 01:11:50;最后修改:2026-09-15 16:56:14;标题:138 条。
- 一级,第 1 行:Lark Base AI 后训练:已投递简历面试讲解与追问准备
- 二级,第 3 行:符号与缩写速查
- 二级,第 52 行:使用方式与证据说明
- 二级,第 63 行:目录
- 二级,第 88 行:0. 今晚优先准备
- 二级,第 105 行:1. 90 秒总述与业务背景
- 三级,第 107 行:1.1 开场讲法
- 三级,第 117 行:1.2 Base、Spec、CodeAct 分别是什么
- 三级,第 128 行:1.3 为什么不直接 Query → Code
- 三级,第 132 行:1.4 一个贯穿四项的说明例子
- 三级,第 144 行:1.5 最有成就的工作:从质量闭环到 Judge/Fix 模型
- 四级,第 148 行:两分钟口述
- 四级,第 166 行:这条线为什么成立
- 四级,第 177 行:追问:你做了什么让它起效果
- 四级,第 186 行:结果与岗位连接
- 二级,第 192 行:2. 第一项:Spec–Refine 数据合成
- 三级,第 194 行:2.1 两分钟讲法
- 三级,第 204 行:2.2 简历关键词逐项解释
- 三级,第 222 行:2.3 讲清 Category–Rubric–Mode
- 三级,第 237 行:2.4 一条修复训练样本应该长什么样
- 三级,第 264 行:2.5 高频追问与回答要点
- 三级,第 282 行:2.6 对照当前技能:主链路到底怎样执行
- 三级,第 305 行:2.7 Rubric 工程:不是把经验写成一张标签表
- 二级,第 319 行:3. 第二项:Judge/Fix Infra Models
- 三级,第 321 行:3.1 两分钟讲法
- 三级,第 333 行:3.2 Judge 的输入输出与 Strict-SFT
- 三级,第 348 行:3.3 分层 F1 Reward 应该如何讲
- 三级,第 378 行:3.4 GRPO / PPO / RFT / OPD:掌握到能解释实现
- 三级,第 396 行:3.5 异构教师与课程学习怎么解释
- 三级,第 404 行:3.6 可能追问
- 三级,第 422 行:3.7 实际训练卡:两条版本线不要混成一条
- 三级,第 440 行:3.8 两个最值得展开的 Judge 实验
- 四级,第 442 行:实验一:SFT 起点对照,找出误报与召回的取舍
- 四级,第 456 行:实验二:RL-v3 有效,但需要同时控制干净误报
- 三级,第 473 行:3.9 一个很适合 Alignment 面试的失败案例
- 三级,第 481 行:3.10 Fix 与 Artifact-RJM:另两类实际做过的工作
- 三级,第 498 行:3.11 后续置信度与 Reviewer A/B:你确实做了什么
- 二级,第 529 行:4. 第三项:Verifier Agent 与 AutoResearch
- 三级,第 531 行:4.1 两分钟讲法
- 三级,第 545 行:4.2 logprob 连续评分:白板上会写这一组
- 四级,第 566 行:4.2.1 为什么用两个模型:先讲问题,再讲接口和分工
- 四级,第 613 行:4.2.2 为什么选择Gemini:你做过真实接口探针
- 四级,第 629 行:4.2.3 两个实际踩过的坑:top-20缺档与评分字母冲突
- 四级,第 638 行:4.2.4 实验证据与一个值得展开的研究结论
- 三级,第 653 行:4.3 解释简历中的 K,避免与代码冲突
- 三级,第 664 行:4.4 State、Transition、Release 三个合同
- 三级,第 674 行:4.5 连续反馈是否就是 RL 稠密奖励
- 三级,第 686 行:4.6 AutoResearch 的具体一轮
- 三级,第 700 行:4.7 门控和“对抗式综合”怎么说
- 三级,第 712 行:4.8 可能追问
- 二级,第 726 行:5. 第四项:Spec–Verifier–Code 协同训练
- 三级,第 728 行:5.1 两分钟讲法
- 三级,第 736 行:5.2 用输入输出拆解,避免“模型连起来就是合训”
- 三级,第 754 行:5.3 CodeAct RL 奖励与信用分配
- 三级,第 767 行:5.4 186 秒到 23 秒:最容易被追问的结果
- 三级,第 787 行:5.5 Agentic RL 与“合训”的关系
- 三级,第 805 行:5.6 把自己的场景讲成一条可训练的交互轨迹
- 三级,第 825 行:5.7 合训最值得准备的追问:奖励究竟训练了谁
- 三级,第 836 行:5.8 第二个核心回答:Agentic RL经历与认识,串起合训与Auto-Thinking
- 四级,第 838 行:先明确Auto-Thinking属于哪一层
- 四级,第 846 行:两分钟口述
- 四级,第 860 行:两个例子放在同一条轨迹里
- 四级,第 872 行:面试官继续追问时,抓住四个技术点
- 四级,第 879 行:三个一句话追问
- 二级,第 902 行:6. 所有简历指标的回答卡
- 二级,第 921 行:7. 三个有记录支撑的深挖案例
- 三级,第 925 行:7.1 Rubric 表达改写:标签空间不变也能改善判定
- 三级,第 933 行:7.2 Verifier 判得更稳,但最终修复更差
- 三级,第 942 行:7.3 修复历史:保留全量记录,运行时未必全量使用
- 二级,第 950 行:8. 高频交叉追问
- 三级,第 952 行:8.1 你的算法贡献是什么,不只是调用 API?
- 三级,第 958 行:8.2 为什么不用规则程序,为什么一定用 LLM?
- 三级,第 962 行:8.3 如何避免 reward hacking?
- 三级,第 966 行:8.4 为什么不只追求最终准确率?
- 三级,第 970 行:8.5 你如何衡量自己的影响?
- 三级,第 974 行:8.6 这个场景是 Bandit 还是 MDP?
- 三级,第 978 行:8.7 明天被问“最失败的一次实验”
- 三级,第 982 行:8.8 能否展示公司内部材料?
- 二级,第 986 行:9. 今晚演练与个人贡献卡
- 三级,第 988 行:9.1 45 分钟优先版
- 三级,第 996 行:9.2 每项填写一张个人贡献卡
- 三级,第 1013 行:9.3 训练参数卡
- 三级,第 1029 行:9.4 最后一遍自测
- 二级,第 1041 行:10. 证据索引
- 二级,第 1073 行:11. 岗位重点与个人定位
- 三级,第 1075 行:11.1 通用 JD 与团队沟通如何结合
- 三级,第 1093 行:11.2 根据完整简历更新的 90 秒介绍
- 三级,第 1105 行:11.3 为什么从城市规划进入安全对齐
- 三级,第 1111 行:11.4 四项实习经验如何迁移到 Safety
- 二级,第 1121 行:12. Transformer 与训练工程基础
- 三级,第 1123 行:12.1 一分钟解释 Transformer
- 三级,第 1129 行:12.2 白板写出 Attention,并讲清形状
- 三级,第 1141 行:12.3 现代结构的常见追问
- 三级,第 1155 行:12.4 KV Cache、GQA、FlashAttention 与时延
- 三级,第 1172 行:12.5 SFT 实现:容易被问到的细节
- 三级,第 1187 行:12.6 LoRA 与显存
- 三级,第 1193 行:12.7 数学基础速问
- 二级,第 1202 行:13. Alignment、RLHF 与 Step-wise RL
- 三级,第 1204 行:13.1 30 秒解释 RLHF
- 三级,第 1210 行:13.2 Reward Model:会写 Bradley–Terry 偏好损失
- 三级,第 1220 行:13.3 PPO:白板核心和常见误解
- 三级,第 1232 行:13.4 GAE 与 GRPO
- 三级,第 1244 行:13.5 DPO 与 PPO 的区别
- 三级,第 1254 行:13.6 Step-wise RL、ORM 与 PRM
- 三级,第 1262 行:13.7 Helpfulness 与 Harmlessness 怎么平衡
- 三级,第 1268 行:13.8 合成数据与后训练 Scaling
- 二级,第 1278 行:14. ReAct、RAG、长文本与多模态
- 三级,第 1280 行:14.1 ReAct 不是前端 React,也不自动等于 RL
- 三级,第 1295 行:14.2 ReAct 轨迹如何用于 SFT/RL
- 三级,第 1303 行:14.3 RAG 一分钟讲法
- 三级,第 1309 行:14.4 MemoMind 可以直接承接的基础题
- 三级,第 1324 行:14.5 幻觉与长文本
- 三级,第 1332 行:14.6 多模态后训练最低准备范围
- 二级,第 1340 行:15. Safety 与 Preparedness 专项
- 三级,第 1342 行:15.1 Preparedness 应如何解释
- 三级,第 1348 行:15.2 六组基础区分
- 三级,第 1361 行:15.3 如果让你从零设计一个评估
- 三级,第 1376 行:15.4 指标:不能只说安全率提高
- 三级,第 1387 行:15.5 安全数据合成:如何避免只学关键词
- 三级,第 1393 行:15.6 提示注入与工具安全:用你熟悉的场景解释
- 三级,第 1407 行:15.7 Reward hacking、评估感知与表征干预
- 三级,第 1416 行:15.8 一个适合提出的初始研究方向
- 二级,第 1424 行:16. 完整简历的其他项目与论文追问
- 三级,第 1426 行:16.1 最值得补充的三条主线
- 三级,第 1434 行:16.2 UrbanAlign:两分钟讲法
- 三级,第 1463 行:16.3 AI4US:两分钟讲法与机制分析
- 三级,第 1485 行:16.4 文化偏差研究:价值多样性与基线
- 三级,第 1500 行:16.5 多模态城市数据:CV 和数据工程会被怎么问
- 三级,第 1519 行:16.6 卫星到雷达反演与 CFM
- 三级,第 1532 行:16.7 MemoMind:两分钟讲法
- 三级,第 1547 行:16.8 Zync、Gateway 与 AI 编程工具
- 三级,第 1559 行:16.9 学术身份、成果状态与实习安排
- 二级,第 1571 行:17. 面试模拟与补充准备顺序
- 三级,第 1573 行:17.1 两小时定向版
- 三级,第 1587 行:17.2 一轮 40 分钟模拟面试
- 三级,第 1600 行:17.3 最小编程准备清单
- 三级,第 1614 行:17.4 适合反问团队的问题
- 三级,第 1623 行:17.5 补充来源与事实边界
31. Writings 选题:按知识库分类的精选版
路径:project-notes/Writings选题/2026-10-24-候选清单.md
本机创建:2026-10-24 12:30:36;最后修改:2026-10-24 13:28:53;标题:39 条。
- 一级,第 1 行:Writings 选题:按知识库分类的精选版
- 二级,第 9 行:先看这 10 个
- 二级,第 28 行:这次怎样取舍
- 二级,第 42 行:1. project-notes · 项目研究与实验
- 三级,第 46 行:A02 · 最后一个训练检查点,为什么不一定最好
- 三级,第 57 行:A03 · 训练答案正确,训练任务也可能写错
- 三级,第 68 行:A07 · 把修复过程变成训练数据
- 三级,第 79 行:A08 · 让设计文档变得可检查
- 三级,第 90 行:A10 · 通过评审之后,怎样成为训练数据
- 二级,第 101 行:2. feishu-internal / Base-AI飞书文档合集 · 场景方案与工程经验
- 三级,第 105 行:A04 · 产品知识怎样进入模型
- 三级,第 116 行:A05 · 让 Agent 按需思考
- 三级,第 127 行:A14 · 为 Agent 设计好用的接口
- 二级,第 138 行:3. feishu-internal / 基础设施 · 训练系统
- 三级,第 142 行:B07 · 多卡训练,究竟把什么切开了
- 二级,第 153 行:4. bytetech-community / AI工程 · 跨论文方法与研究思考
- 三级,第 157 行:B03 · 三种训练方法,三种学习信号
- 三级,第 168 行:C01 · 99% 的概率代表什么
- 三级,第 179 行:C03 · 从选一次,到连续做决定
- 三级,第 190 行:B06 · 一条轨迹怎样变成一次参数更新
- 三级,第 201 行:B08 · 为 Agent 造一个可以练习的环境
- 三级,第 212 行:A15 · 让人更容易接手的 Agent
- 二级,第 223 行:5. bytetech-community / 讲座与论文 · 机制图解
- 三级,第 227 行:C04 · 把训练轨迹展开成一棵树
- 三级,第 238 行:C05 · 工具不可导,Agent 怎样学习
- 三级,第 249 行:C06 · 从一次失败中提炼 Skill
- 三级,第 260 行:C08 · 评分提高之后,还要检查什么
- 三级,第 271 行:C09 · 工具接口怎样改变 Agent 的表现
- 三级,第 282 行:C14 · 小模型何时把任务交给大模型
- 三级,第 293 行:C15 · GUI 训练轨迹从哪里来
- 三级,第 304 行:C17 · 给多模态模型一块可读写的空间
- 二级,第 315 行:6. engineering-basics 与 learning · 工程和学习实践
- 三级,第 319 行:D01 · 一篇长文,怎样整理成能复用的知识
- 二级,第 330 行:7. 其他好材料,怎样继续用
- 三级,第 332 行:作为后续专题或合并取材
- 三级,第 354 行:优先补进现有文章
- 三级,第 369 行:暂不做
- 二级,第 373 行:8. 原稿改写示例
- 二级,第 385 行:资料与后续
同期更新的导航与导读
32. 讲座与论文
路径:bytetech-community/讲座与论文/README.md
本机创建:2026-10-10 17:32:13;最后修改:2026-10-10 17:32:13;标题:3 条。
- 一级,第 1 行:讲座与论文
- 二级,第 5 行:当前内容
- 二级,第 12 行:与项目资料的边界
33. 多臂老虎机与 MDP:阅读入口
路径:bytetech-community/AI工程/框架与调研/260914 - 多臂老虎机与马尔可夫决策过程 - 系统整理 - 强化学习决策建模基础。/README.md
本机创建:2026-09-14 20:56:42;最后修改:2026-09-14 20:59:11;标题:4 条。
- 一级,第 1 行:多臂老虎机与 MDP:阅读入口
- 二级,第 5 行:内容与阅读顺序
- 二级,第 13 行:来源与归档
- 二级,第 22 行:阅读注意
34. GRPO 变体知识图谱:总览与导读
路径:bytetech-community/AI工程/框架与调研/260922 - GRPO变体知识图谱 - 系统整理 - 从PPO到熵控制与On-Policy蒸馏的完整后训练图谱/README.md
本机创建:2026-09-22 17:43:31;最后修改:2026-09-22 17:43:31;标题:11 条。
- 一级,第 1 行:GRPO 变体知识图谱:总览与导读
- 二级,第 5 行:本目录结构
- 二级,第 16 行:1. 面试回答策略
- 三级,第 18 行:面试官的潜台词
- 三级,第 22 行:推荐回答结构(四步走)
- 三级,第 40 行:核心心法
- 二级,第 46 行:2. GRPO 变体家族图谱
- 三级,第 63 行:六大方向速查表
- 二级,第 76 行:分册索引
- 二级,第 82 行:术语速查表
- 二级,第 120 行:参考资料
35. AI 工程
路径:bytetech-community/AI工程/README.md
本机创建:2026-08-25 07:35:08;最后修改:2026-09-15 16:06:42;标题:8 条。
- 一级,第 1 行:AI 工程
- 二级,第 5 行:三类内容
- 二级,第 13 行:按问题阅读
- 三级,第 15 行:后训练与数据
- 三级,第 25 行:Judge、Rubric 与 Verifier
- 三级,第 32 行:Skill、Harness 与 Agent 训练
- 三级,第 40 行:环境反馈与自进化
- 二级,第 46 行:原文与解读版
36. CodeAgent 训练体系与 Auto-Thinking:阅读入口
路径:feishu-internal/Base-AI飞书文档合集/260730 - Auto-Thinking - 用SFT与RL优化CodeAgent/README.md
本机创建:2026-09-13 11:52:42;最后修改:2026-09-14 20:56:42;标题:7 条。
- 一级,第 1 行:CodeAgent 训练体系与 Auto-Thinking:阅读入口
- 二级,第 3 行:符号速查表
- 二级,第 67 行:建议阅读顺序
- 二级,第 74 行:来源与版本
- 二级,第 87 行:阅读口径
- 二级,第 94 行:2026-09-14 新增章节校注
- 三级,第 104 行:第二次更新的阅读提示
37. Base AI / Spec 飞书原文合集
路径:feishu-internal/Base-AI飞书文档合集/README.md
本机创建:2026-08-24 17:24:52;最后修改:2026-09-13 11:52:42;标题:10 条。
- 一级,第 1 行:Base AI / Spec 飞书原文合集
- 二级,第 5 行:建议从哪里读
- 二级,第 11 行:项目总览、计划与复盘
- 二级,第 21 行:数据、合成与训练稳定性
- 二级,第 31 行:Judge、Rubric 与准出
- 二级,第 38 行:PE、Harness 与 Agent 工作流
- 二级,第 45 行:Agent 训练方法与相邻 CodeAgent 实践
- 二级,第 54 行:平台、基建与术语
- 二级,第 61 行:背景阅读
- 二级,第 66 行:维护约定
38. 链路与架构
路径:project-notes/Lark-Base-AI后训练/01-数据合成与Judge-Fix/02-链路与架构/README.md
本机创建:2026-08-24 20:46:37;最后修改:2026-09-02 15:55:12;标题:1 条。
- 一级,第 1 行:链路与架构
39. Spec Agent 合训
路径:project-notes/Lark-Base-AI后训练/05-Spec-Agent合训/README.md
本机创建:2026-08-24 17:33:38;最后修改:2026-09-13 11:52:42;标题:3 条。
- 一级,第 1 行:Spec Agent 合训
- 二级,第 9 行:当前材料
- 二级,第 20 行:相邻团队实践
40. 会议、汇报与交接
路径:project-notes/Lark-Base-AI后训练/90-会议、汇报与交接/README.md
本机创建:2026-08-24 17:33:38;最后修改:2026-09-15 01:26:49;标题:2 条。
- 一级,第 1 行:会议、汇报与交接
- 二级,第 5 行:当前材料
同期收录的参考资料
41. README
路径:bytetech-community/AI工程/论文解读/260907 - S-Space - MirroS - 探测多模态模型空间工作区/references/S-Space-repo/README.md
本机创建:2026-09-10 15:06:18;最后修改:2026-09-10 15:06:18;标题:20 条。
- 二级,第 26 行:Overview
- 二级,第 34 行:News
- 二级,第 43 行:Get Started
- 三级,第 48 行:Installation
- 三级,第 64 行:Prepare Datasets
- 二级,第 78 行:Experiments
- 三级,第 86 行:Construct S-Space
- 三级,第 94 行:Object Coordinates
- 三级,第 102 行:Spatial QA
- 三级,第 111 行:Prompt Generalization
- 三级,第 120 行:Multi-View Reasoning
- 三级,第 129 行:Spatial Interventions
- 三级,第 137 行:Direction Coupling
- 三级,第 145 行:Action Supervision
- 三级,第 153 行:Perspective Taking
- 三级,第 165 行:CoT Evolution
- 三级,第 173 行:Context Scaling
- 二级,第 181 行:License
- 二级,第 185 行:Acknowledgements
- 二级,第 193 行:Citation
42. InstructPart action-supervision experiment
路径:bytetech-community/AI工程/论文解读/260907 - S-Space - MirroS - 探测多模态模型空间工作区/references/S-Space-repo/sspace/experiments/action_supervision/instructpart/README.md
本机创建:2026-09-10 15:06:18;最后修改:2026-09-10 15:06:18;标题:8 条。
- 一级,第 1 行:InstructPart action-supervision experiment
- 二级,第 3 行:Status and conclusion
- 二级,第 17 行:Research question
- 二级,第 29 行:Data and pseudo ground truth
- 二级,第 62 行:Model input and projection
- 二级,第 102 行:Evaluation protocol
- 二级,第 132 行:Reproduction
- 二级,第 162 行:Historical regression identity
43. S-Space 代码来源
路径:bytetech-community/AI工程/论文解读/260907 - S-Space - MirroS - 探测多模态模型空间工作区/references/S-Space-source.md
本机创建:2026-09-11 23:44:34;最后修改:2026-09-11 23:44:34;标题:1 条。
- 一级,第 1 行:S-Space 代码来源
保留的历史版本
44. 多维表格 Code Agent 训练体系与 Auto-Thinking 完整解析
路径:feishu-internal/Base-AI飞书文档合集/260730 - Auto-Thinking - 用SFT与RL优化CodeAgent/versions/20260913-完整解析.md
本机创建:2026-09-14 13:37:19;最后修改:2026-09-14 13:37:19;标题:266 条。
- 一级,第 1 行:多维表格 Code Agent 训练体系与 Auto-Thinking 完整解析
- 二级,第 9 行:目录
- 一级,第 39 行:第一部分:多维表格 Code Agent 训练体系总览
- 二级,第 41 行:一、核心架构:CodeAct
- 三级,第 45 行:执行链路
- 三级,第 53 行:CodeAct vs Function Calling
- 三级,第 62 行:关键组件
- 二级,第 69 行:二、数据合成方案
- 三级,第 73 行:1. 多 Agent 协作合成
- 三级,第 92 行:2. 蒸馏数据提取
- 三级,第 105 行:3. 数据增强策略
- 二级,第 112 行:三、训练方法论体系
- 三级,第 114 行:1. 直接 SFT(基线方法)
- 三级,第 118 行:2. 课程训练(当前主力,5 月建立)
- 三级,第 133 行:3. 多阶段混合训练(方法论指导)
- 三级,第 143 行:4. RL GRPO 训练(当前主力)
- 三级,第 158 行:5. Auto-Thinking 架构(下一代方案,探索中)
- 二级,第 167 行:四、当前训练进展与效果
- 三级,第 169 行:SFT 进展
- 三级,第 188 行:RL 第一版 E2E 评测(5,888 条有效轨迹)
- 三级,第 201 行:分模块诊断
- 三级,第 210 行:训练趋势(step 1→23)
- 三级,第 216 行:关键发现
- 二级,第 223 行:五、训练平台
- 二级,第 41 行:一、核心架构:CodeAct
- 一级,第 234 行:第二部分:Auto-Thinking 文档深度解读
- 二级,第 241 行:一、要解决的根本问题
- 三级,第 251 行:目标函数
- 三级,第 269 行:核心指标
- 三级,第 293 行:离线验收目标
- 二级,第 305 行:二、三档模式 + 逐 turn Gate
- 三级,第 307 行:为什么"短思考链 + RL"通常优于"直接代码 + RL"
- 三级,第 324 行:三种模式的精确定义
- 四级,第 326 行:DIRECT
- 四级,第 338 行:THINK_SHORT
- 四级,第 351 行:REPLAN
- 三级,第 365 行:THINK_SHORT 与 REPLAN 的核心区别
- 三级,第 390 行:Gate token 机制
- 四级,第 413 行:Gate token 的价值
- 四级,第 425 行:Runtime availability mask
- 三级,第 434 行:状态输入要先去噪
- 二级,第 459 行:三、数据策略:增量补充,不重新切分
- 三级,第 461 行:默认配比
- 四级,第 473 行:DIRECT:确保 post-feedback 覆盖
- 四级,第 484 行:THINK_SHORT:内部分类
- 四级,第 495 行:REPLAN:少而精
- 三级,第 504 行:模式标签怎么打
- 三级,第 537 行:Recovery SFT 与 Loss Mask
- 三级,第 555 行:推荐 SFT loss
- 三级,第 568 行:训练单位不要混淆
- 三级,第 461 行:默认配比
- 二级,第 577 行:四、SFT:三阶段,只冷启动不替代 RL
- 三级,第 579 行:S1:模式分支能力冷启动
- 三级,第 608 行:S2:轻量 Gate warm-start
- 三级,第 629 行:S3:可选的联合小步 SFT
- 三级,第 642 行:为什么 Auto-thinking 的关键必须放在 RL
- 三级,第 653 行:Gate 训练的三层信号
- 二级,第 665 行:五、RL:GRPO/DAPO + 三阶段 + 分层 Reward
- 三级,第 667 行:算法
- 三级,第 694 行:Macro-turn
- 三级,第 702 行:分段 RL loss
- 三级,第 722 行:Reward 层级
- 三级,第 774 行:多维表格专用 Reward
- 四级,第 776 行:Schema 图正确性
- 四级,第 779 行:公式语义 Reward
- 四级,第 782 行:View 行为 Reward
- 四级,第 785 行:Automation 图 Reward
- 四级,第 788 行:数据与权限不变量
- 四级,第 791 行:最小改动 Reward
- 三级,第 794 行:Process Reward
- 三级,第 815 行:Gate Reward
- 三级,第 829 行:RL 三阶段(顺序不能反转)
- 四级,第 831 行:R0:Reward dry-run
- 四级,第 834 行:R1:正确性与恢复能力
- 四级,第 841 行:R2:Gate 与一次修复
- 四级,第 848 行:R3:Pareto 压缩
- 三级,第 857 行:线上 query 的 RL 数据工程
- 四级,第 859 行:Query 入池
- 四级,第 869 行:RL prompt 采样建议
- 四级,第 886 行:以"修复预算"约束一次修好
- 二级,第 896 行:六、六种训练崩溃模式与防护
- 三级,第 898 行:1. 永远 DIRECT
- 三级,第 917 行:2. 永远 THINK_SHORT
- 三级,第 936 行:3. 永远 REPLAN
- 三级,第 954 行:4. Token 熵塌缩
- 三级,第 977 行:5. Gate 决策边界塌缩
- 三级,第 987 行:6. Reward hacking
- 二级,第 1008 行:七、怎么证明 Auto-Thinking 真的有效
- 三级,第 1010 行:1. 强制模式 Oracle
- 三级,第 1014 行:2. 因果干预
- 四级,第 1016 行:Thinking 置空
- 四级,第 1022 行:Thinking 置换
- 四级,第 1025 行:Decision 干预
- 四级,第 1028 行:Expect 校验
- 三级,第 1034 行:3. 必做消融
- 三级,第 1050 行:4. 上线闸门
- 二级,第 1065 行:八、高阶模型的角色
- 三级,第 1067 行:分工公式
- 三级,第 1091 行:双教师视角
- 四级,第 1093 行:Privileged Critic
- 四级,第 1096 行:Blinded Actor
- 三级,第 1099 行:数据生产流水线
- 三级,第 1111 行:与学生分布一致的约束
- 二级,第 1122 行:九、落地时间线(7 步)
- 三级,第 1124 行:Step 1:建立评测与可重放环境
- 三级,第 1132 行:Step 2:审计 5,000 条 DIRECT 并补充冷启动数据
- 三级,第 1142 行:Step 3:高阶模型生成同状态反事实
- 三级,第 1149 行:Step 4:完成能力冷启动与轻量 Gate warm-start
- 三级,第 1155 行:Step 5:Reward dry-run
- 三级,第 1161 行:Step 6:R1/R2/R3 在线 RL
- 三级,第 1170 行:Step 7:周期性蒸馏与刷新
- 二级,第 1178 行:十、一句话总结
- 二级,第 241 行:一、要解决的根本问题
- 一级,第 1204 行:第三部分:核心概念深入解读
- 二级,第 1206 行:一、CoT 及其家族
- 三级,第 1208 行:1. 什么是 CoT(Chain-of-Thought,思维链)
- 三级,第 1231 行:2. CoT 的问题
- 三级,第 1243 行:3. CoT 的主要变体
- 三级,第 1254 行:4. 文档中的三档模式与 CoT 的关系
- 三级,第 1272 行:5. THINK_SHORT 的 token 预算
- 二级,第 1292 行:二、训练范式
- 三级,第 1294 行:1. SFT(Supervised Fine-Tuning,监督微调)
- 三级,第 1303 行:2. RFT(Rejection Sampling Fine-Tuning,拒绝采样微调)
- 三级,第 1313 行:3. RL(Reinforcement Learning,强化学习)
- 三级,第 1321 行:4. RLHF / RLVR / RLAIF
- 三级,第 1336 行:5. DPO(Direct Preference Optimization,直接偏好优化)
- 三级,第 1342 行:6. 课程学习(Curriculum Learning)
- 二级,第 1350 行:三、RL 算法
- 三级,第 1352 行:1. PPO(Proximal Policy Optimization,近端策略优化)
- 三级,第 1360 行:2. GRPO(Group Relative Policy Optimization,组相对策略优化)
- 三级,第 1376 行:3. DAPO(Dynamic Sampling, Length Control, and Clipping for Policy Optimization)
- 三级,第 1385 行:4. On-policy vs Off-policy
- 三级,第 1395 行:5. Advantage 与信用分配(Credit Assignment)
- 二级,第 1407 行:四、Auto-Thinking 特有概念
- 三级,第 1409 行:1. Gate token / Reasoning-mode token
- 三级,第 1424 行:2. Mode Regret(模式遗憾)
- 三级,第 1434 行:3. 同状态反事实比较(Counterfactual Comparison)
- 三级,第 1440 行:4. 模式塌缩(Mode Collapse)
- 三级,第 1449 行:5. Pareto 优化 / Pareto 压缩
- 二级,第 1457 行:五、工程与评估概念
- 三级,第 1459 行:1. ReAct(Reasoning + Acting)
- 三级,第 1465 行:2. CodeAct
- 三级,第 1469 行:3. Verifier vs JudgeRM
- 三级,第 1480 行:4. Process Reward(过程奖励)
- 三级,第 1489 行:5. Reward Hacking(奖励作弊)
- 三级,第 1497 行:6. 熵塌缩(Entropy Collapse)
- 三级,第 1503 行:7. 知识蒸馏(Distillation)
- 三级,第 1512 行:8. Loss Mask(损失掩码)
- 二级,第 1523 行:六、概念组合:完整训练流水线
- 二级,第 1206 行:一、CoT 及其家族
- 一级,第 1610 行:附录:Auto-Thinking 原始文档全文
- 二级,第 1614 行:0. 结论先行
- 二级,第 1666 行:1. 训练目标与评测口径
- 三级,第 1668 行:1.1 目标函数不是"少思考",而是"以最低总代价正确完成"
- 三级,第 1686 行:1.2 核心指标
- 三级,第 1710 行:1.3 建议的离线验收目标
- 二级,第 1726 行:2. 为什么"短思考链 + RL"通常优于"直接代码 + RL"
- 三级,第 1728 行:2.1 直接代码 RL 的学习信号过于稀疏
- 三级,第 1738 行:2.2 短 thinking 把大动作分解成可学习的中间变量
- 三级,第 1756 行:2.3 从数据密度看:一条轨迹不再只有一个终局标签
- 三级,第 1778 行:2.4 类比:终验、工单与资深工程师
- 三级,第 1788 行:2.5 必须保留的边界:thinking 不是天然可信
- 二级,第 1794 行:3. 最终 Auto-Thinking 架构
- 三级,第 1796 行:3.1 Gate 必须逐 turn 决策
- 四级,第 1834 行:Gate token 是否必需
- 四级,第 1847 行:推理成本与可见性
- 三级,第 1863 行:3.2 三种模式的精确定义
- 四级,第 1865 行:DIRECT
- 四级,第 1871 行:THINK_SHORT
- 四级,第 1879 行:REPLAN
- 三级,第 1887 行:3.3 THINK_SHORT 与 REPLAN 的核心区别
- 三级,第 1919 行:3.4 状态输入要先去噪
- 三级,第 1944 行:3.5 <thinking> 与reasoning.content
- 三级,第 1796 行:3.1 Gate 必须逐 turn 决策
- 二级,第 1952 行:4. 已有 5,000 条 DIRECT 后的增量 SFT 构成
- 三级,第 1954 行:4.1 默认配比
- 四级,第 1958 行:DIRECT:已有 5,000 条
- 四级,第 1969 行:THINK_SHORT:新增 600~800 条,默认 700 条
- 四级,第 1980 行:REPLAN:新增 100~200 条,默认 150 条
- 三级,第 2002 行:4.2 训练单位不要混淆
- 三级,第 2016 行:4.3 数据切分与线上分布
- 三级,第 1954 行:4.1 默认配比
- 二级,第 2024 行:5. SFT 轨迹如何判断 DIRECT、THINK_SHORT 与 REPLAN
- 三级,第 2026 行:5.1 最可靠的方法:同一状态的反事实模式比较
- 三级,第 2047 行:5.2 低成本启发式预标注
- 三级,第 2062 行:5.3 轨迹示例一:首次 DIRECT
- 三级,第 2082 行:5.4 轨迹示例二:修复仍然 DIRECT
- 三级,第 2109 行:5.5 轨迹示例三:THINK_SHORT 一次修复
- 三级,第 2138 行:5.6 轨迹示例四:噪声反馈下 THINK_SHORT
- 三级,第 2162 行:5.7 轨迹示例五:REPLAN
- 二级,第 2195 行:6. Recovery SFT 与 Loss Mask
- 三级,第 2197 行:6.1 Recovery suffix 从"正确恢复判断"开始
- 三级,第 2213 行:6.2 错误前缀为什么要保留
- 三级,第 2226 行:6.3 推荐 SFT loss
- 二级,第 2244 行:7. SFT 训练顺序:冷启动能力,不替代 RL
- 三级,第 2246 行:7.1 阶段 S1:模式分支能力冷启动
- 三级,第 2277 行:7.2 阶段 S2:轻量 Gate warm-start
- 三级,第 2299 行:7.3 阶段 S3:可选的联合小步 SFT
- 三级,第 2312 行:7.4 Gate warm-start 的关键不是标签数量,而是边界信息量
- 三级,第 2334 行:7.5 为什么 Auto-thinking 的关键必须放在 RL
- 三级,第 2355 行:7.6 Gate 训练的真正意义
- 四级,第 2369 行:分支能力 SFT
- 四级,第 2378 行:Gate warm-start
- 四级,第 2387 行:Gate RL
- 四级,第 2401 行:Forced-mode rollout 的 on-policy 边界
- 四级,第 2414 行:Gate 是否训练成功
- 二级,第 2422 行:8. 如何使用更强的高阶模型构建轨迹
- 三级,第 2424 行:8.1 最合理的分工
- 三级,第 2445 行:8.2 双教师视角
- 四级,第 2447 行:Privileged Critic
- 四级,第 2465 行:Blinded Actor
- 三级,第 2469 行:8.3 可落地的数据生产流水线
- 三级,第 2481 行:8.4 如何保证与学生分布一致
- 二级,第 2497 行:9. THINK_SHORT 的 token 预算
- 三级,第 2499 行:9.1 推荐默认值
- 三级,第 2513 行:9.2 160-token 硬上限为什么是合理起点
- 三级,第 2528 行:9.3 长度控制方式
- 三级,第 2532 行:9.4 必做预算消融
- 二级,第 2544 行:10. 线上 query 的 RL 数据工程
- 三级,第 2546 行:10.1 Query 入池
- 三级,第 2559 行:10.2 RL prompt 采样建议
- 三级,第 2581 行:10.3 以"修复预算"约束一次修好
- 二级,第 2599 行:11. RL Reward 体系
- 三级,第 2601 行:11.1 Reward 层级
- 三级,第 2655 行:11.2 现有两类 Reward 如何使用
- 四级,第 2657 行:编译/执行工具
- 四级,第 2661 行:JudgeRewardModel
- 三级,第 2667 行:11.3 建议新增的多维表格专用 Reward
- 四级,第 2669 行:Schema 图正确性
- 四级,第 2672 行:公式语义 Reward
- 四级,第 2675 行:View 行为 Reward
- 四级,第 2678 行:Automation 图 Reward
- 四级,第 2681 行:数据与权限不变量
- 四级,第 2684 行:最小改动 Reward
- 三级,第 2687 行:11.4 Process Reward
- 三级,第 2711 行:11.5 Gate Reward
- 二级,第 2727 行:12. RL 算法与 Loss 设计
- 三级,第 2729 行:12.1 推荐起点
- 三级,第 2760 行:12.2 Macro-turn
- 三级,第 2768 行:12.3 分段 RL loss
- 三级,第 2791 行:12.4 RL 分阶段
- 四级,第 2793 行:R0:Reward dry-run
- 四级,第 2797 行:R1:正确性与恢复能力
- 四级,第 2805 行:R2:Gate 与一次修复
- 四级,第 2813 行:R3:Pareto 压缩
- 二级,第 2825 行:13. 如何避免训练崩溃与模式塌缩
- 三级,第 2827 行:13.1 永远 DIRECT
- 三级,第 2846 行:13.2 永远 THINK_SHORT
- 三级,第 2865 行:13.3 永远 REPLAN
- 三级,第 2883 行:13.4 Token 熵塌缩
- 三级,第 2909 行:13.5 Gate 决策边界塌缩
- 三级,第 2922 行:13.6 Reward hacking
- 二级,第 2945 行:14. 怎样证明 Auto-Thinking 真的符合预期
- 三级,第 2947 行:14.1 强制模式 Oracle
- 三级,第 2951 行:14.2 因果干预
- 四级,第 2953 行:Thinking 置空
- 四级,第 2961 行:Thinking 置换
- 四级,第 2965 行:Decision 干预
- 四级,第 2969 行:Expect 校验
- 三级,第 2976 行:14.3 必做消融
- 三级,第 2992 行:14.4 Auto-thinking 的上线闸门
- 二级,第 3011 行:15. 推荐的完整落地时间线
- 三级,第 3013 行:Step 1:建立评测与可重放环境
- 三级,第 3022 行:Step 2:审计 5,000 条 DIRECT 并补充冷启动数据
- 三级,第 3033 行:Step 3:高阶模型生成同状态反事实
- 三级,第 3041 行:Step 4:完成能力冷启动与轻量 Gate warm-start
- 三级,第 3049 行:Step 5:Reward dry-run
- 三级,第 3056 行:Step 6:R1/R2/R3 在线 RL
- 三级,第 3066 行:Step 7:周期性蒸馏与刷新
- 二级,第 3077 行:16. 推荐的首版配置全览
- 二级,第 3218 行:17. 总结
- 二级,第 3259 行:参考资料
45. 多维表格 Code Agent 训练体系与 Auto-Thinking 完整解析
路径:feishu-internal/Base-AI飞书文档合集/260730 - Auto-Thinking - 用SFT与RL优化CodeAgent/versions/20260914-v1-完整解析.md
本机创建:2026-09-14 17:20:04;最后修改:2026-09-14 17:20:04;标题:290 条。
- 一级,第 1 行:多维表格 Code Agent 训练体系与 Auto-Thinking 完整解析
- 二级,第 9 行:目录
- 一级,第 40 行:第一部分:多维表格 Code Agent 训练体系总览
- 二级,第 42 行:一、核心架构:CodeAct
- 三级,第 46 行:执行链路
- 三级,第 54 行:CodeAct vs Function Calling
- 三级,第 63 行:关键组件
- 二级,第 70 行:二、数据合成方案
- 三级,第 74 行:1. 多 Agent 协作合成
- 三级,第 93 行:2. 蒸馏数据提取
- 三级,第 106 行:3. 数据增强策略
- 二级,第 113 行:三、训练方法论体系
- 三级,第 115 行:1. 直接 SFT(基线方法)
- 三级,第 119 行:2. 课程训练(当前主力,5 月建立)
- 三级,第 134 行:3. 多阶段混合训练(方法论指导)
- 三级,第 144 行:4. RL GRPO 训练(当前主力)
- 三级,第 159 行:5. Auto-Thinking 架构(下一代方案,探索中)
- 二级,第 168 行:四、当前训练进展与效果
- 三级,第 170 行:SFT 进展
- 三级,第 189 行:RL 第一版 E2E 评测(5,888 条有效轨迹)
- 三级,第 202 行:分模块诊断
- 三级,第 211 行:训练趋势(step 1→23)
- 三级,第 217 行:关键发现
- 二级,第 224 行:五、训练平台
- 二级,第 42 行:一、核心架构:CodeAct
- 一级,第 235 行:第二部分:Auto-Thinking 文档深度解读
- 二级,第 242 行:一、要解决的根本问题
- 三级,第 252 行:目标函数
- 三级,第 270 行:核心指标
- 三级,第 294 行:离线验收目标
- 二级,第 306 行:二、三档模式 + 逐 turn Gate
- 三级,第 308 行:为什么"短思考链 + RL"通常优于"直接代码 + RL"
- 三级,第 325 行:三种模式的精确定义
- 四级,第 327 行:DIRECT
- 四级,第 339 行:THINK_SHORT
- 四级,第 352 行:REPLAN
- 三级,第 366 行:THINK_SHORT 与 REPLAN 的核心区别
- 三级,第 391 行:Gate token 机制
- 四级,第 414 行:Gate token 的价值
- 四级,第 426 行:Runtime availability mask
- 三级,第 435 行:状态输入要先去噪
- 二级,第 460 行:三、数据策略:增量补充,不重新切分
- 三级,第 462 行:默认配比
- 四级,第 474 行:DIRECT:确保 post-feedback 覆盖
- 四级,第 485 行:THINK_SHORT:内部分类
- 四级,第 496 行:REPLAN:少而精
- 三级,第 505 行:模式标签怎么打
- 三级,第 538 行:Recovery SFT 与 Loss Mask
- 三级,第 556 行:推荐 SFT loss
- 三级,第 569 行:训练单位不要混淆
- 三级,第 462 行:默认配比
- 二级,第 578 行:四、SFT:三阶段,只冷启动不替代 RL
- 三级,第 580 行:S1:模式分支能力冷启动
- 三级,第 609 行:S2:轻量 Gate warm-start
- 三级,第 630 行:S3:可选的联合小步 SFT
- 三级,第 643 行:为什么 Auto-thinking 的关键必须放在 RL
- 三级,第 654 行:Gate 训练的三层信号
- 二级,第 666 行:五、RL:GRPO/DAPO + 三阶段 + 分层 Reward
- 三级,第 668 行:算法
- 三级,第 695 行:Macro-turn
- 三级,第 703 行:分段 RL loss
- 三级,第 723 行:Reward 层级
- 三级,第 775 行:多维表格专用 Reward
- 四级,第 777 行:Schema 图正确性
- 四级,第 780 行:公式语义 Reward
- 四级,第 783 行:View 行为 Reward
- 四级,第 786 行:Automation 图 Reward
- 四级,第 789 行:数据与权限不变量
- 四级,第 792 行:最小改动 Reward
- 三级,第 795 行:Process Reward
- 三级,第 816 行:Gate Reward
- 三级,第 830 行:RL 三阶段(顺序不能反转)
- 四级,第 832 行:R0:Reward dry-run
- 四级,第 835 行:R1:正确性与恢复能力
- 四级,第 842 行:R2:Gate 与一次修复
- 四级,第 849 行:R3:Pareto 压缩
- 三级,第 858 行:线上 query 的 RL 数据工程
- 四级,第 860 行:Query 入池
- 四级,第 870 行:RL prompt 采样建议
- 四级,第 887 行:以"修复预算"约束一次修好
- 二级,第 897 行:六、六种训练崩溃模式与防护
- 三级,第 899 行:1. 永远 DIRECT
- 三级,第 918 行:2. 永远 THINK_SHORT
- 三级,第 937 行:3. 永远 REPLAN
- 三级,第 955 行:4. Token 熵塌缩
- 三级,第 978 行:5. Gate 决策边界塌缩
- 三级,第 988 行:6. Reward hacking
- 二级,第 1009 行:七、怎么证明 Auto-Thinking 真的有效
- 三级,第 1011 行:1. 强制模式 Oracle
- 三级,第 1015 行:2. 因果干预
- 四级,第 1017 行:Thinking 置空
- 四级,第 1023 行:Thinking 置换
- 四级,第 1026 行:Decision 干预
- 四级,第 1029 行:Expect 校验
- 三级,第 1035 行:3. 必做消融
- 三级,第 1051 行:4. 上线闸门
- 二级,第 1066 行:八、高阶模型的角色
- 三级,第 1068 行:分工公式
- 三级,第 1092 行:双教师视角
- 四级,第 1094 行:Privileged Critic
- 四级,第 1097 行:Blinded Actor
- 三级,第 1100 行:数据生产流水线
- 三级,第 1112 行:与学生分布一致的约束
- 二级,第 1123 行:九、落地时间线(7 步)
- 三级,第 1125 行:Step 1:建立评测与可重放环境
- 三级,第 1133 行:Step 2:审计 5,000 条 DIRECT 并补充冷启动数据
- 三级,第 1143 行:Step 3:高阶模型生成同状态反事实
- 三级,第 1150 行:Step 4:完成能力冷启动与轻量 Gate warm-start
- 三级,第 1156 行:Step 5:Reward dry-run
- 三级,第 1162 行:Step 6:R1/R2/R3 在线 RL
- 三级,第 1171 行:Step 7:周期性蒸馏与刷新
- 二级,第 1179 行:十、一句话总结
- 二级,第 242 行:一、要解决的根本问题
- 一级,第 1205 行:第三部分:核心概念深入解读
- 二级,第 1207 行:一、CoT 及其家族
- 三级,第 1209 行:1. 什么是 CoT(Chain-of-Thought,思维链)
- 三级,第 1232 行:2. CoT 的问题
- 三级,第 1244 行:3. CoT 的主要变体
- 三级,第 1255 行:4. 文档中的三档模式与 CoT 的关系
- 三级,第 1273 行:5. THINK_SHORT 的 token 预算
- 二级,第 1293 行:二、训练范式
- 三级,第 1295 行:1. SFT(Supervised Fine-Tuning,监督微调)
- 三级,第 1304 行:2. RFT(Rejection Sampling Fine-Tuning,拒绝采样微调)
- 三级,第 1314 行:3. RL(Reinforcement Learning,强化学习)
- 三级,第 1322 行:4. RLHF / RLVR / RLAIF
- 三级,第 1337 行:5. DPO(Direct Preference Optimization,直接偏好优化)
- 三级,第 1343 行:6. 课程学习(Curriculum Learning)
- 二级,第 1351 行:三、RL 算法
- 三级,第 1353 行:1. PPO(Proximal Policy Optimization,近端策略优化)
- 三级,第 1361 行:2. GRPO(Group Relative Policy Optimization,组相对策略优化)
- 三级,第 1377 行:3. DAPO(Dynamic Sampling, Length Control, and Clipping for Policy Optimization)
- 三级,第 1386 行:4. On-policy vs Off-policy
- 三级,第 1396 行:5. Advantage 与信用分配(Credit Assignment)
- 二级,第 1408 行:四、Auto-Thinking 特有概念
- 三级,第 1410 行:1. Gate token / Reasoning-mode token
- 三级,第 1425 行:2. Mode Regret(模式遗憾)
- 三级,第 1435 行:3. 同状态反事实比较(Counterfactual Comparison)
- 三级,第 1441 行:4. 模式塌缩(Mode Collapse)
- 三级,第 1450 行:5. Pareto 优化 / Pareto 压缩
- 二级,第 1458 行:五、工程与评估概念
- 三级,第 1460 行:1. ReAct(Reasoning + Acting)
- 三级,第 1466 行:2. CodeAct
- 三级,第 1470 行:3. Verifier vs JudgeRM
- 三级,第 1481 行:4. Process Reward(过程奖励)
- 三级,第 1490 行:5. Reward Hacking(奖励作弊)
- 三级,第 1498 行:6. 熵塌缩(Entropy Collapse)
- 三级,第 1504 行:7. 知识蒸馏(Distillation)
- 三级,第 1513 行:8. Loss Mask(损失掩码)
- 二级,第 1524 行:六、深入理解:零和游戏、帕累托最优与 Mode Regret
- 三级,第 1526 行:1. 零和游戏(Zero-sum Game)
- 四级,第 1528 行:基本定义
- 四级,第 1536 行:经典例子
- 四级,第 1545 行:非零和游戏
- 四级,第 1552 行:在 Auto-Thinking 语境中的含义
- 三级,第 1562 行:2. 帕累托最优的数学公式
- 四级,第 1564 行:多目标优化的形式化
- 四级,第 1574 行:支配关系(Dominance)
- 四级,第 1588 行:帕累托最优(Pareto Optimality)
- 四级,第 1596 行:帕累托前沿(Pareto Front)
- 四级,第 1604 行:帕累托改进(Pareto Improvement)
- 四级,第 1612 行:文档中的字典序帕累托实现
- 四级,第 1630 行:为什么不用简单加权
- 四级,第 1638 行:帕累托在文档中的具体应用场景
- 三级,第 1664 行:3. Mode Regret(模式遗憾)
- 四级,第 1666 行:Regret 的一般概念
- 四级,第 1678 行:Mode Regret 的具体定义
- 四级,第 1698 行:效用 U(s, m) 是什么
- 四级,第 1706 行:怎么计算 Mode Regret
- 四级,第 1718 行:为什么 Mode Regret 是核心指标
- 四级,第 1731 行:Mode Regret 的分解
- 四级,第 1756 行:具体例子
- 三级,第 1814 行:4. 三个概念的串联
- 三级,第 1526 行:1. 零和游戏(Zero-sum Game)
- 二级,第 1826 行:七、概念组合:完整训练流水线
- 二级,第 1207 行:一、CoT 及其家族
- 一级,第 1913 行:附录:Auto-Thinking 原始文档全文
- 二级,第 1917 行:0. 结论先行
- 二级,第 1969 行:1. 训练目标与评测口径
- 三级,第 1971 行:1.1 目标函数不是"少思考",而是"以最低总代价正确完成"
- 三级,第 1989 行:1.2 核心指标
- 三级,第 2013 行:1.3 建议的离线验收目标
- 二级,第 2029 行:2. 为什么"短思考链 + RL"通常优于"直接代码 + RL"
- 三级,第 2031 行:2.1 直接代码 RL 的学习信号过于稀疏
- 三级,第 2041 行:2.2 短 thinking 把大动作分解成可学习的中间变量
- 三级,第 2059 行:2.3 从数据密度看:一条轨迹不再只有一个终局标签
- 三级,第 2081 行:2.4 类比:终验、工单与资深工程师
- 三级,第 2091 行:2.5 必须保留的边界:thinking 不是天然可信
- 二级,第 2097 行:3. 最终 Auto-Thinking 架构
- 三级,第 2099 行:3.1 Gate 必须逐 turn 决策
- 四级,第 2137 行:Gate token 是否必需
- 四级,第 2150 行:推理成本与可见性
- 三级,第 2166 行:3.2 三种模式的精确定义
- 四级,第 2168 行:DIRECT
- 四级,第 2174 行:THINK_SHORT
- 四级,第 2182 行:REPLAN
- 三级,第 2190 行:3.3 THINK_SHORT 与 REPLAN 的核心区别
- 三级,第 2222 行:3.4 状态输入要先去噪
- 三级,第 2247 行:3.5 <thinking> 与reasoning.content
- 三级,第 2099 行:3.1 Gate 必须逐 turn 决策
- 二级,第 2255 行:4. 已有 5,000 条 DIRECT 后的增量 SFT 构成
- 三级,第 2257 行:4.1 默认配比
- 四级,第 2261 行:DIRECT:已有 5,000 条
- 四级,第 2272 行:THINK_SHORT:新增 600~800 条,默认 700 条
- 四级,第 2283 行:REPLAN:新增 100~200 条,默认 150 条
- 三级,第 2305 行:4.2 训练单位不要混淆
- 三级,第 2319 行:4.3 数据切分与线上分布
- 三级,第 2257 行:4.1 默认配比
- 二级,第 2327 行:5. SFT 轨迹如何判断 DIRECT、THINK_SHORT 与 REPLAN
- 三级,第 2329 行:5.1 最可靠的方法:同一状态的反事实模式比较
- 三级,第 2350 行:5.2 低成本启发式预标注
- 三级,第 2365 行:5.3 轨迹示例一:首次 DIRECT
- 三级,第 2385 行:5.4 轨迹示例二:修复仍然 DIRECT
- 三级,第 2412 行:5.5 轨迹示例三:THINK_SHORT 一次修复
- 三级,第 2441 行:5.6 轨迹示例四:噪声反馈下 THINK_SHORT
- 三级,第 2465 行:5.7 轨迹示例五:REPLAN
- 二级,第 2498 行:6. Recovery SFT 与 Loss Mask
- 三级,第 2500 行:6.1 Recovery suffix 从"正确恢复判断"开始
- 三级,第 2516 行:6.2 错误前缀为什么要保留
- 三级,第 2529 行:6.3 推荐 SFT loss
- 二级,第 2547 行:7. SFT 训练顺序:冷启动能力,不替代 RL
- 三级,第 2549 行:7.1 阶段 S1:模式分支能力冷启动
- 三级,第 2580 行:7.2 阶段 S2:轻量 Gate warm-start
- 三级,第 2602 行:7.3 阶段 S3:可选的联合小步 SFT
- 三级,第 2615 行:7.4 Gate warm-start 的关键不是标签数量,而是边界信息量
- 三级,第 2637 行:7.5 为什么 Auto-thinking 的关键必须放在 RL
- 三级,第 2658 行:7.6 Gate 训练的真正意义
- 四级,第 2672 行:分支能力 SFT
- 四级,第 2681 行:Gate warm-start
- 四级,第 2690 行:Gate RL
- 四级,第 2704 行:Forced-mode rollout 的 on-policy 边界
- 四级,第 2717 行:Gate 是否训练成功
- 二级,第 2725 行:8. 如何使用更强的高阶模型构建轨迹
- 三级,第 2727 行:8.1 最合理的分工
- 三级,第 2748 行:8.2 双教师视角
- 四级,第 2750 行:Privileged Critic
- 四级,第 2768 行:Blinded Actor
- 三级,第 2772 行:8.3 可落地的数据生产流水线
- 三级,第 2784 行:8.4 如何保证与学生分布一致
- 二级,第 2800 行:9. THINK_SHORT 的 token 预算
- 三级,第 2802 行:9.1 推荐默认值
- 三级,第 2816 行:9.2 160-token 硬上限为什么是合理起点
- 三级,第 2831 行:9.3 长度控制方式
- 三级,第 2835 行:9.4 必做预算消融
- 二级,第 2847 行:10. 线上 query 的 RL 数据工程
- 三级,第 2849 行:10.1 Query 入池
- 三级,第 2862 行:10.2 RL prompt 采样建议
- 三级,第 2884 行:10.3 以"修复预算"约束一次修好
- 二级,第 2902 行:11. RL Reward 体系
- 三级,第 2904 行:11.1 Reward 层级
- 三级,第 2958 行:11.2 现有两类 Reward 如何使用
- 四级,第 2960 行:编译/执行工具
- 四级,第 2964 行:JudgeRewardModel
- 三级,第 2970 行:11.3 建议新增的多维表格专用 Reward
- 四级,第 2972 行:Schema 图正确性
- 四级,第 2975 行:公式语义 Reward
- 四级,第 2978 行:View 行为 Reward
- 四级,第 2981 行:Automation 图 Reward
- 四级,第 2984 行:数据与权限不变量
- 四级,第 2987 行:最小改动 Reward
- 三级,第 2990 行:11.4 Process Reward
- 三级,第 3014 行:11.5 Gate Reward
- 二级,第 3030 行:12. RL 算法与 Loss 设计
- 三级,第 3032 行:12.1 推荐起点
- 三级,第 3063 行:12.2 Macro-turn
- 三级,第 3071 行:12.3 分段 RL loss
- 三级,第 3094 行:12.4 RL 分阶段
- 四级,第 3096 行:R0:Reward dry-run
- 四级,第 3100 行:R1:正确性与恢复能力
- 四级,第 3108 行:R2:Gate 与一次修复
- 四级,第 3116 行:R3:Pareto 压缩
- 二级,第 3128 行:13. 如何避免训练崩溃与模式塌缩
- 三级,第 3130 行:13.1 永远 DIRECT
- 三级,第 3149 行:13.2 永远 THINK_SHORT
- 三级,第 3168 行:13.3 永远 REPLAN
- 三级,第 3186 行:13.4 Token 熵塌缩
- 三级,第 3212 行:13.5 Gate 决策边界塌缩
- 三级,第 3225 行:13.6 Reward hacking
- 二级,第 3248 行:14. 怎样证明 Auto-Thinking 真的符合预期
- 三级,第 3250 行:14.1 强制模式 Oracle
- 三级,第 3254 行:14.2 因果干预
- 四级,第 3256 行:Thinking 置空
- 四级,第 3264 行:Thinking 置换
- 四级,第 3268 行:Decision 干预
- 四级,第 3272 行:Expect 校验
- 三级,第 3279 行:14.3 必做消融
- 三级,第 3295 行:14.4 Auto-thinking 的上线闸门
- 二级,第 3314 行:15. 推荐的完整落地时间线
- 三级,第 3316 行:Step 1:建立评测与可重放环境
- 三级,第 3325 行:Step 2:审计 5,000 条 DIRECT 并补充冷启动数据
- 三级,第 3336 行:Step 3:高阶模型生成同状态反事实
- 三级,第 3344 行:Step 4:完成能力冷启动与轻量 Gate warm-start
- 三级,第 3352 行:Step 5:Reward dry-run
- 三级,第 3359 行:Step 6:R1/R2/R3 在线 RL
- 三级,第 3369 行:Step 7:周期性蒸馏与刷新
- 二级,第 3380 行:16. 推荐的首版配置全览
- 二级,第 3521 行:17. 总结
- 二级,第 3562 行:参考资料
补充:知识库工具技能
46. k2md — knowledge2md 短名入口
路径:_skills/k2md/SKILL.md
本机创建:2026-09-11 20:17:54;最后修改:2026-09-11 20:17:54;标题:3 条。
- 一级,第 8 行:k2md — knowledge2md 短名入口
- 二级,第 12 行:用法
- 二级,第 44 行:Agent 操作要求
47. knowledge2md / k2md — 知识源转离线 Markdown
路径:_skills/knowledge2md/SKILL.md
本机创建:2026-09-11 20:17:54;最后修改:2026-09-11 20:17:54;标题:16 条。
- 一级,第 12 行:knowledge2md / k2md — 知识源转离线 Markdown
- 二级,第 17 行:何时用
- 二级,第 25 行:原理(为什么要这样做)
- 二级,第 37 行:运行命令
- 二级,第 70 行:原文保存与二次解读(默认双层产物)
- 三级,第 74 行:来源原文:先原样归档,再另建解读版
- 三级,第 84 行:二次解读的语言与术语规范(强制)
- 三级,第 109 行:已有技术解读:允许在原解读上持续深化
- 二级,第 121 行:知识库语义命名(抓取后必做)
- 三级,第 123 行:先决定唯一正文落点
- 三级,第 165 行:Browser mode(低干扰可见内容提取)
- 二级,第 186 行:执行流程(agent 操作指引)
- 二级,第 203 行:让用户提供 bytetech cookie(仅 bytetech 链接 + 无有效缓存时)
- 二级,第 212 行:备选路径(cookie 麻烦时)
- 二级,第 217 行:微信图片高清化(找原图)
- 二级,第 234 行:已知边界 / 可扩展点