AI 工程
这里按“内容角色”而不是按某一个项目组织 AI 训练与 Agent 工程知识。项目落地入口见 Lark Base AI 后训练。
三类内容
| 分类 | 放什么 | 例子 |
|---|---|---|
| 框架与调研 | 跨论文综述、工程框架、方法比较和实践指南 | 后训练算法、Mid Training、Rubrics、Skill 演化、动态 Harness |
| 论文解读 | 围绕单篇或一组论文形成的证据化解读 | SkillOpt、LLM-as-a-Verifier、ARPO、AEPO、EnvScaler |
| 模型发布 | 模型技术报告和发布分析 | MAI-Thinking-1、Macaron-V1、GLM-5.3 |
按问题阅读
后训练与数据
- 多臂老虎机与 MDP 基础:探索与利用、遗憾、状态与价值函数,以及 MDP 扩展家族;附符号速查表,原稿实验数字尚未核验。
- 训练与推理搜索术语及 Judge-Fix 链路升级:串联 CPT、PRM、ORM、DPO、GRPO、MCTS 与 Test-Time Search,并映射到 Judge-Fix 的 Best-of-N、Beam Search 和 MCTS 升级路径。
- 大模型训练阶段与后训练算法速查:先对齐 CPT、SFT、偏好优化和 RL 的数据格式与目标。
- Mid Training 综述:理解中期训练的数据退火与能力衔接。
- 后训练算法精读:比较 SFT、GKD 与 RLSD 的信用分配。
- RLMT:将 RLVR 思维扩展到开放式对话:保留“Language Models that Think, Chat Better”的来源报道,记录模型奖励思维强化学习如何把显式推理引入开放式任务。
- verl HybridFlow:理解 RL 后训练系统如何编排计算与数据流。
Judge、Rubric 与 Verifier
- Rubrics 综述:结构化评价标准的全景入口。
- Rules of the Game:按生命周期理解 Rubric 的生成、使用与演化。
- LLM-as-a-Verifier:Verifier 的连续评分与推理时扩展。
- Contrastive SDF:识别 Reward-Seeking 与迎合评分器问题。
Skill、Harness 与 Agent 训练
- Trace as State:前置首轮推理轨迹引导长上下文重读;含公众号原文、论文、高清图及累计成本口径。
- SkillOpt 与 SkillOpt Lite:把 Skill/Harness 当成可搜索、可验证的文本状态。
- skill-evo:评测闭环驱动 Prompt 与 Skill 演化的工程实践。
- ReAct Trajectory Post-Training:Code Agent 轨迹构造与后训练指南。
- Virtual Tools:把 MCP 工具组合工程化。
环境反馈与自进化
- Agent 双层自进化:统一理解 Harness 演化与模型参数演化。
- EnvScaler 与 Agent-World:环境合成与可扩展 Agent 训练。
- SEED、ARPO、AEPO:技能增强、rollout 分叉与熵均衡优化。
原文与解读版
同一主题目录中若同时出现原文、解读版、深入解读 和 references/,它们共同组成一个知识单元:原文负责可追溯,解读负责阅读效率,参考资料负责证据补充。不要把这些文件重新拆散,也不要因为文件名相似就视为重复副本。