章节总览
世界模型与空间生成 / 06 · 正文
原目录

从系统结构与能力边界理解 Atlas,连接空间上下文、相机控制与世界生成。

Atlas 技术解读(二次解读)

1. 系统定位

Atlas 是 World Labs(李飞飞联合创立的空间智能公司)于 2026-09-01 发布的第三代世界模型系统,官方定位是"omni world model":一个从零预训练(pretrained from scratch)的统一架构,原生处理文本、图像、视频、3D 四类数据,把世界生成(generation)、重建(reconstruction)、仿真(simulation)三类任务放进同一个模型。官方称 Atlas 将驱动 Marble 等后续产品。

在 World Labs 自己的产品线中,Atlas 是前两个系统的收拢:

系统 时间 角色 输入 输出 开放程度
RTFM 2025-10 研究原型:实时"学到的渲染器" 带位姿的帧上下文 实时生成的帧 浏览器 demo
Marble 2025-11 商业产品:可编辑 3D 世界 文本/图/视频/粗 3D Gaussian splat、网格、视频 公开 UI 与 API
Atlas 2026-09 统一基础模型 文本/图像/相机位姿/深度 图像、视频、深度、点云、splat 仅合作伙伴早期访问

World Labs 2026-06 发布的功能分类法把世界模型按契约分为三类:渲染器(renderer,考察延迟与持久性)、模拟器(simulator,考察状态与动力学)、规划器(planner,考察动作与后果)。Atlas 处于"渲染器向模拟器过渡"的位置;它没有涉及规划器契约。

2. 术语与概念

世界模型(world model):对外部环境状态及其演化的内部模型。不同研究路线对它的契约要求不同(见第 6 节),Atlas 语境下指"能生成、重建、仿真任意世界外观与演化的模型"。

相机位姿(camera pose):相机在 3D 空间中的位置与朝向,通常表示为 6 自由度刚体变换。Atlas 把相机位姿作为原生输入类型,这是它区别于文本控制运镜的视频模型的关键点。

空间上下文(spatial context):Atlas 的核心概念。模型把多模态输入编码成一条序列,其中每张图像和深度图都附着显式相机位姿,被"钉"在 3D 空间的某个位置。普通视频模型的上下文语义是"时间轴上先后发生了什么";Atlas 的上下文语义是"从空间的哪些位置看到过什么"。生成即在此空间布置基础上推演序列的下一个元素。

自回归扩散 Transformer(autoregressive diffusion transformer):Atlas 的架构自述。序列层面自回归——逐元素生成,每个输出以序列中之前的所有内容为条件;元素层面扩散——每个连续输出(图像/深度图)通过迭代去噪生成。

Rectified flow(整流流):一类扩散生成模型,学习噪声到数据的近似直线路径。原文只用这一名称描述 Atlas 的去噪机制,未给出公式与实现细节。

潜空间扩散(latent diffusion):去噪发生在压缩的潜表示上而非原始像素上,以降低计算量。Atlas 官方称其为此类模型,并声明可复用扩散蒸馏、classifier-free guidance、shifted noise schedule、VAE 改进等成熟技术,但没有确认具体推理配方。

3D Gaussian splat(3D 高斯泼溅):用大量带位置、朝向、协方差、颜色的 3D 高斯基元表示场景,可在端侧高分辨率、高帧率渲染。Atlas 的显式 3D 输出格式之一,与 Marble 使用同一表示。

点云(point cloud):由逐像素深度融合得到的 3D 点集合,估计场景几何但不包含表面拓扑、语义与材质。

Real-to-Sim-to-Real(R2S2R):World Labs 2026-07 发布的机器人技术栈:从真实采集重建任务环境,标定观测与动力学,做物理属性随机化,在仿真中训练策略,并评估仿真表现能否预测真机表现。Atlas 在其中承担"重建 + 传感器视角生成"环节,而非全部。

KV-cache:Transformer 推理时缓存已计算 key/value 以避免重复计算的技术。原文指出 Atlas 作为自回归 Transformer 可复用 KV-cache、cache-aware routing、disaggregated serving 等 LLM 服务端技术;未说明哪些已实际部署。

3. 架构解读

原文确认的四个架构属性及其组合效果:

  1. Multimodal:文本、图像、相机位姿、深度图进入同一序列;视频表示为图像序列。每张图像/深度图都条件化于显式相机位姿。
  2. Autoregressive:逐元素生成。"任务即序列"——不同任务只是不同的输入→输出排列,这是单一架构覆盖多任务的机制。
  3. Diffusion:连续输出用 rectified flow 潜空间扩散生成;去噪步数可调,换取速度/质量权衡。
  4. Transformer:统一主干。

与两条相邻路线的差异:

  • 相比普通视频模型(如 Sora 类):上下文从时间序列变为空间布置,允许把时间上从未相邻的图像组合在同一上下文里,并沿指定相机轨迹查询模型。
  • 相比 RTFM:思想谱系相同(自回归扩散 Transformer、位姿一等公民、空间化上下文),但 Atlas 增加了深度/点云/splat 等显式 3D 输出和更高质量的离线生成,不再有实时性声明。官方未说明 Atlas 是否复用 RTFM 权重或 context juggling 机制,谱系关系属于未披露信息。

未披露项(原文完全没有给出):参数量、训练数据构成与来源、训练算力、编码器/tokenizer/VAE 细节、注意力模式、上下文长度上限、推理硬件、延迟、成本。

4. 能力逐项分析

4.1 相机可控生成

  • 输入 1~6 张参考图加显式相机轨迹,生成遵循运镜的图像/视频;展示过最长 1 分钟、1440p、手工设计运镜的成片。
  • 单图输入时,可见区域受照片约束,不可见区域由模型"想象"补全(例:生成机器人背面、猜测泳池边有草坪)。
  • 空间上下文支持一种新操作:把两张无关参考图放在 3D 空间不同位置,模型生成走廊、门洞等过渡结构把两者缝合。这是"端点约束下的生成",不是对真实中间场景的恢复。
  • 同一场景可反复更换运镜路径而保持一致。

4.2 空间重建

  • 支持 1 到 100+ 张带位姿输入图。输入越多,想象越少:官方演示从单张花园照片(周围建筑为想象)逐步加入小屋、主屋照片,想象区域逐块被证据替换。2~3 张视角通常即可给出"忠实"重建——"忠实"应理解为对可见证据的忠实,隐藏表面的合理性补全不在此列。
  • 斯坦福 Main Quad 演示:2~25 张地面照片,生成远超拍摄位置的空中俯瞰路径。
  • 显式 3D 输出:预测每帧深度 → 融合为点云 → 填补空洞转为 Gaussian splat。点云和 splat 不自动提供度量尺度、水密表面、拓扑、语义、材质或碰撞几何;原文未确认 Atlas 原生输出 mesh(mesh 导出是 Marble 的能力)。

4.3 时空仿真

  • 视频重构(bullet time):3~5 台普通手机/运动相机的视频即可重建场景并冻结时间、从任意新机位取景。需要注意:生成的新机位画面不是真实拍摄记录,在法律、新闻、安防场景必须显式标注。
  • 机器人导航:手机视频 24 帧重建大场景,模拟机器人沿不同路径导航,由同一模型生成机身相机应看到的 RGB 与深度——"世界本身和机器人眼中的世界来自同一个模型",用于缩小仿真与真实的视觉域差。
  • 机器人操作:从几段随手录制的视频辅助构建包含刚体、铰接、可变形物体交互的仿真,可批量变换物体、位姿、光照、背景以规模化生成训练数据。原文措辞是"aids in building"——动力学部分由 R2S2R 栈中其他组件承担,Atlas 本身的角色边界未公开。

4.4 图像生成

文生图与 360° 全景,支持复杂提示词、文字渲染、多风格。官方明言这是附带能力。

5. 基准结果与证据强度

5.1 相机控制人偏测试

第三方人类评审在"单图 + 1~3 个电影运镜(pan/truck/crane 等)"任务上二选一,Atlas 被偏好比例:MiniMax H3 75%、Gemini Omni Flash 81%、Happy Horse 1.1 86%、FLUX 3 93%、Seedance 2.5 94%,且轨迹越复杂优势越大。

证据边界:Atlas 拿到原生相机轨迹输入,对手只拿到文字描述——这是在 Atlas 自己的接口优势上的不对称对比,结论只覆盖"相机跟随"这一产品问题,不能外推为综合视频质量领先。原文未公开提示词集、样本数、评审人数、置信区间。

5.2 稀疏视角重建

逐像素预测 3D 点,指标为 absolute-relative 点图误差(越低越好),在 DTU、ETH3D、KITTI、NRGBD、7-Scenes、Tanks and Temples、ScanNet 七个数据集上评测。第三方转引的均值:Atlas 25.3,Pi3X(带位姿)28.7,π³ 34.7,VGGT-Ω 1B 36.4,Depth Anything 3 39.3,MapAnything 47.7。

证据边界:一个通用模型领先专用重建模型若属实是有分量的结果,但领先第二名约 11.8%(相对值),在 Tanks and Temples 上不及 VGGT-Ω;评测代码、预测结果、数据划分未公开,无第三方复现;指标只度量输入像素对应点的几何精度,不度量 splat 视觉质量、想象区域、时序一致性或生产可用性。

5.3 Scaling 声明

原文称训练了算力递增的模型系列,"每一级算力解锁了新能力"。这是方向性陈述,不是可复现的 scaling law。

6. 与其他世界模型范式的对照

路线 代表 预测目标 输出 核心取舍
潜空间 RL 世界模型 Dreamer 系、MuZero 决策所需的奖励/价值/隐状态 隐空间 rollout 不在乎像素对错,只服务策略学习
像素生成即模拟 Genie 3、Sora、Cosmos 未来像素 视频帧 交互/物理外观强,无显式 3D 可交付物
表征预测(非生成) V-JEPA 2 抽象表征空间中的未来 隐表征 省算力、可直接做 MPC 规划,放弃生成能力
空间条件生成 + 显式 3D Atlas / Marble 位姿条件下的像素与几何 图像/视频/深度/点云/splat 可交付 3D 资产,物理动力学未证明

Atlas 的独特性:相机几何与显式 3D 是模型的一等输入输出,而非生成前后处理的手工环节。这使它同时落在"渲染器"与"模拟器"两个契约之间。

7. 证据支持与不支持的内容

证据支持(demo 层面):

  • 生成与重建统一在单一模型、共享空间上下文;
  • 原生相机位姿输入带来精确的运镜控制;
  • 能产出可检视、可渲染、可接入现有管线的显式 3D(点云/splat);
  • 同一架构覆盖文本→图像、稀疏视角重建、视频重构、机器人传感器视角生成。

证据不支持:

  • 物理仿真:无证据表明 Atlas 自身计算度量尺度、碰撞、材质、力、刚体/可变形体动力学或动作条件的状态转移;
  • 测量 vs 想象:系统不提供不确定性图区分"观测到的"与"生成的"区域;
  • 工程现实:无公开 API/模型 ID(World API 当前只有 marble-1.0/1.1 系列)、无价格、无延迟、无 model card、无失败案例集;1 分钟成片的选择/重生成历史未披露;
  • 独立验证:所有基准均为公司自报,无第三方复现。

8. 工程启示

  • "空间上下文"把 LLM 的"上下文工程"平移到了 3D:上下文管理的对象从 token 序列变成带位姿的视觉证据集合。对做视觉 Agent / 世界模型的团队,这是一个可借鉴的接口设计——位姿作为一等输入,比文本描述运镜更可控。
  • 生成与重建的统一意味着"补全不可见区域"可以作为模型能力而非管线补丁存在,但下游若要区分观测与想象,需要额外的不确定性标注机制,Atlas 未提供。
  • splat 作为模型输出格式与 Marble 产品表示一致,说明 World Labs 在构建"模型—资产—产品"的闭环;对需要可编辑资产(语义、mesh、碰撞体)的工作流,当前仍需依赖 Marble 层的能力。
  • 在评测缺位的领域,采用官方 demo 做技术决策风险高;合理的观察点包括:Atlas 是否进入 World API、是否发布技术报告、第三方复现结果、以及它在 R2S2R 中的确切角色边界。