Cosmos World Foundation Model Platform for Physical AI(解读版)
元信息
- 一手来源:arXiv 2501.03575,标题 Cosmos World Foundation Model Platform for Physical AI
- 作者署名:NVIDIA(大型团队,首页列出的首位为 Niket Agarwal,共约 70 位作者,详单见论文附录 A)
- 版本历史:v1 提交于 2025-01-07(论文首次公开日期,目录命名即取此);v2 于 2025-03-18;v3 于 2025-07-09(当前最新版)
- 本地 PDF 原文:references/2501.03575.pdf(v3,正文约 58 页)
- 归档日期:2026-09-11
- 文档性质:二次解读。文中【论文事实】=原文明确陈述;【作者观点】=作者的立场或设想;【编者推断】=本文作者的解释性意见,三者分开标注。关键公式以"编者重构,非论文原式"方式重写并先交代变量。
符号速查表
| 符号 | 读法 | 含义 |
|---|---|---|
| x 0 到 t | 时刻 0 到 t 的视觉观测序列(本文中为 RGB 视频帧) | |
| x hat t+1 | 模型预测的 t+1 时刻观测 | |
| c t | 时刻 t 施加给世界的扰动(动作、文本、相机轨迹等) | |
| 花体 W | 世界基础模型(WFM)本体,即映射 | |
| 花体 E / D | tokenizer 的编码器 / 解码器 | |
| z 0 到 T 撇 | 编码后的 token 视频(潜空间表示) | |
| T / H / W | 视频帧数、高度、宽度 | |
| T 撇等 | 压缩后的 token 网格尺寸 | |
| C | 连续 token 的嵌入维度(Cosmos 连续 tokenizer 取 16) | |
| s T / s HW | 时间 / 空间压缩率,如 8×8×8 表示 、 | |
| sigma | 扩散加噪的噪声水平(EDM 框架中的噪声标准差) | |
| sigma data | 训练数据分布的标准差,EDM 加权用 | |
| D theta | 去噪网络(denoiser),参数为 | |
| 高斯噪声 | 均值为 0、协方差 的各向同性高斯噪声 | |
| P mean / P std | 训练时采样噪声水平 的对数正态分布参数 | |
| lambda sigma | EDM 中各噪声水平的损失权重 | |
| u sigma | 不确定性加权函数(小 MLP 实现),论文在 EDM 之上新增 | |
| L1 损失 | 重建像素逐点绝对差 | |
| 感知损失 | VGG-19 特征空间的 L1 差, 为第 层权重 | |
| 光流 / Gram 损失 | tokenizer 二阶段的时间平滑损失 / 锐度损失 | |
| v i | 离散视频 token 序列中的第 i 个(整数索引) | |
| 大写 Theta | 自回归 Transformer 的参数 | |
| NLL 损失 | 负对数似然(交叉熵)训练目标 | |
| gamma | QK-Norm 中可学习的注意力缩放因子(替代固定的 ) | |
| z i / lambda | z-loss 中的 logit 值与其惩罚系数(论文取 ) | |
| 桑普森误差 | 点到对极线距离的一阶近似,衡量几何一致性 | |
| F / S | 基础矩阵 / 投影选择矩阵 | |
| 齐次坐标点 | 两视图中第 i 对匹配特征点 | |
| 普吕克坐标 | 相机射线表示: 为单位方向,, 为相机中心 | |
| 旋转 / 平移误差 | 相机轨迹重估计误差 | |
| R i / t i | 第 i 帧的真值旋转 / 平移;带 hat 者为重估计值 |
一、研究问题与路线定位
问题:物理 AI(Physical AI,指带有传感器和执行器、能在真实物理世界中观察与行动的 AI 系统,如机器人、自动驾驶车)的训练数据必须包含"观测-动作"交错序列。真实采集昂贵且有破坏性——探索性动作可能损坏设备或环境。相比之下,文本与图像领域靠数据规模化取得了进展,物理 AI 的数据规模化却进展缓慢(【论文事实】,引言)。
作者的解法主张:用世界模型作为物理世界的数字替身来缓解数据问题。论文给出 WFM 的正式定义(【论文事实】,§2):
即 WFM 是一个条件视频预测模型:输入历史观测视频 与当前扰动 (动作、文本描述、相机轨迹等),输出下一步的观测。注意:论文明确承认 在预训练阶段只是文本或视频上下文,动作条件只在后训练示例中出现。
平台定位(【论文事实】,§2.2):Cosmos 把 WFM 分成两类——
- 预训练 WFM:在大规模多样视频上训练的通才模型;
- 后训练 WFM:用目标物理 AI 环境采集的"prompt-视频"配对数据微调出的专才模型,数据量可以小得多。
平台共五个组件:视频策展管线(Video Curator)、视频 tokenizer、预训练 WFM、后训练示例、安全护栏(Guardrail)。
下游用法清单(【作者观点】,§2.1,论文明确声明本节无任何实证):策略评估(policy evaluation,在 WFM 内评测策略而不部署真机)、策略初始化、策略训练(WFM 配合奖励模型做强化学习环境)、规划或模型预测控制(MPC,Model Predictive Control:用世界模型滚动模拟多条动作序列、选代价最低者执行一段、再重新规划的滚动时域控制方法)、合成数据生成(含以深度图/语义图等渲染元数据为条件的 Sim2Real 用途)。
【编者注】论文开源发布对应 Cosmos-Predict1 家族(Text2World / Video2World)。用户常提到的 Cosmos-Transfer(多模态控制、Sim2Real 数据增广)是论文发布后的后续产品线,本文不覆盖;其思想在 §2.1 的"conditioned on rendering metadata"一句中已埋下伏笔。
开放程度(【论文事实】):模型权重按 NVIDIA Open Model License 开放,tokenizer 与预训练 WFM 均可在 NVIDIA Cosmos 仓库获取;ShotBench、TokenBench 两个评测集开源。
预训练模型族全览(【论文事实】,表 10;命名规则 Cosmos-Predict1-<规模>-<任务>):
| 族 | 模型 | 条件输入 | 配套 tokenizer |
|---|---|---|---|
| 扩散 | Cosmos-Predict1-7B / 14B-Text2World | 文本 | Cosmos-Tokenize1-CV8×8×8-720p |
| 扩散 | Cosmos-Predict1-7B / 14B-Video2World | 文本 + 历史视频帧 | 同上 |
| 自回归 | Cosmos-Predict1-4B / 12B | 无(纯视频预测) | Cosmos-Tokenize1-DV8×16×16-720p |
| 自回归 | Cosmos-Predict1-5B / 13B-Video2World | 文本 + 历史视频帧 | 同上 |
| 增强器 | Cosmos-UpsamplePrompt1-12B-Text2World | 用户短提示 → 长提示 | 基于 Mistral-NeMo-12B 微调 |
| 增强器 | Cosmos-Predict1-7B-Decoder-DV8×16×16ToCV8×8×8-720p | 离散 token → 连续 token | 由 7B-Text2World 微调 |
两个增强器分别解决"用户提示与训练提示分布不匹配"与"离散 tokenizer 重建偏糊"两个工程缺口,见 §2.3、§2.4。
二、方法
2.1 数据策展管线(§3)
原始素材:约 2000 万小时视频(720p–4K,自有 + 公开互联网视频),目标分布按物理 AI 场景配比(【论文事实】):
| 视频类别 | 占比 | 与物理 AI 的关系 |
|---|---|---|
| 自然动态 | 20% | 通用物理动态先验 |
| 手部运动与物体操作 | 16% | 机器人操作 |
| 空间感知与导航 | 16% | 导航、空间推理 |
| 驾驶 | 11% | 自动驾驶 |
| 人体运动与活动 | 10% | 人形机器人模仿对象 |
| 第一人称视角 | 8% | 具身观测分布 |
| 动态运镜 | 8% | 相机运动先验 |
| 合成渲染 | 4% | 仿真来源数据 |
| 其他 | 7% | — |
产出约 条预训练片段(2–60 秒)、 条微调片段。
五步流程(每步的输入输出):
- 切分(Splitting):输入原始长视频,输出 2–60 秒的单镜头片段。切分的必要性:视频中的镜头切换(如从厨房对话切到草原动物)是人为剪辑而非物理过程,不切分会让模型学到虚假的"场景瞬移"动态。镜头边界检测在自建基准 ShotBench(含 BBC Planet Earth、RAI、ClipShots、SHOT 四个数据集,已开源)上比较了四种算法:基于 HSV 颜色直方图阈值的 PySceneDetect、Panda70M 管线、以及两个端到端网络 TransNetV2 与 AutoShot。端到端方案明显占优:BBC 上 TransNetV2 F1 0.967 vs PySceneDetect 0.889;ClipShots 上 0.726 vs 0.477。作者最终选 TransNetV2,理由是难例表现更好且纯网络方案易用 GPU 加速。之后用 GPU 硬件编解码器(NVDEC 解码 + h264_nvenc 编码 + PyNvVideoCodec 替代 ffmpeg 驱动)统一转码为高码率 mp4,整套优化使转码吞吐提升约 6.5 倍(0.0574→0.3702 视频/秒);H100 没有硬件编码器(只有 NVDEC),有 NVENC 的 L40S 在此环节吞吐高 17%。
- 过滤(Filtering):四路过滤器——运动过滤(基于 TensorRT 光流的 ViT 分类器,剔除静止/手持抖动片段并给运镜打标签);视觉质量过滤(DOVER 类质量模型剔除后 15%,美学模型阈值 3.5,作者说明美学对物理 AI 不重要所以阈值宽松);文字覆盖过滤(InternVideo2 嵌入 + MLP 分类器剔除后期加字幕的视频,保留场景中固有文字);视频类型过滤(剔除游戏画面、动画、抽象图案,上调人机交互类占比)。
- 标注(Annotation):用内部 13B 参数 VILA 模型为每 256 帧生成一段视频描述(平均 97 词),FP8 量化 TensorRT-LLM 推理比 PyTorch FP16 基线快约 10 倍。
- 去重(Deduplication):复用过滤阶段的 InternVideo2 嵌入做语义去重(SemDeDup 式:k-means 聚类 k=10000,簇内成对距离),删除约 30% 数据,保留最高分辨率版本。
- 分片(Sharding):按分辨率、宽高比、时长打包成 WebDataset,对齐分阶段训练课程。
工程底座是 AnyScale Ray 流式管线,把数据传输、NVDEC 解码、GPU 计算并行化,调度器自动扩缩各阶段以保持吞吐均衡(【论文事实】,§3.7)。
2.2 视频 Tokenizer(§4)
是什么:tokenizer 把原始视频压缩成紧凑 token,WFM 在 token 空间训练以控制计算量。重建关系为(论文式 1):
编码器 把 的输入压成 的 token 视频,解码器重建。训练目标是让瓶颈表示尽量保住视觉信息。
连续 vs 离散对照(容易混淆,单独列出):
| 维度 | 连续 tokenizer(CV/CI) | 离散 tokenizer(DV/DI) |
|---|---|---|
| 输出 | 16 维连续向量 | 整数索引(FSQ 量化,6 维、级数 (8,8,8,5,5,5),词表 64,000) |
| 潜空间形式 | 普通自编码器 AE(不加 KL 先验) | FSQ(Finite Scalar Quantization,有限标量量化:把每维连续值四舍五入到有限个离散级别;替代 VQ-VAE(Vector Quantized VAE),免去 commitment loss) |
| 服务对象 | 扩散 WFM | 自回归 WFM |
| 视频压缩率档位 | 4×8×8、8×8×8、8×16×16 | 同左 |
| 重建质量 | 更高(DAVIS 上同档位 PSNR 高约 3 dB) | 较低,压缩更狠 |
关键设计(【论文事实】):
- 时间因果性:全部用因果时间卷积与因果时间注意力,当前帧的 token 不依赖未来帧。好处有二——单帧输入时同一网络就是图像 tokenizer(支持图文联合训练);与物理 AI 所处的因果世界对齐(部署时模型只能看到过去和现在)。
- 在小波空间工作:先做 2 级 3D Haar 小波变换,把输入帧按 分组并在 x/y/t 三个维度各降采样 4 倍,消除像素冗余后,后续编码器层专注语义压缩;各级编码器以时间因果方式逐组处理。
- 网络结构:残差块与降采样块交错;每块内先做 空间卷积再做 时间卷积(时空分解 3D 卷积),时间卷积用左填充 保证因果;末级用全局感受野的因果时空自注意力捕捉长程依赖;激活函数 Swish;用 LayerNorm 而非 GroupNorm,防止潜空间或重建输出出现局部异常大值。
- 第一个时间 token 单独表示首帧,使 (图像)与 (视频)共享同一潜空间;支持 1:1、3:4、4:3、9:16、16:9 五种宽高比,且推理时对时长不敏感(可 tokenize 比训练时更长的视频)。
- 训练:图文交替 mini-batch;只监督解码器最终输出,不加 KL 先验或 commitment 等潜空间辅助损失。一阶段用 L1 + VGG-19 感知损失;二阶段加光流损失(约束重建视频的帧间光流与原始一致,保证时间平滑)与 Gram 矩阵损失(匹配 VGG 特征的 Gram 矩阵,提升锐度),高压缩率档位再加对抗损失。
结果(【论文事实】,表 5–8):DAVIS 视频基准上,连续 tokenizer Cosmos-Tokenize1-CV4×8×8-360p 达 PSNR 35.85 / SSIM 0.920 / rFVD 10.06,对比同档位 CogVideoX tokenizer(VAE 式)29.29 / 0.864 / 19.58,作者宣称约 +4 dB 重建质量;离散 tokenizer Cosmos-Tokenize1-DV4×8×8-360p 达 PSNR 32.97,对比 Omni-Tokenizer 20.02。同一 tokenizer 命名规则为 Cosmos-Tokenize1-{CV|DV|CI|DI}-时间×高×宽-训练分辨率,其中 C/V/I/D 分别对应连续视频/离散视频/连续图像/离散图像。推理速度比已有 tokenizer 快至 12 倍,单张 A100-80GB 可一次编码 8 秒 1080p 或 10 秒 720p 视频且推理时对时长不敏感(可超出训练时长)。论文同时开源 TokenBench(面向物理 AI 场景的 tokenizer 评测集,由 BDD100K、EgoExo-4D、BridgeData V2、Panda-70M 各抽 100 段组成,覆盖鱼眼、机器人、驾驶、第一人称等类别)。
2.3 预训练范式一:扩散 WFM(§5.1)
【编者重构,非论文原式】训练基于 EDM(Elucidating the Design Space of Diffusion Models)框架。变量对应: 是干净视频潜 token(由连续 tokenizer 产生), 是高斯噪声, 是要学的去噪网络。目标:
总损失对各噪声水平做加权期望:(编者重构,合并论文式 5–8)。其中 ; 保证训练初期各噪声水平贡献相等。论文相对 EDM 的增量是把多噪声水平训练当作多任务学习,引入小 MLP 参数化的不确定性函数 :模型对某噪声水平越不确定( 越大)该任务权重越低,同时正则项压低 ,即 Kendall 式不确定性加权的移植。作者说明 EDM 与 flow matching 在理论上等价(引 Gao et al. 2024),实践中未遇到 EDM 的性能瓶颈(【作者观点】)。
架构:DiT(Diffusion Transformer,把扩散去噪网络换成 Transformer 的架构)改造:3D patchify();FPS 感知的 3D 分解 RoPE(Rotary Position Embedding,旋转位置编码;把时间/高/宽三维位置分别编码,按视频帧率缩放时间频率,配合 NTK-RoPE 支持渐进式训练中外推分辨率与时长);每层再叠加可学习绝对位置嵌入(减少 morphing 伪影);文本条件经 T5-XXL 嵌入走交叉注意力;QK-Norm(对 query/key 做 RMSNorm 稳定注意力);AdaLN-LoRA(把自适应层归一化的大投影矩阵做低秩分解,7B 模型参数从 11B 降到 7B 而指标持平,【论文事实】)。
模型配置(【论文事实】,表 11):7B 版为 28 层、模型维度 4096、FFN 维度 16384、32 个注意力头、AdaLN-LoRA 秩 256;14B 版为 36 层、维度 5120、FFN 20480、40 头。优化器 AdamW(;作者报告更小的 betas 与 eps 显著减少 loss spike,14B 训练全程未出现不可恢复的 loss spike)。
训练:文本到世界(Text2World)→ 视频到世界(Video2World)两步。Video2World 把条件帧与噪声输入在时间维拼接、通道维加二值掩码区分条件帧与待生成帧,条件帧区域不计损失;训练时对条件帧加噪(噪声水平采样取 )以增强对推理时输入帧质量波动的鲁棒性;训练时随机变化条件帧数量,推理时单张图或多帧历史均可用。长视频生成靠自回归滚动:第一段以单张图为条件,后续各段以前一段的最后 9 帧为条件。
图文联合训练与课程:图像与视频 batch 交替训练。作者发现图像 batch 的损失收敛快于视频 batch,归因于视频帧间的时间冗余摊薄了梯度,对策是把视频 batch 的噪声水平按帧数平方根放大。潜空间按帧、按通道做标准化,使图像与视频潜表示的分布对齐、信噪比一致——论文给出的额外好处是 tokenizer 中途更新时模型也能适配。渐进式课程:512p(640×512)× 57 帧 → 720p(1280×704)× 121 帧 → 高质量子集微调约 1 万步(学习率线性衰减)。按宽高比分 5 桶(1:1、3:4、4:3、9:16、16:9)采样,最长边缩放 + 反射填充,填充掩码送入网络。混合精度训练:BF16/FP32 双份权重,去噪损失放大 10 倍以稳定梯度。
文本条件与引导:文本用 T5-XXL 编码、零填充到固定 512 token。采用无分类器引导(CFG,Classifier-Free Guidance:训练时随机丢弃条件、推理时放大"有条件-无条件"预测之差的采样技术);与常见做法不同,论文不在训练时把文本嵌入随机清零,理由是推理期负向提示词已足够。作者观察到一个值得记录的现象:图像生成在低引导值下质量已很好(归因于数据质量),视频生成则需要较高引导值——他们把 CFG 的作用解读为"向偏好的视觉内容做模式搜索",并认为精细的数据筛选能起到类似作用(【作者观点】)。
规模与并行(【论文事实】):全部模型在 1 万张 H100 上训练约 3 个月。14B 模型参数+梯度+优化器约 280 GB、激活约 310 GB,用 FSDP(Fully Sharded Data Parallelism,参数/梯度/优化器状态分片)factor 64 把前者摊到约 4 GB/卡,用 CP(Context Parallelism,沿序列维切分注意力)CP_SIZE=8 把激活摊到约 40 GB/卡。刻意不用 TP/SP(Tensor/Sequence Parallelism),作者宣称 MFU(Model FLOPs Utilization,硬件算力利用率)与 HunyuanVideo、MovieGen 的方案相当。
Prompt 上采样器:用户提示短、训练描述长且风格固定,存在分布差。扩散线用 Mistral-NeMo-12B-Instruct 微调出 Cosmos-UpsamplePrompt1-12B(训练对用 VLM 从长描述反生成短描述);Video2World 线直接用 Pixtral-12B 零样本改写。【作者观点】自回归模型未从提示上采样受益,猜测因其大部分预训练是纯视频预测、文本条件训练不足。
2.4 预训练范式二:自回归 WFM(§5.2)
视频经离散 tokenizer 变成整数序列 ,训练目标为逐 token 负对数似然(论文式 9):
即把视频预测写成与 GPT 相同的下一 token 预测。
架构:从零训练的 Llama3 式解码器 Transformer(无语言先验),词表 64,000;3D RoPE + 正弦式 3D 绝对位置嵌入;时间轴用 YaRN(一种 RoPE 上下文长度外推技术)支持渐进拉长序列;文本经 T5-XXL 交叉注意力注入;QK-Norm 配可学习缩放 ;加 z-loss(,)抑制 logit 爆炸,作者称对多节点扩展的梯度稳定"关键"。
训练课程:阶段 1 纯视频预测(首帧条件、17 帧上下文)→ 阶段 1.1 上下文扩到 34 帧(YaRN)→ 阶段 2 加入文本交叉注意力(得到 Video2World 版)→ 用高质量数据"冷却"(学习率线性降到 0,3 万步)。固定空间分辨率 640×1024。模型族(表 14):4B / 12B 为 16 层/40 层、模型维度 4096/5120、SwiGLU 激活、32 头注意力(KV 头 8 个,即 GQA 式配置的词表外说明:论文明确未用 MQA/GQA 省内存的注意力变体,KV 头数见配置表);Video2World 版因新增交叉注意力层从 4B/12B 增至 5B/13B。词表 64,000。
【编者注】5.2.2 节称模型"没有采用 MQA/GQA",而表 14 列出 KV 头数 8 < Q 头数 32,两处表述存在张力;以表格配置为准则实际是分组查询注意力。原文如此,读者引用时需注意。
推理优化:KV 缓存 + TP + torch.compile(gpt-fast 路线);Medusa 投机解码(Speculative Decoding:在主干尾部加多个解码头并行猜测后续 token,再用主模型验证接受),Medusa 头是带 SiLU 激活与残差连接的单层 FFN,多个头的权重合并为单个 FFN 计算。消融发现(表 15,8×H100、50 段 640×1024 测试视频):只微调 Medusa 头效果差、全量微调导致质量退化,最佳方案是冻结主干、只解冻最后两层 Transformer 加最终 unembedding 层;头数从 0 增到 9 时前向次数从 7680 降到 1812,但 12 个头时吞吐反而下降,9 头为最佳折中——4B 模型 token 吞吐提升至多 2.0 倍、前向次数降至 1/4.6;5B 模型提升至多 3.2 倍。再叠加 320×512 低分辨率适配(tokenizer 与 WFM 都在目标域低分辨率数据上微调),4B 模型在 8×H100 上达到 806.61 token/秒、约 10 帧/秒——作者以此论证 10 FPS 下的"实时视频生成"(【论文事实】,表 16–17;注意这是低分辨率、Physical AI 域数据上的指标)。
扩散解码器(Diffusion Decoder):离散 tokenizer 压缩狠(8×16×16),直接解码偏糊。做法:把预训练的 7B 扩散 WFM 微调成一个"条件去噪器"——条件输入是离散 token 视频(查表嵌入为 16 维向量、上采样 2 倍、通道维拼接),去噪目标是连续 token 视频(8×8×8),再由连续 tokenizer 解码成 RGB。推理两步走:自回归模型出离散 token → 扩散解码器转成连续 token → 解码出像素。
2.5 后训练示例(§6)
三个场景证明"预训练 WFM + 小数据后训练"范式。所有模型名带 -Sample 后缀,论文强调只是示例、非生产系统(【论文事实】)。后训练模型与条件输入对照(表 21):
| 后训练模型 | 条件输入 | 场景 |
|---|---|---|
| 7B-Video2World-Sample-CameraCond | 文本 + 图像 + 相机位姿 | 可导航 3D 世界 |
| 7B / 5B-Video2World-Sample-Instruction | 文本指令 + 视频 | 机器人操作(指令跟随预测) |
| 7B / 5B-Video2World-Sample-ActionCond | 动作向量 + 视频 | 机器人操作(下一帧预测) |
| 7B-Text2World-Sample-MultiView(+TrajectoryCond) | 文本(+ 轨迹) | 自动驾驶六视角生成 |
| 7B-Video2World-Sample-MultiView | 文本 + 视频 | 自动驾驶长视频扩展 |
- 相机控制(§6.1):在 7B-Video2World 上加入相机位姿条件。具体做法:每帧相机位姿换算成 Plücker 坐标(普吕克坐标:用射线方向 与矩 表示相机到每个潜空间像素的射线,共 6 维),与潜 token 按通道拼接;时间压缩 8 倍,每 8 帧取第 4 帧的位姿。数据为 DL3DV-10K(用 GLOMAP 运动恢复结构标注位姿)。产物即"可导航虚拟世界":给定单张图 + 相机轨迹,生成符合轨迹的 3D 一致视频,支持摇杆式交互。
- 机器人操作(§6.2):两个任务——指令条件视频预测(内部 Cosmos-1X 数据集:约 200 小时、1.2 万条 1X EVE 人形机器人第一人称片段)与动作条件下一帧预测(公开 Bridge 数据集,7 维末端动作向量 ;扩散版把动作 MLP 嵌入加到时间戳嵌入,自回归版走交叉注意力)。动作序列可自回归滚动出整段执行视频。
- 自动驾驶(§6.3):内部 RDS 数据集(约 360 万条 20 秒六视角环视片段,约 2 万小时,六视角为前/左/右/后/左后/右后,以前置相机时间戳同步各视角)。数据采集按目标属性分布筛选:他车密度、天气(晴/雨/雪/雾)、光照(昼/夜)、自车速度、自车行为(曲率与加速度分档)、道路类型/人口密度(依 OpenStreetMap 定义的乡村/住宅/城市),并针对收费站、桥梁、隧道、减速带等稀有道路结构做二次挖掘。把 7B-Text2World 微调成六视角联合生成:各视角共享位置嵌入、另加全局视角嵌入;交叉注意力按视角独立(每个视角只注意自己的文本描述,每视角文本以固定模板开头标明机位朝向);可选轨迹条件(64 个 0.1 秒间隔的 3D 点,嵌入后注入去噪器)。输出 6 视角 × 57 帧 × 848×480,可由 Video2World 版扩展到 201 帧(约 8 秒)。
2.6 Guardrail(§7)
两段式护栏:Pre-Guard(文本域)= 关键词黑名单(WordNet 词形还原后匹配硬编码词表)+ Aegis(Llama-Guard 在 NVIDIA 内容安全数据集上微调的版本,覆盖 13 类安全风险,取防御性更严格的 defensive 版本;被判定为 unsafe 的类别包括暴力、性内容、犯罪策划、武器、药物滥用、自杀、儿童性虐待材料、仇恨、骚扰、威胁、脏话,不在类别内的提示视为安全);Post-Guard(视觉域)= 视频内容安全分类器(SigLIP 帧嵌入 + MLP 多分类器,逐帧判定、任一帧不安全则整段拦截;训练数据三来源:VLM 标注的真实视频帧、用 WFM 生成的合成边角案例、人工金标)+ 人脸模糊(RetinaFace 检测,大于 20×20 像素的人脸区域像素化,论文说明这是为物理 AI 场景保留画面其余部分)。另有红队机制:用内部攻击提示库逐组件探测护栏弱点,专家标注员按 1–5 分对多类伤害评级并标注不安全内容的起止帧;截至发表已测试标注超 1 万对 prompt-视频(【论文事实】)。
三、实验设置与结果
评测指标小词典(编者补充,便于没读过原文的读者对照后文数字):
| 指标 | 全称与定义 | 方向 |
|---|---|---|
| PSNR | Peak Signal-to-Noise Ratio,峰值信噪比,逐像素重建误差的对数刻度 | 越高越好 |
| SSIM | Structural Similarity Index Measure,结构相似度,比较亮度/对比度/结构 | 越高越好 |
| LPIPS | Learned Perceptual Image Patch Similarity,用深度特征衡量的感知差异 | 越低越好 |
| DreamSim | 基于视觉基础模型特征的图像相似度 | 越高越好 |
| FID | Fréchet Inception Distance,生成与真实图像在 Inception 特征空间分布的弗雷歇距离 | 越低越好 |
| FVD | Fréchet Video Distance,FID 的视频版(时序特征) | 越低越好 |
| rFVD / rFID | 重建(reconstruction)设定下的 FVD / FID,即 tokenizer 重建视频与原始视频比较 | 越低越好 |
| IoU | Intersection over Union,预测与真值掩码的交并比 | 越高越好 |
| Sampson 误差 | 匹配点到对极线距离的一阶近似,衡量两视图几何一致性 | 越低越好 |
| TSE / CSE | 时间维 / 跨视角的 Sampson 误差(论文为自动驾驶多视角场景扩展) | 越低越好 |
| TAE | Trajectory Agreement Error,用两套相机组合分别估计轨迹的一致性 | 越低越好 |
| TFE | Trajectory Following Error,生成视频重估轨迹与输入轨迹条件的偏差 | 越低越好 |
| MFU | Model FLOPs Utilization,实际训练吞吐相对硬件理论峰值的占比 | 越高越好 |
3D 一致性(§5.3.1,表 19):RealEstate10K 测试集 500 段静态场景视频,用 Sampson 误差(对极几何约束的一阶近似误差,用 SuperPoint + LightGlue 提特征匹配、OpenCV 8 点 RANSAC 估计基础矩阵,误差按 960×540 画布对角线归一化)和相机位姿估计成功率衡量几何一致性;另用留出帧法衡量视图合成一致性——每 8 帧留出 1 帧,其余帧拟合 3D 高斯泼溅(3D Gaussian Splatting)模型,再看留出视图的合成质量。两组数字:
| 模型 | Sampson ↓ | 位姿成功率 ↑ | 视图合成 PSNR ↑ | SSIM ↑ | LPIPS ↓ |
|---|---|---|---|---|---|
| VideoLDM(基线) | 0.841 | 4.4% | 26.23 | 0.783 | 0.135 |
| 7B-Text2World(扩散) | 0.355 | 62.6% | 33.02 | 0.939 | 0.070 |
| 7B-Video2World(扩散) | 0.473 | 68.4% | 30.66 | 0.929 | 0.085 |
| 4B(自回归) | 0.433 | 35.6% | 32.56 | 0.933 | 0.090 |
| 5B-Video2World(自回归) | 0.392 | 27.0% | 32.18 | 0.931 | 0.090 |
| 真实视频(参考) | 0.431 | 56.4% | 35.38 | 0.962 | 0.054 |
【编者注】7B-Video2World 的成功率(68.4%)超过真实视频参考(56.4%),原因可能是真实视频含运动模糊/动态物体干扰位姿估计,生成视频更"干净";不宜解读为生成质量超越真实——视图合成三项指标上真实视频仍全面领先。另注意扩散与自回归模型在此互有胜负,无法从该表单独断言哪一族 3D 一致性更强。
物理对齐(§5.3.2,表 20):用 PhysX/Isaac Sim 生成 8 类刚体场景(自由落体、斜面、U 形槽、稳定/不稳定堆叠、多米诺、跷跷板、陀螺,每类随机化物体数量、尺寸、纹理、形状与背景,4 个固定机位渲染)共 800 段 1080p 参考视频,以 1 帧或 9 帧(+文本)为条件让 WFM 预测 33 帧,按像素级(PSNR/SSIM)、特征级(DreamSim)、对象级(SAMURAI 跟踪掩码与真值掩码的 IoU)三层比较。代表性数字:
| 模型 | 条件 | PSNR ↑ | SSIM ↑ | DreamSim ↑ | 平均 IoU ↑ |
|---|---|---|---|---|---|
| 7B-Video2World | 文本+1 帧 | 17.34 | 0.538 | 0.836 | 0.332 |
| 7B-Video2World | 文本+9 帧 | 21.06 | 0.691 | 0.859 | 0.592 |
| 14B-Video2World | 文本+9 帧 | 20.21 | 0.635 | 0.860 | 0.598 |
| 4B | 9 帧 | 18.13 | 0.482 | 0.859 | 0.481 |
| 13B-Video2World | 文本+9 帧 | 18.26 | 0.482 | 0.865 | 0.482 |
结论(【论文事实】):条件帧越多预测越准(更多帧可推断速度与加速度等一阶、二阶物理量);扩散 WFM 在像素级明显优于自回归 WFM(21.06 vs 18.13/18.26),与"扩散生成视觉质量更高"的观感一致;更大模型并未在物理对齐上更好(14B 不优于 7B)——所有模型在物理遵循上都同样吃力,作者归因于需要更好的数据策展(剔除物理不合理的视频)与模型设计。典型失败模式:物体凭空出现/消失(object impermanence)、物体形变、运动学不合理、违反重力。作者认为这类合成刚体场景已能探到 WFM 的能力边界,可作为物理对齐的可复现评测方法。
自回归失败率(§5.2.7,表 18):100 个物理 AI 输入上人工检查"物体从画面下方意外出现"类失败:单帧条件下 4B/5B/12B/13B 失败率 15%/7%/2%/3%;9 帧视频条件下全部 ≤2%。
后训练量化结果:
- 相机控制(表 22,RealEstate10K,与同在 DL3DV-10K 上训练的 CamCo 比):位姿估计成功率 82.0% vs 43.0%,旋转误差 1.646° vs 8.277°,平移误差 0.038 vs 0.185,FID 14.30 vs 57.49,FVD 120.49 vs 433.24。评测协议需注意:Cosmos 生成 57 帧而 CamCo 只能生成 14 帧,比较时把 CamCo 结果时间下采样 4 倍对齐,且 CamCo 分辨率上限 256×256,输入与测试帧做最大中心裁剪——两者在输出规格上不对等(【编者注】)。训练域与测试域有分布差,作者视之为泛化证据(【作者观点】)。
- 机器人指令跟随(图 24,10 名标注员 × 23 集人评):人评沿四个维度做两两盲比——指令跟随(视频是否符合语言指令)、物体恒常性(场景中物体是否持续存在)、真实性(是否出现凭空想象的物体)、总体(是否足以为机器人规划提供依据)。7B-Instruction 相对 VideoLDM-Instruction 总体偏好 78.3% vs 13.0%(其余为平局);5B-Instruction 版在四个维度上同样优于该基线(论文文字未给出 5B 的具体总体百分比,只有柱状图)。
- 动作条件下一帧预测(表 23,Bridge 100 集):7B-ActionCond 在 PSNR 21.14 / SSIM 0.82 / FVD 190,全面优于 IRASim 基线(19.13 / 0.64 / 593)。
- 自动驾驶(表 24–25):FID 32.16 vs VideoLDM-MultiView 60.84;跨视角 Sampson 误差 2.11 vs 6.48(真实视频参考 1.71);轨迹跟随误差 20.20 cm vs 真值 oracle 13.49 cm(差 <7 cm);人工检查 20 段生成视频中 157 个被跟踪目标,无一出现物理上不可能的跟踪错乱。
四、限制
论文自述(§5.2.7、§9):物体恒常性缺失、接触丰富的动力学不准、指令跟随不一致;画面逼真不等于遵守物理定律(重力、光照、流体)。§2.1 列出的全部下游用途(策略评估/训练/规划/合成数据)没有实证,论文原话"本文不包含将 Cosmos WFM 应用于这些用途的实证结果"。WFM 评估本身困难:人评物理保真度主观且未必与下游指标正相关。
【编者推断】还有几处读论文时应注意的边界:(1) 所有"与基线对比"的后训练实验,基线(VideoLDM、CamCo、IRASim)都在同一套后训练数据上重新微调,公平性尚可,但基线均为 2023–2024 年工作,未与 2025 年同期闭源视频模型对比;(2) 预训练数据配比、总量披露到类别粒度,但数据源未完全公开,"开放"指权重开放而非数据开放;(3) 物理对齐评测用的是合成刚体场景,与真实物理 AI 任务的 sim-to-real 差距作者自己也承认。
五、与其他世界模型路线的关系
同族视频世界模型对照(容易混淆的三条路线):
| 维度 | Cosmos(NVIDIA,2501.03575) | Genie / Genie 2(Google DeepMind) | Sora(OpenAI) |
|---|---|---|---|
| 定位 | 物理 AI 的 WFM 平台:预训练通才 + 后训练专才 | 从单图/提示生成可交互环境,侧重新环境生成 | 通用视频生成模型,官方叙事称其为"世界模拟器"方向 |
| 生成范式 | 扩散(连续 token)与自回归(离散 token)双族并行 | 自回归(潜动作 + 时空 token) | 扩散 Transformer(细节未公开) |
| 条件输入 | 文本、视频帧、相机位姿、动作向量、轨迹(后训练) | 潜动作(从无标注视频学出的动作空间) | 文本、图像、视频 |
| 开放程度 | 权重开放(NVIDIA Open Model License),tokenizer/评测集开源 | 不开放 | 不开放 |
| 数据管线 | 2000 万小时视频 + 完整策展管线,按物理 AI 场景配比,是论文一半篇幅 | 互联网游戏视频为主 | 未公开 |
| 证据形态 | 几何/物理/下游任务的定量评测 + 失败率统计 | 可玩性演示为主 | 演示为主 |
【编者推断】Cosmos 与 Genie/Sora 的差别主要不在模型结构(DiT 与 AR Transformer 都是同期主流),而在两点:一是开放权重 + 平台化——把 tokenizer、预训练权重、后训练配方、护栏全部打包给下游开发者微调;二是数据管线面向物理 AI——过滤条件(去文字覆盖、去游戏画面、保运动多样性)和后训练条件接口(相机位姿、关节动作、车辆轨迹)都是为机器人/驾驶场景设计的。Sora 类产品目标是面向人的视频内容生成,Cosmos 的目标是当机器的训练场。
与显式 3D 路线的对照:Atlas 是 World Labs 于 2026 年发布的多模态自回归扩散 Transformer 世界模型,输出显式 3D 表示,并把相机位姿作为一等输入(【编者注】:Atlas 晚于本论文约一年,此对比为编者补充,非论文内容)。对比要点:
- 世界表示:Cosmos 的世界状态是隐式的——2D 视频潜 token,3D 一致性靠数据和规模"涌现"(§5.3.1 的评测正是验证涌现到了什么程度);Atlas 输出显式 3D,几何一致性由表示结构保证。
- 相机:Cosmos 里相机位姿是后训练时通过 Plücker 拼接引入的条件信号;Atlas 把相机位姿当作原生输入维度。
- 工程取向:Cosmos 论文一半篇幅在数据管线、并行训练与推理优化,可复现路径清晰;显式 3D 路线在可解释几何上更强,但渲染管线与 3D 监督的可扩展性是其自身要回答的问题。
【编者推断】两条路线可粗略对应"先把 2D 视频生成规模化、再看 3D 能涌现多少"与"先保证 3D 结构、再补生成质量"两种赌注;Cosmos 的 3D 一致性数据(成功率接近但未稳定超过真实视频参考)说明第一条路在静态场景上已接近可用,但物理对齐数据说明"看起来对"与"物理上对"之间仍有距离,这正是显式 3D 路线的立论空间。
与经典世界模型的谱系关系(【论文事实】,§8):世界模型概念源自 Ha & Schmidhuber 2018;Dreamer 系列(Hafner et al.)用 RSSM(Recurrent State-Space Model,循环状态空间模型:在自编码器潜空间里用循环网络预测状态演化的模型)做隐状态世界模型;Cosmos 属"视觉观测空间的生成式世界模型"一支,放弃低维隐状态循环,直接在视频 token 空间做条件生成。
六、工程启示
- 数据管线是平台论文的主体:镜头切分、运动/质量/文字/类型四路过滤、VLM 标注、语义去重、分片,每步都有独立模型与吞吐预算,并为此自建 ShotBench 评测选型。做大规模视频训练的团队可直接复用这套清单;管线用 Ray 把 NVDEC 解码、GPU 推理、网络传输并行化,单机改造收益有限,编排层是吞吐瓶颈所在(【编者推断】自 §3.7 与表 2–3 的量化数据)。
- Tokenizer 先行:训练 WFM 之前先把连续/离散两条 tokenizer 做扎实(因果、小波域、联合图文、多压缩率档位),WFM 的全部训练成本都由 token 数量决定。压缩率选型即质量-成本权衡的直接旋钮。
- 双范式对冲:扩散质量更好(像素级指标、后训练可控性),自回归可继承 LLM 生态(KV 缓存、投机解码、实时化)。论文用扩散解码器把两者接起来——AR 负责快速 rollout,扩散负责把高压缩离散 token 渲染成清晰像素——是两条路线工程上合流的实例(【论文事实】+【编者推断】)。
- 条件接口的后训练成本很低:相机位姿(Plücker 拼接)、动作向量(MLP + 时间戳嵌入或交叉注意力)、多视角(视角嵌入 + 视角内交叉注意力)、轨迹(64 点序列嵌入)都是轻量改造,证明"预训练通才 + 小数据专才"在工程上成立;这对想把视频生成模型改造成 world simulator 的团队是可复制的配方。
- 护栏分层:文本入口(关键词 + 安全 LLM)与视觉出口(逐帧分类器 + 人脸打码)分开,合成数据专门补边角案例,红队量化到"万级 prompt-视频对"。开放权重的视频生成平台需要这种可审计的两段式结构。
- 诚实披露值得参考:§2.1 明确标注下游用途无实证、§5.2.7 给出具体失败率、物理对齐承认"更大模型没有更好"。读此类平台论文时,区分"已验证的能力"(3D 一致性、后训练可控性)与"宣称的愿景"(策略评估、闭环仿真)是使用其结论的前提。
- 硬件选型影响数据成本:同一管线在带 NVENC 的 L40S 上转码吞吐高于纯计算旗舰 H100;数据策展阶段的瓶颈往往不是算力而是视频解码与传输,选购/调度数据处理集群时编解码器数量是硬指标。
- 评测先行于模型:作者为镜头切分(ShotBench)、tokenizer(TokenBench)、3D 一致性(Sampson + 位姿成功率)、物理对齐(Isaac Sim 合成场景)各建了一套可复现评测。平台级工作的可信度主要来自这套评测矩阵,而非单点 demo——这是评估同类"世界模型平台"宣称时可借鉴的检查清单。
七、附:阅读原文的建议路径
- 只看结论与能力边界:§2(平台定义)→ §5.3(评测)→ §9(结论与局限)。
- 关心数据工程:§3 全文 + 表 2、表 3(吞吐数字)。
- 关心模型结构选型:§4.1(tokenizer 架构)→ §5.1.2(扩散 DiT 改造)→ §5.2.1(AR 架构)。
- 关心落地用法:§6 三个后训练示例与表 21 的模型-条件对照。
- 引用注意:本文基于 arXiv v3(2025-07-09);模型名中的 -Sample 后缀是论文强调"示例而非生产系统"的标记,引用时不宜省略。