章节总览
世界模型与空间生成 / 05 · 正文
原目录

V-JEPA 2 的自监督表征、动作条件世界模型和规划方法,并区分各阶段的数据与能力。

V-JEPA 2(Self-Supervised Video Models Enable Understanding, Prediction and Planning)解读

元信息

  • 一手来源:arXiv 摘要页 <https://arxiv.org/abs/2506.09985&gt;,论文 ID 2506.09985
  • 版本核实:仅 v1,首次提交 2025-06-11(17,742 KB);arXiv HTML 版页面标注日期为 2025 年 6 月(PDF 内部编译日期晚于此,以 arXiv 提交历史为准)
  • 机构:FAIR at Meta(Meta AI),通讯作者 Nicolas Ballas、Michael Rabbat,Yann LeCun 在核心作者列表
  • 代码:<https://github.com/facebookresearch/vjepa2&gt;
  • 本地 PDF:references/2506.09985.pdf
  • 归档日期:2026-09-11
  • 文档性质:二次解读。文中明确区分「论文事实」(可在原文定位的陈述)、「作者观点」(作者的动机与论断)与「编者推断」(本文作者的分析与对比),观点与原文主张分开标注。

关键数字速览

项目 数字 出处
预训练数据 超 100 万小时互联网视频 + 约 100 万张图片,混合后 2200 万样本(VideoMix22M) 摘要、§2.3
编码器规模 300M(ViT-L)至 1B(ViT-g)参数 §2.4
机器人后训练数据 Droid 数据集中不足 62 小时、约 2.3 万条无标注轨迹 §3.1、脚注 1
动作条件预测器 约 300M 参数,24 层 Transformer,块因果注意力 §3.1
运动理解 Something-Something v2 top-1 准确率 77.3(ViT-g384) §5、表 4
动作预期 Epic-Kitchens-100 recall-at-5 39.7,相对前最佳 +44% §6、表 5
视频问答 PerceptionTest 84.0 / TempCompass 76.9(8B 级 SOTA) §7、表 8
规划速度 16 秒/动作(单张 RTX 4090,CEM 优化) §4.2、表 3
真机任务 抓取-放置(杯子)成功率 80%,零样本、无奖励、无任务训练 §4.2、表 2

符号速查表

符号 读法 含义
xx x 被掩码(遮挡)后的视频片段,编码器的输入视图
yy y 完整(未掩码)的视频片段,预测目标的来源
Eθ(⋅)E_\theta(\cdot) E 下标 theta 视频编码器(ViT),参数为 θ\theta
Eθ‾(⋅)E_{\overline{\theta}}(\cdot) E 下标 theta 横杠 EMA 编码器:权重是在线编码器权重的指数滑动平均(Exponential Moving Average),只用来产生预测目标
Pϕ(⋅)P_\phi(\cdot) P 下标 phi 预测器(predictor),参数为 ϕ\phi;预训练阶段预测被遮挡块的表征,后训练阶段是动作条件世界模型
Δy\Delta_y 大写 Delta 下标 y 可学习的掩码 token(mask token),标记被丢弃 patch 的位置
sg(⋅)\mathrm{sg}(\cdot) stop-gradient 停止梯度操作,阻断梯度流向目标分支
∥⋅∥1\lVert \cdot \rVert_1 L1 范数 逐元素绝对值之和,本文所有回归损失都用它
xkx_k x 下标 k 机器人视频片段中第 kk 帧图像
sks_k s 下标 k 第 kk 帧的末端执行器(end-effector)状态,7 维向量:3 维位置 + 3 维欧拉角姿态 + 1 维夹爪开合
aka_k a 下标 k 第 kk 帧到第 k+1k+1 帧的动作,定义为末端执行器状态的差分 sk+1−sks_{k+1}-s_k,7 维
zkz_k z 下标 k 第 kk 帧经冻结编码器得到的特征图,zk=E(xk)∈RH×W×Dz_k = E(x_k) \in \mathbb{R}^{H \times W \times D},实际形状 16×16×140816\times16\times1408
z^k+1\hat{z}_{k+1} z 尖角 下标 k+1 预测器输出的下一帧表征预测
H,W,DH, W, D — 特征图的空间高、宽与嵌入维度
TT 大写 T 时序长度:teacher-forcing 损失中 T=15T=15;rollout 损失中 T=2T=2;规划时为规划时域(horizon)
Lteacher-forcing\mathcal{L}_{\text{teacher-forcing}} L 下标 teacher forcing 教师强制损失:每步都喂真实历史,预测下一帧表征
Lrollout\mathcal{L}_{\text{rollout}} L 下标 rollout 滚动损失:把预测器自身输出回喂,惩罚多步外推的误差累积
E(⋅)\mathcal{E}(\cdot) 花体 E 能量函数:想象轨迹末态表征与目标表征之间的 L1 距离
xg,zgx_g, z_g x/z 下标 g 目标(goal)图像及其表征
(ai⋆)i∈[T](a_i^\star)_{i\in[T]} a 星号 规划得到的最优动作序列
a^1:T\hat{a}_{1:T} a 尖角 1 到 T 规划时采样的候选动作序列
Δx,Δy,Δz\Delta x, \Delta y, \Delta z delta x/y/z 末端执行器在笛卡尔空间三个方向上的位移分量(能量景观可视化时使用)

论文结构导读(编者整理)

原文共 9 节加附录,主线顺序与论证顺序不同,建议按以下次序阅读:

  • §1 引言与贡献清单:理解全文主张的入口。
  • §2 预训练方法:掩码表征预测目标、3D-RoPE、四项规模配方,对应本解读 §2.1。
  • §3 V-JEPA 2-AC:动作条件后训练的损失与架构,对应本解读 §2.2。
  • §4 真机规划实验:论文最核心的新证据,含与 Octo、Cosmos 的对比与相机位姿敏感性分析,对应本解读 §3.4。
  • §5–§7 理解/预测/问答评测:支撑「表征空间信息足够丰富」这一前提(§5 开头明确说明:世界模型能力受表征空间内容上限约束,因此必须验证表征质量),对应本解读 §3.1–§3.3。
  • §8 相关工作:世界模型与规划、VLA、视觉基础模型三条文献线的定位。
  • §9 结论与未来工作:层级化多尺度预测、语言目标、更快规划是作者自列的下一步方向。

1. 研究问题与路线定位

1.1 研究问题

论文要回答的问题:一个智能体能否主要通过「观察」(海量无标注视频)学会理解物理世界、预测未来状态,并在只补充少量「交互数据」(机器人轨迹)后,在新环境中零样本(zero-shot)地完成规划与控制?

背景(编者补充):本文是 LeCun 2022 年立场文章《A Path Towards Autonomous Machine Intelligence》所提 JEPA 纲领在视频与机器人方向上的一次规模化检验。该纲领主张智能系统应包含一个可在抽象表征空间预测未来的世界模型模块,并以「能量最小化」统一定理推理与规划;V-JEPA(2024,图像/视频表征预测)验证了其表征学习部分,本文则补齐了「预测→规划」的闭环。理解本文时,把它当作一个研究纲领的阶段性证据而非孤立模型,更容易看清作者各项设计(无动作预训练、冻结编码器、图像目标 MPC)之间的逻辑关系。

1.2 路线定位:JEPA 与生成式世界模型的分歧(论文事实 + 作者观点)

「世界模型」(world model)指智能体内部对环境动态的预测模型:给定当前状态与候选动作,预测未来状态,用于规划。当前主要有两条技术路线:

  • 生成式路线(Genie、Cosmos、Sora 类):在像素空间(或像素对应的扩散 latent 空间)生成未来画面,再基于生成的视频做规划或策略学习。论文作者指出,这一路线的评测往往侧重「生成画面是否逼真」,且「用生成视频做规划的计算成本很高」——作者在相关工作部分明确表示,此类方法此前只证明了能生成视觉上合理的规划画面,尚未证明能实际控制机器人。
  • JEPA 路线(本文):联合嵌入预测架构(Joint-Embedding Predictive Architecture,LeCun 2022 年提出的纲领性框架)。核心主张是:不预测像素,只在一个学习到的抽象表征空间中做预测。其理由是像素级目标会迫使模型为「不可预测的细节」(草地上每根草、树上每片叶子的确切位置)分配容量与算力;表征空间预测只保留「可预测的成分」(如运动物体的轨迹),忽略其余。

这是作者观点,也是本文全部设计的出发点。需要注意(编者注):「像素细节不可预测故应放弃」与「抽象表征足以支撑控制」是两个独立主张,本文的实验直接支撑后者在若干任务上成立,但并不构成对前者的否证——生成式路线也可以靠 latent 压缩降低像素负担。

1.3 与相邻概念的对照

维度 本文(V-JEPA 2-AC) 视频生成式世界模型(Cosmos-Predict 类) 视觉-语言-动作模型(VLA,如 Octo、π0 类)
预测对象 抽象表征空间中的下一帧特征 像素/latent 空间的下一帧画面 直接输出动作
决策方式 模型预测控制(MPC,见 §2.3)在线规划 理论上可做 MPC,但每步要生成视频 前馈策略,模仿学习(行为克隆)
数据要求 无标注视频 + 少量无奖励机器人轨迹(成功失败均可) 海量视频 + 动作条件微调 大量高质量遥操作成功演示
是否需要奖励/任务标注 不需要 不需要(生成目标) 通常需要成功演示
推理时计算 每次决策采样优化(本文 16 秒/动作) 更高(本文实测 4 分钟/动作) 低(单次前向)

其中 VLA(Vision-Language-Action model)指把视觉与语言输入直接映射为机器人动作的策略模型;行为克隆(behavior cloning)指用专家演示做监督学习拟合「状态→动作」映射。

2. 方法

整体是两阶段流程:第一阶段无动作(action-free)视频自监督预训练,得到通用视频编码器;第二阶段冻结编码器,用少量机器人数据训练动作条件预测器(V-JEPA 2-AC),规划时以 MPC 闭环使用。

2.1 第一阶段:掩码去噪表征预测预训练

任务构造(论文事实):把视频切成 2×16×162\times16\times16(时间×高×宽)的 tubelet token 序列,随机丢弃一大块连续 token(multiblock 掩码策略)。编码器只处理可见 token;预测器接收编码器输出拼接可学习掩码 token Δy\Delta_y,回归被遮挡位置的表征。目标表征由 EMA 编码器对完整视频产生。

目标函数(编者重构,非论文原式排版,对应原文式 (1)):

min⁡θ,ϕ,Δy ∥Pϕ(Δy, Eθ(x))−sg(Eθ‾(y))∥1\min_{\theta,\phi,\Delta_y}\ \big\lVert P_\phi\big(\Delta_y,\, E_\theta(x)\big) - \mathrm{sg}\big(E_{\overline{\theta}}(y)\big) \big\rVert_1

变量对应:xx 是被遮挡的视频视图,yy 是完整视频;左边是预测器对遮挡区域表征的预测,右边是 EMA 编码器给出的「真值」表征。sg(⋅)\mathrm{sg}(\cdot) 阻断梯度,θ‾\overline{\theta} 是 θ\theta 的指数滑动平均——这两者是防止「表征坍缩」(所有输入映射到同一向量的平凡解)的标准手段,损失只施加在被遮挡 patch 上。

架构(论文事实):编码器与预测器均为视觉 Transformer(ViT,Vision Transformer,把图像切成 patch 后按序列处理的 Transformer)。位置编码采用 3D-RoPE:RoPE(Rotary Position Embedding,旋转位置编码,用旋转变换把相对位置注入注意力)原本是 1D 的,本文把特征维度切成三段,分别在时间、高、宽三个轴上做 1D 旋转。作者报告 3D-RoPE 比 V-JEPA 一代的绝对 sincos 位置编码在最大模型上训练更稳。

规模配方(论文事实,ViT-L/16 基线之上的四项累加改进,以 6 个分类任务的平均准确率衡量):

改进 变化 收益
数据扩展 200 万 → 2200 万视频(VideoMix22M,混合 SSv2、Kinetics 400/600/700、HowTo100M、经检索式清洗的 YT-Temporal-1B,外加 ImageNet 图片复制成 16 帧静态视频) +1.0
模型扩展 编码器 3 亿 → 10 亿参数(ViT-L → ViT-g) +1.5
训练延长 9 万 → 25.2 万迭代,warmup-恒定-衰减学习率 +0.8
时空分辨率 仅在最后 1.2 万迭代的冷却期升到 384×384、64 帧 累计平均 88.2%,共 +4.0

工程上值得注意的两点:

  • 渐进分辨率训练(progressive-resolution training):若全程以 64 帧 384×384 训练 ViT-g,约需 60 个 GPU 年(A100 口径);把高分辨率长视频只放在冷却期,GPU 时间降至约 1/8.4。
  • 数据清洗:对未筛选的 YT1B(140 万小时)做场景切分、提嵌入、按目标分布(Kinetics、SSv2、COIN、Epic-Kitchens 训练集)聚类检索过滤;清洗后数据训 ViT-L 比未清洗高 +1.4 平均点。作者确认目标验证集的视频不在未清洗数据池中,避免泄漏。

预训练数据混合(VideoMix22M,论文表 1,均为公开来源以便复现):

来源 内容 视角/类型
Something-Something v2 人与物体交互短视频 第一人称(ego-centric)
Kinetics 400/600/700 动作识别视频 第三人称(exo-centric)
HowTo100M YouTube 教学视频 教程
Curated-YT1B(源自 YT-Temporal-1B) 通用 YouTube 视频,经检索式清洗 通用
ImageNet 静态图片,时间维复制成 16 帧「视频」 图像

各源按人工调参的采样权重混合;图片与视频联合训练的做法是把图片在时间轴上复制,使图像编码与视频编码共享同一套参数。

与一代 V-JEPA(Bardes et al., 2024)的主要差异(编者整理):参数量 300M→1B;数据 2M→22M 样本;位置编码 sincos→3D-RoPE;训练日程改为 warmup-恒定-衰减以支持渐进分辨率;输入从 16 帧扩展到冷却期 64 帧;并新增了动作条件后训练与真机规划这一整条下游链路。

2.2 第二阶段:V-JEPA 2-AC 动作条件世界模型

数据(论文事实):Droid 数据集中 4 秒以上片段,合计不足 62 小时、约 2.3 万条轨迹的 Franka Panda 机械臂遥操作视频。只用单目 RGB 视频与末端执行器状态信号,不用奖励、任务标签、成功与否的标注(成功与失败轨迹都参与训练)。动作 aka_k 直接由相邻帧末端状态差分构造,因此不需要任何人工动作标注。

训练目标:预测器 PϕP_\phi 是一个约 3 亿参数、24 层、16 头、隐藏维 1024 的 Transformer,采用块因果注意力(block-causal attention:第 kk 时刻的 patch 特征只能注意当前及更早时刻的特征、动作与状态,实现自回归)。编码器全程冻结。总损失(编者重构,对应原文式 (2)(3)(4)):

Lteacher-forcing(ϕ)=1T∑k=1T∥Pϕ((at,st,E(xt))t≤k)−E(xk+1)∥1\mathcal{L}_{\text{teacher-forcing}}(\phi) = \frac{1}{T}\sum_{k=1}^{T} \big\lVert P_\phi\big((a_t, s_t, E(x_t))_{t\le k}\big) - E(x_{k+1}) \big\rVert_1

Lrollout(ϕ)=∥Pϕ(a1:T; s1,z1)−zT+1∥1,L(ϕ)=Lteacher-forcing+Lrollout\mathcal{L}_{\text{rollout}}(\phi) = \big\lVert P_\phi(a_{1:T};\, s_1, z_1) - z_{T+1} \big\rVert_1,\qquad \mathcal{L}(\phi) = \mathcal{L}_{\text{teacher-forcing}} + \mathcal{L}_{\text{rollout}}

含义:teacher-forcing 损失每一步都喂入真实历史(特征、状态、动作),训练单步预测;rollout 损失把预测器自己的输出回喂作为下一步输入(实际只用 T=2T=2,即只沿一个递归步回传梯度),用来抑制自回归外推时的误差累积。两者相加共同优化。

2.3 规划:以能量最小化做模型预测控制

模型预测控制(MPC,Model Predictive Control)是一种闭环控制框架:每个时刻以当前状态为起点,优化未来固定时域内的动作序列,但只执行第一个动作,然后重新观测、重新规划(滚动时域控制)。

本文的能量函数(编者重构,对应原文式 (5)):给定当前帧 xkx_k、当前状态 sks_k 与一张目标图像 xgx_g,分别编码为 zkz_k 与 zgz_g,优化

E(a^1:T; zk,sk,zg)=∥P(a^1:T; sk,zk)−zg∥1,(ai⋆)i∈[T]=arg⁡min⁡a^1:TE(⋅)\mathcal{E}(\hat{a}_{1:T};\, z_k, s_k, z_g) = \big\lVert P(\hat{a}_{1:T};\, s_k, z_k) - z_g \big\rVert_1,\qquad (a_i^\star)_{i\in[T]} = \arg\min_{\hat{a}_{1:T}} \mathcal{E}(\cdot)

即:在世界模型的「想象」中滚动 TT 步,使想象的末态表征与目标表征的 L1 距离最小。优化器用交叉熵方法(CEM,Cross-Entropy Method:从一族高斯分布采样动作序列,用得分最高的 top-k 样本更新分布的均值方差,迭代数轮)。每个采样动作被约束在原点为中心、半径 0.075 的 L1 球内,对应单步最大约 13 cm 的末端位移——因为大动作超出训练数据分布。

任务指定方式是「图像目标」:给一张目标状态的照片。抓取与搬运任务给单张目标图;抓取-放置(pick-and-place)给三张图作为子目标序列(物体被抓起 → 物体在目标位置附近 → 放置完成),按预定步数自动切换(前 4 步对子目标 1 优化,中间 10 步对子目标 2,最后 4 步对最终目标)。

部署时的控制回路(论文事实):V-JEPA 2-AC 与 Cosmos 基线都采用阻塞式控制(blocking control)——等上一个动作执行完毕、拿到新观测后才规划下一个动作;Octo 额外尝试了非阻塞模式并报告两者中的最好成绩。规划在表征空间进行,规划出的动作是末端执行器位移指令,由底层的操作空间控制器(operational space control,把笛卡尔空间指令映射为关节力矩的经典控制方法)执行。

从训练到部署的完整链路可以概括为(编者整理):

  1. 100 万小时视频 + 掩码表征预测 → 冻结的 ViT-g 编码器 EE;
  2. 62 小时 Droid 视频 + 状态差分动作 → 训练 300M 块因果预测器 PϕP_\phi(EE 不动);
  3. 部署:观测 xk,skx_k, s_k 与目标图 xgx_g → CEM 最小化能量 E\mathcal{E} → 执行第一个动作 → 回到观测,循环。

3. 实验设置与结果

3.1 理解:探针分类(论文事实)

协议:冻结编码器,在其表征上训练一个 4 层注意力探针(attentive probe,末层用可学习 query 做交叉注意力的轻量分类头)。六个任务分两组:运动理解(SSv2、Diving-48、Jester,单帧不足以分类,必须理解时序)与外观理解(Kinetics-400、COIN、ImageNet)。统一协议下各编码器结果(论文表 4,节选,top-1 准确率 %):

编码器 参数量 SSv2 K400 ImageNet 六项平均
DINOv2(自监督图像) 1.1B 50.7 82.5 83.6 80.0
PE core G(图文对比) 1.9B 55.4 76.9 87.6* 85.8
InternVideo2-1B(视频+文本) 1B 67.3 87.9 — 86.4
一代 V-JEPA ViT-H 600M 69.7 85.2 74.3 82.3
V-JEPA 2 ViT-g 1B 75.3 86.6 84.6 87.5
V-JEPA 2 ViT-g384 1B 77.3 87.3 85.1 88.2

(* PE core G 在 448px 分辨率下达 89.8,此处为统一协议下 256px 的结果。)

编者注:作者自己也声明各基线训练数据不同,只能在「系统层面」比较,不能归因于单一因素。

3.2 预测:EK100 动作预期(论文事实)

任务:Epic-Kitchens-100 第一人称厨房视频,给定动作开始前 1 秒截止的上下文片段,预测接下来的动词、名词及两者组合(共 97 类动词、300 类名词、3568 类动作),指标为 mean-class recall-at-5(因为同一上下文下可能有多个合理未来,故用召回而非准确率)。

探针结构(论文事实):预训练的预测器在这里被复用——把对应「1 秒后未来帧」位置的掩码 token 喂给预测器,得到未来帧的表征预测;将编码器输出与预测器输出沿 token 维拼接,送入注意力探针。探针末层交叉注意力学习 3 个 query token,分别接三个线性分类器(动词、名词、动作),各用 focal loss(一种降低易分类样本权重的交叉熵变体,用于类别不均衡)独立训练后求和。这条链路也说明:预训练阶段的预测器不只服务于掩码重建,它本身学到了可迁移的「向前看」能力。

结果:ViT-g384 动作 recall-at-5 达 39.7,此前最佳 PlausiVL(8B 参数、借助 LLM)为 27.6,相对提升 44%。性能随模型规模近似线性增长(300M 的 ViT-L 已以 32.7 超过 8B 的 PlausiVL)。作者同时报告了失败案例与更长预期时间下性能退化的现象(见第 4 节)。

3.3 视频问答:与 LLM 对齐(论文事实)

做法:按 LLaVA 式「非 token 化早期融合」方案,用一个 MLP 投影器把 V-JEPA 2 的 patch 嵌入映射到 LLM 输入空间,三阶段视觉指令微调;对照实验用 Qwen2-7B,最终版用 Llama 3.1 8B + 8850 万图文/视频-文本对。

  • 受控对比(冻结编码器、同数据同 LLM):V-JEPA 2 在多数基准上超过 DINOv2、SigLIP2、Perception Encoder,尤其在时序理解类基准(MVP、TemporalBench、TVBench)上领先。作者强调这是首次用完全无语言监督预训练的视频编码器训练多模态 LLM 并达到有竞争力结果——这反驳了「视觉编码器必须经过图文对比预训练才适合对齐 LLM」的流行看法(作者观点,有其实验支持)。
  • 放大对齐数据后(8B 级别):PerceptionTest 84.0、TempCompass 76.9、MVP 44.5、TemporalBench 36.7、TOMATO 40.3,为该参数规模的最佳水平;TVBench 与 MVBench 上仍不及 PerceptionLM 8B。

8B 级全量对比(论文表 8,V-JEPA 2 为 ViT-g384 + Llama 3.1 8B,对齐数据 8850 万对):

模型 PerceptionTest MVP TempCompass TemporalBench TOMATO MVBench
Qwen2.5VL(1B/7B) 70.5 36.7 71.7 24.5 24.6 69.6
PerceptionLM 8B 82.7 39.7 72.7 28.3 33.2 77.1
V-JEPA 2 ViT-g384(1B/8B) 84.0 44.5 76.9 36.7 40.3 73.5

V-JEPA 2 在前五项上超过 PerceptionLM 8B(分别 +1.3、+4.8、+4.2、+8.4、+7.1),MVBench 落后 3.6;作者认为这说明无语言监督的编码器在足够对齐数据下可以达到 SOTA,同时承认 TVBench/MVBench 上仍有差距。

3.4 规划:零样本机器人真机实验(论文事实)

设置:两个不同实验室的 Franka Panda 机械臂(均不在 Droid 数据采集环境中),未标定的低分辨率单目 RGB 相机,不给任何新环境数据、不做任务特定训练、无奖励。基线:Octo(Open-X 百万轨迹预训练的 VLA,在完整 Droid 上行为克隆微调)与 Cosmos(7B latent 扩散视频生成模型,2000 万小时视频预训练,在 Droid 上做动作条件微调;作者称这是 Cosmos 首次被报告用于机器人控制)。每个任务 10 次试验取成功率。

成功率(10 次试验均值,两个实验室平均):

任务 Octo V-JEPA 2-AC
单目标到达(Reach) 100% 100%
抓杯子 15% 65%
抓盒子 0% 25%
持物到达(杯子) 15% 75%
持物到达(盒子) 70% 75%
抓取-放置(杯子) 15% 80%
抓取-放置(盒子) 10% 65%

与 Cosmos 世界模型的规划对比(Lab 2,同用 CEM + 单张 RTX 4090):Cosmos 每算一个动作需 4 分钟(80 采样、10 轮细化、时域 1),整条抓取-放置轨迹要 1 小时以上,交互类任务成功率 0–20%;V-JEPA 2-AC 在每个细化步用 10 倍采样量(800 采样)的条件下只需 16 秒/动作,且成功率全面更高(抓取-放置杯子 80% 对 0%)。

补充细节(论文表 2 的分实验室数据):V-JEPA 2-AC 在 Lab 1 与 Lab 2 的抓杯子成功率分别为 70%/60%,抓盒子为 30%/20%,抓取-放置盒子为 80%/50%——跨实验室存在一定波动,且盒子类任务在两个实验室都明显更难。作者分析失败模式:杯子需要「单指入杯、扣住杯沿」的精确动作,模型动作精度不足时会错过杯沿;盒子的可行抓取位形更多,但需要更精确的夹爪张合控制。

定性证据:单目标到达任务中末端到目标的欧氏距离单调下降、最终误差小于 4 cm;把能量函数对 (Δx,Δy)(\Delta x, \Delta y) 扫描得到的景观在真值动作附近取最小值,且曲面「相对平滑、局部凸」,作者据此认为该能量面利于基于采样的规划。

3.5 证据边界

证据支持:表征空间预测的编码器在运动理解、动作预期上达到或超过同规模及更大规模的对比方法;62 小时无标注机器人数据足以在冻结表征上训练出可做短视域 MPC 的世界模型;在单目、未标定、新实验室条件下完成若干抓取与放置任务。

证据尚不支持:长视域任务(无子目标的抓取-放置)能力;对相机位置变化的鲁棒性(作者承认实验前人工挑选了相机位姿);语言指定目标;10 次试验的成功率置信区间较宽,且物体种类(杯子 vs 盒子)对成功率影响极大(抓盒子只有 25%);EK100 结论限于厨房域与封闭词表。

4. 限制(论文自述 + 编者整理)

  1. 相机位置敏感:模型需从单目画面隐式推断动作坐标系,机器人基座不在画面中时该问题欠定;实验前人工尝试了多个相机位姿。附录 B.4 的定量分析显示,所有受测相机位姿下的平均绝对预测误差约 1.6 cm(真值位姿差约 5 cm),误差呈系统性,作者据此推断模型学到了近似固定的坐标轴变换。
  2. 长视域规划:自回归误差累积 + 动作搜索空间随时域指数增长,当前只能做约 16 秒内的预测与短链规划;复杂任务依赖人工给定子目标图。
  3. 目标形式:仅支持图像目标,不支持自然语言任务描述。
  4. 预测精度:EK100 上更长的预期时间性能下降;失败案例显示物体类别细节会认错(把茶包认成别的)。
  5. 编者补充:规划频率 16 秒/动作意味着机器人只能做慢速、准静态操作,距离动态操作(接抛、防跌落)很远;所有实验是桌面单臂、固定外视角,未涉及移动机器人或双手操作。

5. 与其他世界模型路线的关系

5.1 与像素生成路线(Genie / Cosmos)的取舍

维度 V-JEPA 2-AC(表征预测) Genie / Cosmos(像素生成)
训练算力 预训练约数百万小时视频但模型 1B;高分辨率阶段经渐进训练压缩约 8.4 倍 Cosmos 用 2000 万小时视频训练 7B 扩散模型
规划推理成本 16 秒/动作(单 RTX 4090) 4 分钟/动作(同硬件),一条 pick-and-place 超 1 小时
输出 抽象表征,不可直接观看,需探针或下游头解释 可视化视频,天然可检查、可生成想象画面供人审阅
容量分配 只建模「可预测成分」,放弃纹理细节 被迫为不可预测的像素细节分配容量与算力(JEPA 阵营观点)
机器人控制证据 本文给出真机闭环控制成功率 论文引述时(2025 年中)仅有生成规划画面的演示,无真机控制报告;本文 Cosmos 基线是首次尝试且成功率低

编者推断:两路线的真实分歧不在于「要不要生成」,而在于「预测目标的抽象层级」与「谁承担不可建模性」。生成式路线把不确定性留给采样(生成多种可能的未来),JEPA 路线把不确定性留在表征的容忍带内。前者适合做需要可视检验或多模态未来的场景,后者在当前硬件上把在线 MPC 拉到了可部署的延迟量级。两者并非互斥:论文作者也提到可用生成式想象初始化规划,或把 VLA 策略与世界模型结合。

编者补充背景(非本论文内容):Genie 系列(DeepMind)把生成式路线推向「可玩世界」——从单张图片生成可交互的视频环境,其价值在内容生成与智能体训练环境合成;Cosmos(NVIDIA)则定位「物理 AI 的世界基础模型平台」,强调用生成模型做数据增广与策略评估。这两者的对外演示重心都在「生成的世界像不像、可不可交互」,而本文的重心在「模型能不能驱动真实机器人完成任务」。截至本文归档日,像素生成路线在真机闭环控制上的公开成功证据仍明显少于表征预测路线;但生成式路线的可视化输出在调试、人类监督与安全审查上有表征路线不具备的便利性。

5.2 与空间生成路线(Atlas / World Labs)的关系

编者补充背景(非本论文内容):Atlas 是 2026 年 World Labs 发布的多模态自回归扩散 Transformer,输出显式 3D 场景表示,并把相机位姿作为一等输入。与本论文的对照:

维度 V-JEPA 2 Atlas(World Labs)
世界状态的载体 学习到的隐式表征空间(特征图) 显式 3D 表示
几何来源 从视频中隐式习得(单目深度等需自行涌现) 相机位姿作为一等输入显式注入
主要用途证据 理解、预期、机器人 MPC 规划 空间生成与 3D 一致性场景构建
对「世界模型」的定义侧重 动力学预测服务规划 空间结构服务生成与漫游

编者推断:这代表了「世界模型」一词在 2025–2026 年分化出的三种押注——动作预测(JEPA)、像素/视频生成(Genie、Cosmos)、显式空间结构(Atlas)。V-JEPA 2 是目前三者中唯一给出真机零样本规划证据的,但它的隐式表征能否支撑需要精确几何的任务(如避障中的细间隙穿越)尚无证据;Atlas 的显式 3D 在几何任务上先验更强,代价是需要位姿监督且尚未展示规划闭环。

6. 工程启示

  1. 两阶段解耦是可复用的范式:先用海量无标注观测数据训练通用表征(贵、一次性),再冻结表征、用极少量交互数据训练轻量动作条件头(62 小时、300M 参数)。编码器一次投入,多种下游(分类、预期、问答、规划)共享。
  2. 渐进分辨率训练把「不可行」变「可行」:60 GPU 年的配置降到约 1/8.4,且性能不降反升(冷却期加长视频还带来 +0.7)。长上下文能力可以只在训练尾声付费。
  3. 防坍缩三件套仍是表征预测的工程基线:EMA 目标网络 + stop-gradient + 只对遮挡块计损失。任何想复刻 JEPA 式训练的实现都应先验证这三者。
  4. 无标注交互数据的价值被低估:失败轨迹、无奖励轨迹都能用,因为动作是从状态差分推导的。这大幅降低了机器人数据的采集门槛——遥操作时不需要演示者「表演成功」。
  5. 规划的推理成本是路线选择的硬约束:16 秒/动作 vs 4 分钟/动作的差距决定了能否闭环。评估世界模型时,「单步规划的墙钟时间」应作为与成功率并列的一等指标。
  6. rollout 损失(哪怕只回传一步)是针对自回归误差累积的廉价补丁,值得在任何自回归预测模型中尝试。
  7. 能量景观分析(图 9 式扫描)是调试隐式世界模型的实用工具:在真机上跑之前,先检查能量面是否在真值动作附近取极小、是否局部凸,可以提前发现坐标系推断错误。
  8. 评测协议的纪律性值得效仿:所有分类对比都在「冻结编码器 + 统一注意力探针 + 统一输入规格」下进行,作者明确声明基线训练数据不同、只能做系统级比较。这种「协议一致、归因克制」的写法让结论的可核验性强于只引用文献数字的对比。
  9. 动作定义为状态差分是低成本接口设计:用 ak=sk+1−ska_k = s_{k+1} - s_k 代替原始控制指令,使模型与具体机器人控制器解耦——部署时两个实验室用各自的操作空间控制器(operational space control),模型权重与推理代码完全一致。
  10. 资源可得性:代码已开源(github.com/facebookresearch/vjepa2),预训练数据全部来自公开数据集,论文明确以此支持复现;这是此类大规模工作中少有的可复现性配置。

附:参考