NVIDIA 发布四个 Cosmos 3 Nano 开放权重模型用于交互式世界模拟

TL;DR

NVIDIA Cosmos 世界模型开发平台为其 Cosmos 3 模型家族新增了四个开放权重检查点，用于生成交互式世界模拟和多传感器多视角驾驶场景：

🌦️ Cosmos3-Nano-Transfer-Auto：生成具有不同天气、光照和一天中不同时间的多视角驾驶数据。
🚗 Cosmos3-Nano-Sim-Auto：为驾驶模拟流式传输同步的相机和 LiDAR 观测数据。
🎨 Cosmos3-Nano-Sim-Transfer：将模拟器控制指令和文本提示转换为照片级真实的视频。
🤖 Cosmos3-Nano-Sim-Bimanual：根据机器人或相机动作预测视频。

这四个模型均为 Cosmos 3 Nano 的后训练示例，拥有 160 亿可训练参数。这些模型使用 OpenMDW1.1 许可，允许在其条款下进行商业和非商业使用。

下载检查点 · 阅读技术报告。观看演示

为什么需要这些检查点？

🦾 机器人技术需要能够应对不断变化的场景和视角的环境。这些检查点提供了构建此类环境的互补方法：Sim-Bimanual 从动作中预测视觉后果，而 Sim-Transfer 将物理模拟器的控制指令转换为生成的观测数据。

🚦 对于自动驾驶，外观和几何必须一致。同步的相机和 LiDAR 生成将视觉观测与 3D 感知连接起来。场景和交通信号灯控制让研究人员可以改变道路布局和信号灯状态，然后研究驾驶策略如何响应。

🔄 每个观测都可以塑造下一个动作。流式生成将视频预测与持续交互连接起来，为世界模型研究人员提供了一种探索动作和观测如何共同展开的方法。

🌐 一个供他人构建的开放基础。NVIDIA 的愿景是帮助研究人员和开发者创建更丰富、响应更灵敏的模拟世界。开放权重和后训练配方为适配模型、比较方法和贡献改进提供了共同的起点。这些问题仍然具有挑战性：接下来的工作是衡量模型在多大程度上忠实地支持策略学习和评估，理解其局限性，并在其不足之处进行改进。

使用 Cosmos3-Nano 构建自动驾驶汽车世界

🌦️Transfer-Auto：驾驶场景 → 多传感器数据

Cosmos3-Nano-Transfer-Auto 是一个用于离线合成驾驶数据生成的双向模型。它生成最多 11 个相机视角（包括鱼眼镜头）的同步视频，并支持 RGB-LiDAR 联合生成。每个相机的 World Scenario Map (WSM) 控制指定场景结构和交通运动，而文本提示引导外观。

开发者可以改变环境条件以扩展训练和评估的覆盖范围，并可选提供初始 RGB 图像以锚定场景外观。联合 LiDAR 生成还使用对齐的高清地图（HD-map）距离图控制。 Transfer-Auto 也是将 Cosmos 适配到您自己的传感器配置和驾驶领域的基础。首先，在您的数据上进行后训练，以适应您的相机布局、LiDAR 配置和目标环境。适配后的模型可直接用于离线数据生成，或经过因果训练和少步蒸馏以实现快速流式模拟——这正是创建 Cosmos3-Nano-Sim-Auto 所采用的开发路径。

将您的智能体指向开放技能：使用 Cosmos3-Nano-Transfer-Auto 运行推理

更喜欢使用笔记本？ 打开 Transfer-Auto。

🚗Sim-Auto：驾驶控制 → 流式观测

Cosmos3-Nano-Sim-Auto 是 Transfer-Auto 的因果蒸馏流式变体。它仅需几个去噪步骤即可生成连续的同步相机视频和 LiDAR 小块，利用生成的历史和更新的驾驶控制来支持快速流式和长时交互式展开。

提供逐相机的字幕和同步的 WSM 控制，可选添加初始 RGB 图像。对于 LiDAR 生成，包含与相机控制对齐的 HD-Map 距离控制。蒸馏后的模型使用其滚动历史生成连续的小块。闭环交互需要一个模拟运行时和 WSM 渲染器，以从驾驶输入更新这些控制。对于新的传感器配置或领域，先适配 Transfer-Auto，然后将其蒸馏为 Sim-Auto。

将您的智能体指向开放技能：使用 Cosmos3-Nano-Sim-Auto 运行推理

更喜欢使用笔记本？ 打开 Sim-Auto。

🎨 Sim-Transfer：模拟器控制 → RGB

您的模拟器计算运动、接触和物理状态。Sim-Transfer 使用其空间控制和文本提示来渲染策略可以消费的颜色观测。

动作 → 模拟器更新 → 空间控制 → 生成的 RGB → 下一个策略动作

深度： 相对于相机的距离。
分割： 区域和物体边界。
边缘： 场景轮廓。
模糊： 粗略的外观和布局。

文本引导外观；物理和真值状态保留在模拟器中。

深度控制到视频

分割控制到视频

将您的智能体指向开放技能：使用 Cosmos3-Nano-Sim-Transfer 运行推理

更喜欢使用笔记本？ 使用 Transfer。

🤖 Sim-Bimanual：动作 → 视频

输入帧

来自 Sim-Bimanual 模拟检查点的输出视频

Cosmos3-Nano-Sim-Bimanual 模拟环境如何响应双臂机器人的动作。它支持 YAM 和 AgiBot 形态的交互式双臂模拟，由策略或人工操作的摇杆控制。

从一张图像开始，移动机器人或相机，并生成下一个观测。一个控制序列可以在视角变化和操纵之间切换。

混合动作示例使用 59 个控制值，在训练期间填充至 64。其模式定义了坐标系、旋转、夹爪校准、有效性掩码和控制域。请遵循这些约定，以便每个值都描述预期的运动。

保持时间对齐：T 个转换需要 T+1 个观测值。训练将原始捕获数据转换为模型的动作表示；发布的推理动作已经过归一化。

在此，Sim-Transfer 从物理模拟器的更新状态生成视觉数据；Sim-Bimanual 直接从场景和机器人动作生成下一个观测值。

参见数据契约和动作模式。

要求： Linux、NVIDIA GPU、Docker 以及 NVIDIA Container Toolkit。已发布的 vLLM-Omni 配置在一台 GB200 上进行了测试；这并非最低内存规格。服务器下载权重；客户端获取示例输入。

将您的智能体指向开放技能：使用 Cosmos3-Nano-Sim-Bimanual 运行推理

更喜欢使用笔记本？ 打开 Bimanual

流式生成的工作原理

Cosmos 3 的 Mixture-of-Transformers 骨干网络通过注意力机制连接独立的文本处理和视觉生成网络。生成器根据提示、可用控制和已生成的历史来预测每个短片段。

控制 + 历史 → 生成块 → 解码图像 → 更新历史

去噪将嘈杂的压缩视频表示细化为一个片段。时间因果注意力使其能够读取可用的历史和控制，同时屏蔽未来的目标观测值。键/值缓存保留注意力信息以供下一次预测使用。

该模型在称为潜变量（latents）的压缩视频表示上运行。在初始图像之后，每个潜变量时间步代表四帧 RGB 图像。Transfer 每个块预测一步；报告中优化的 Bimanual 配置预测两步。较小的块使新控制更频繁地影响生成。

四阶段训练方案

阶段 0 — 双向适应：从完整的录制片段中学习领域及其控制到视频的关系。
阶段 1 — 教师强制：根据之前的录制观测值和可用控制预测每个块，同时屏蔽干净的答案和未来目标。
阶段 2 — 一致性蒸馏：使用冻结的教师模型训练一个学生模型，使其在四个去噪步骤中生成每个块。
阶段 3 — 自强制：在学生生成的历史上进行训练。冻结的教师模型和一个辅助评分模型提供分布匹配信号。

最终阶段为何重要：略微预测错误的物体成为后续帧的上下文，因此误差可能会累积。自强制使训练暴露于该生成历史中。蒸馏和缓存降低了生成每个观测值的成本。

🛠️ 使用您的数据进行适应

后训练方案从 Cosmos3-Nano 或兼容的基础权重开始，涵盖所有四个阶段。保留完整的训练检查点以便恢复；导出的推理权重省略了优化器和其他训练状态。

Transfer-auto：在您的驾驶数据上进行后训练，以适应您的传感器装置和领域，并生成离线合成数据。
Sim-auto：对适应后的 Transfer-Auto 模型应用因果训练和蒸馏，以实现快速流式模拟。
Sim-Transfer：使用本地数据准备、阶段配置和恢复功能，针对您的环境对检查点进行后训练。
Sim-Bimanual：针对您的具身形态进行后训练，包括数据验证、阶段配置、检查点交接和导出。

为您的编码智能体提供技能和数据集位置。遵循环境检查，验证样本，并在长时间运行之前测试训练和重启。在保留集（held-out）剧集上评估质量：成功的短运行验证的是执行，而非收敛。