![文章封面](https://developer.qcloudimg.com/http-save/10106350/93842450123e4a80dfd492c044437e5c.jpg)

## 更新概览

NVIDIA 在 Cosmos 世界模型开发平台的 Cosmos 3 系列中新增四个开放权重检查点，均基于 Cosmos3-Nano 后训练得到，拥有 160 亿可训练参数，采用 OpenMDW1.1 许可，允许商业和非商业使用。

![](https://developer.qcloudimg.com/http-save/10106350/9ac366099b30f31128f8d90e872cae41.jpg)

四个模型分别是：

- **Cosmos3-Nano-Transfer-Auto**：根据驾驶场景生成多视角、多传感器数据，支持不同天气、光照和时段。
- **Cosmos3-Nano-Sim-Auto**：流式生成同步的摄像头和 LiDAR 观测数据，用于驾驶仿真。
- **Cosmos3-Nano-Sim-Transfer**：把仿真器控制信号和文本提示转成逼真视频。
- **Cosmos3-Nano-Sim-Bimanual**：根据机器人或摄像头动作预测后续视频。

配套发布了技术报告、演示视频，以及可直接接入编码 Agent 的 Skill 文件和 Notebook。

## 新能力详解

Transfer-Auto 是双向模型，用于离线合成驾驶数据。它能生成最多 11 个摄像头视角的同步视频，包括鱼眼镜头，并支持 RGB 与 LiDAR 联合生成。控制方式是每个摄像头对应一份 World Scenario Map（WSM），规定场景结构和交通运动，文本提示控制外观；联合生成 LiDAR 时还需要对齐的 HD-Map 范围图控制。用自己的数据对它做后训练，再做因果训练和少步蒸馏，就能得到流式仿真版本，这是 Sim-Auto 的产出路径。

Sim-Auto 是 Transfer-Auto 的因果蒸馏流式版本，仅用几步去噪就能连续生成同步摄像头视频和 LiDAR 的小片段，依据生成历史和实时更新的驾驶控制支持长时间交互式推演。闭环交互还需要一套仿真运行时和 WSM 渲染器，根据驾驶输入更新控制信号。

Sim-Transfer 把仿真器算出的深度、分割、边缘、模糊等空间控制信号，结合文本提示，渲染成策略可用的 RGB 观测。物理和真值状态留在仿真器里，模型只负责把控制信号变成画面。

Sim-Bimanual 模拟双臂机器人动作带来的环境变化，支持 YAM 和 AgiBot 两种机器人形态，可由策略或人操纵的摇杆控制。输入一张图像，移动机械臂或摄像头，模型生成后续观测，同一段控制序列里可以在视角变化和操作动作之间切换。报告中的混合动作示例用了 59 个控制值，训练时补齐到 64 个，动作模式定义了坐标系、旋转、夹爪校准、有效性掩码等内容。时序上，T 次状态转移需要对应 T+1 次观测。

## 怎么用与迁移

四个模型都提供了配套的 Skill 文件和 Notebook，可以直接交给编码 Agent 执行推理或后训练。

后训练流程分四个阶段：阶段 0 用完整录制片段做双向适配，学习控制信号和视频之间的对应关系；阶段 1 用教师强制，根据之前录制的观测和控制信号预测片段；阶段 2 做一致性蒸馏，让学生模型用冻结的教师模型指导，在 4 步去噪内生成每个片段；阶段 3 做自强制训练，让模型在自己生成的历史上训练，由冻结的教师模型和一个辅助评分模型提供分布匹配信号。

针对自己的传感器或机器人形态做适配，先用自有数据对 Transfer-Auto 或 Sim-Transfer、Sim-Bimanual 做后训练，再视需要做因果训练和蒸馏。训练时要保留完整检查点以便恢复，导出的推理权重不含优化器状态。运行 Sim-Bimanual 需要 Linux、NVIDIA GPU、Docker 和 NVIDIA Container Toolkit，官方发布的 vLLM-Omni 配置在单块 GB200 上测试过，但这不是最低显存要求。

## 局限与注意

Sim-Transfer 生成的画面依赖仿真器给出的深度、分割、边缘或模糊控制信号，物理计算和真实状态仍由仿真器负责，模型本身不处理接触力学等物理过程。

Sim-Bimanual 的动作输入需要严格遵循官方定义的坐标系、旋转表示、夹爪校准和有效性掩码规范，训练阶段会把原始采集数据转换成模型的动作表示，发布的推理动作已经是归一化后的格式，混用不同约定会导致动作对不上观测。

流式生成存在误差累积的风险：一个预测偏差的物体会成为后续帧的上下文，持续影响生成质量，这是自强制训练阶段要重点解决的问题。NVIDIA 在博客中提到，这些模型能在多大程度上支持策略学习和评估，边界在哪里，仍需要后续研究验证，目前给出的是一套可复现、可对比的开放起点。

## 对开发者的意义

这四个检查点把驾驶场景生成、传感器仿真、物理控制转视频、机器人动作预测拆成了独立模块，开发者可以按需选用，也可以组合使用。用 Transfer-Auto 批量产出多天气、多光照的训练数据，再用 Sim-Auto 做闭环仿真测试驾驶策略；或者用 Sim-Bimanual 给双臂抓取任务生成反馈画面，减少对真实机器人长期数据采集的依赖。

所有权重和四阶段后训练流程都开放，配了详细的数据契约和动作模式文档。迁移到自己的传感器布局、机器人型号或场景领域时，有具体的操作路径可以参照，不需要从零摸索训练方案。

NVIDIA 为 Cosmos 3 模型家族新增四个开放权重检查点，覆盖多视角驾驶数据生成、流式仿真、物理控制转视频和双臂机器人动作预测，均为 160 亿参数的 Cosmos 3 Nano 后训练版本

NVIDIA 开源 Cosmos 3 四款模型，用于交互式世界模拟与自动驾驶场景生成

人工智能

硬件

开发工具

NVIDIA Cosmos 3系列新增4个开放权重模型，含160亿参数，支持驾驶场景生成、传感器仿真及机器人动作预测，兼容商业与非商业用途，配套技能文件与四阶段后训练流程，便于自定义适配。

数据转换

世界模型

Docker

Linux

Agent

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

NVIDIA 开源 Cosmos 3 四款模型，用于交互式世界模拟与自动驾驶场景生成-腾讯云开发者社区-腾讯云

NVIDIA 开源 Cosmos 3 四款模型，用于交互式世界模拟与自动驾驶场景生成

NVIDIA 开源 Cosmos 3 四款模型，用于交互式世界模拟与自动驾驶场景生成

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐