用NVIDIA Omniverse库集成物理AI技术

NVIDIA在GTC 2026上为Omniverse推出了模块化的、基于库的架构，将核心组件——ovrtx（RTX渲染）、ovphysx（基于PhysX的仿真）和ovstorage（数据流水线）——作为独立的、支持无头模式优先的C API（附带C++和Python绑定）开放出来。这使得开发者能够在不采用完整平台的情况下，将这些库无缝集成到现有的工业和机器人软件栈中。

在内部及合作伙伴项目（如NVIDIA Isaac Lab 3.0 Beta和Omniverse DSX蓝图）中集成这些库，实现了显式的执行控制、解耦的仿真组件、可扩展的无头部署以及直接的张量化数据交换，解决了以往诸如框架锁定、UI依赖和架构僵化等瓶颈。Omniverse库通过模型上下文协议（MCP）服务器支持代理化编排，促进了基于大语言模型的智能体工作流。包括ABB Robotics、PTC、Siemens和Synopsys在内的行业领导者正在试点应用，以实现高保真仿真、数字孪生创建，并与现有PLM/PDM和CI/CD系统集成，实现可扩展的物理AI集成。

物理AI——在物理基础的仿真环境中进行感知、推理和行动的AI系统——正在改变团队在机器人及工业系统投产之前对其进行设计和验证的方式。为了让NVIDIA Omniverse更易于集成到现有应用中，NVIDIA正在现有平台基础上增加模块化的、基于库的架构。Omniverse的核心组件——RTX渲染、基于PhysX的仿真和数据存储流水线——正作为独立的、支持无头模式优先的C API（附有C++和Python绑定）开放：ovrtx、ovphysx和ovstorage。对于拥有成熟技术栈的开发者而言，这些库减少了对重大架构重写的需求，让你无需采用完整的Omniverse容器栈即可集成其功能。

通过模块化仿真传递价值

在大型机器人和工业部署中，单体式运行时会使仿真扩展、无头部署或与现有CI/CD系统集成变得困难。基于库优先的架构通过将渲染、物理和存储直接嵌入到你现有的服务中，而不是在单个Omniverse运行时内部运行所有内容，从而解决了这些限制。

图1：NVIDIA Omniverse模块化库使开发者能将实时数字孪生功能集成到现有应用中。

核心库阵容

这些库旨在解决工业软件开发中的特定集成痛点：

这些库可接入Omniverse现有组件，用于场景描述（OpenUSD）、仿真就绪资产（SimReady）和应用开发（Omniverse Kit框架）。

库的可用性与生产路径

目前，ovrtx、ovphysx和ovstorage已在GitHub和NGC上提供早期访问版本。NVIDIA正利用这些库内部驱动下一代物理AI蓝图和框架：

• NVIDIA Isaac Lab：正在从Omniverse Kit框架过渡到由ovphysx和ovrtx驱动的模块化架构。这将实现显式执行控制、确定性仿真，以及运行高密度、无头物理仿真的能力，无需依赖UI。
• NVIDIA Omniverse DSX蓝图：DSX参考设计的数字孪生体现，向开发者展示如何跨AI工厂设施及其软硬件生态系统，使用Omniverse库进行设计、仿真和运维。

代理化编排：通过支持MCP的库扩展物理AI

为了使仿真能供基于大语言模型的智能体使用，Omniverse通过模型上下文协议（MCP）服务器公开其能力。这些服务器以机器可读的模式描述操作（例如，加载USD场景、编辑基本体、步进仿真），使Claude和Cursor等工具能够安全地调用它们。

• Kit USD智能体：一套用于Kit、USD和OmniUI的MCP服务器。这些服务器允许智能体浏览API、生成场景代码，并根据高级描述操作层层次结构或UI元素。

MCP服务器设置

每个MCP服务器都可以使用Docker或Python在本地运行。

快速启动（Docker – 推荐）：

# 首先设置NVIDIA API密钥
export NVIDIA_API_KEY=your_api_key_here  # Linux/macOS
# 或 set NVIDIA_API_KEY=your_api_key_here # Windows

# 构建wheels并启动所有MCP服务器
cd source/mcp
./build-wheels.sh all  # Windows上使用 build-wheels.bat all
docker compose -f docker-compose.ngc.yaml up --build

案例研究：使用模块化库优化NVIDIA Isaac Lab

向库优先架构的转变在NVIDIA Isaac Lab的当前工程演进中得到了最佳体现。作为一个用于强化学习的高性能机器人仿真框架，Isaac Lab需要极端的可扩展性和确定性控制。

在Isaac Lab 3.0 Beta中，NVIDIA已将其基础层从单体式的Kit框架过渡到模块化的多后端架构：

• 物理方面：开发者现在可以根据仿真需求，在封装PhysX SDK的独立库ovphysx，或由MuJoCo-Warp驱动的无Kit Newton后端之间进行选择。
• 渲染方面：一个可插拔的渲染器系统支持OVRTX、Isaac RTX、Newton Warp以及Rerun和Viser等轻量级可视化工具。

图2：集成了新Omniverse库的NVIDIA Isaac Lab 3.0 Beta示例架构。

对于Isaac Lab工程团队而言，转向独立库解决了三个主要的架构瓶颈：

1. 显式执行控制：独立的API取代了Kit运行时循环，允许开发者手动触发物理步进。这确保了确定性执行，并消除了框架引起的延迟。
2. 解耦的更新频率：模块化库使得仿真组件能够独立步进。高频传感器（IMU）和低频视觉系统现在可以在一个环境内以其原生速率运行。
3. 可扩展的无头部署：解耦的库为Linux集群提供了最小的二进制占用空间。开发者可以在不依赖UI的情况下执行高密度物理仿真，并可附加ovrtx进行调试或可视化。

增强现有技术栈：行业应用

工业数字孪生和机器人仿真合作伙伴（如ABB Robotics、Adobe、Cadence、PTC、Siemens和Synopsys）已开始在其工作流中采用Omniverse库。其主要价值在于能够集成基础RTX渲染、高保真PhysX仿真和原生OpenUSD支持，而无需进行全面的架构重构。

决策指南：框架还是库？

选择合适的集成路径取决于应用栈的具体需求。

图3：决策指南，帮助确定是使用Omniverse库还是Omniverse Kit Framework进行开发。

• 何时使用Omniverse库：当你希望将物理AI能力插入到现有的3D或CAD应用中，或者插入到需要高保真物理或传感器渲染但不需要采用完整Omniverse栈的新工作流中时。它们也适用于轻量级、通常是头部的部署，或需要专注功能且依赖和复杂性最小的专用自主智能体。
• 何时使用Omniverse Kit框架：当你希望构建一个功能丰富的OpenUSD应用或服务，需要完整的UI、交互式视口以及渲染、物理和其他Omniverse能力之间的紧密协调时。当你还没有现有应用，需要内置菜单和窗口管理，并希望有一个能够为你连接许多扩展和库的标准应用框架，从而让你专注于领域逻辑而非底层集成时，它是理想之选。

入门指南：将物理AI接入你的流水线

使用ovrtx渲染一帧

ovrtx提供了对RTX硬件加速渲染的轻量级访问。你可以加载场景、渲染一帧，并使用NumPy将其保存为PNG文件，仅需10行代码。

from ovrtx import Renderer
import numpy as np
from PIL import Image

# 1. 使用可选配置创建渲染器
renderer = Renderer()

# 2. 加载场景
renderer.add_usd("/path/to/robot.usda")

# 3. 步进传感器仿真并获取渲染输出
products = renderer.step(render_products={"/Render/Product_Robot_01"}, delta_time=1.0/60)

# 4. 通过numpy DLPack和PIL将渲染输出保存为PNG
for frame in products["/Render/Product_Robot_01"].frames:
    with frame.render_vars["LdrColor"].map(device="cpu") as mapping:
        pixels = np.from_dlpack(mapping.tensor)
        Image.fromarray(pixels).save("robot_pose.png")

代码解析：

• 高效简单的场景创建：ovrtx_add_usd()使用高级缓存和流式传输加载给定的USD层。
• 解耦的步进：ovrtx_step()命令使用提供的delta time确定性地推进渲染器，使应用完全控制渲染执行。
• 语义感知张量：上下文管理器自动处理将渲染变量（如RGBA或深度）映射到CPU或GPU内存，结果可以轻松地与NumPy共享。当张量被垃圾回收时，自动处理取消映射和清理。

图4：robot.usda场景渲染输出的PNG图片。

使用ovphysx的最小物理循环

ovphysx充当核心PhysX SDK与你的USD/张量环境之间的桥梁。要运行物理仿真，应用流程将遵循五个基本的异步步骤：

1. 实例生命周期：ovphysx_create_instance – 首先必须创建一个实例。
2. 场景加载：ovphysx_add_usd – 从USD文件加载actor、关节和物理材质到运行时stage。
3. 仿真推进：ovphysx_step – 仿真循环的核心，确定性地推进物理模拟。
4. 同步：ovphysx_wait_op – 确保步进或USD加载已完成，防止数据读写时的竞态条件。
5. 状态访问：read_tensor_binding/write_tensor_binding – 以张量化格式观察物理状态（如速度和位置）并施加控制（如施加力）的可扩展I/O机制。

使用ovstorage连接数据源

ovstorage作为统一的存储层，通过统一的API层直接将PLM或现有仓库连接到Omniverse生态系统。它消除了同步任务和昂贵的数据迁移，使得无需移动文件即可进行USD工作流。

如何开始：

• 集成现有基础设施：将Omniverse连接到当前的存储后端（如S3或Azure），以原地维护版本控制。
• 部署服务适配器：快速构建自定义适配器，将任何存储后端暴露给统一API，而无需修改客户端应用。
• 确保合规性：使用经过一致性测试的适配器，满足特定的数据驻留、主权和合规性要求，同时保持单一事实来源。

图5：ovstorage实现的示例架构。

模块化物理AI的未来

NVIDIA Omniverse正在成为一组模块化的构建块——你可以将其组合到你自己的物理AI技术栈中的库和框架。通过提供像ovrtx和ovphysx这样的高性能原语，NVIDIA使开发者能够在他们已拥有的生态系统中构建下一代自主系统。

立即开始：

• 安装Omniverse库：通过GitHub下载ovrtx和ovphysx，从NVIDIA NGC下载ovstorage。
• 了解更多：访问最新的GTC 2026会议，并观看即将举行的OpenUSD Insiders直播。
• 参与社区：在Omniverse开发者Discord上分享反馈并与其他开发者协作。FINISHED