英伟达 Omniverse，这才是元宇宙的基建工程！

2021 GTC 如约而至，黄仁勋在昨日下午进行了主题演讲。在为期一个半小时的演讲中，「皮衣教主」全程高能输出，介绍了多项新技术，并且这些技术有望为万亿美元产业带来改变。主要技术内容包含了人工智能平台、对话式 AI、数字孪生及自动驾驶等等。总结起来就是——全力拥抱元宇宙。

01

Omniverse Avatar 平台

在本次演讲上，老黄还带来了萌版的自己——Toy-Jensen（即老黄口中的 Toy-Me）。

这个萌版老黄不仅人物形象与老黄一致，声音都用他自己的语音进行合成，甚至他还具备实时光追，确保图片动效保持高水准且在交流时能够注视交流者的眼睛。

Toy-Jensen 还能够与人进行深度互动，在演示中，交流者的提问涵盖了气候、天文和生物，即便问题很棘手，Toy-Jensen 也能对答如流。而这就是老黄要推出的全方位虚拟化 AI 助手平台——Omniverse Avatar，在下一个阶段中，AI 助手将变得拟人化，更有温度、更有生命力。

Omniverse Avatar 能够让开发者更快地创建、定制人工智能助手，这些 AI 助手能够帮助用户处理数十亿的客户服务互动，包括了餐厅点单、银行交易以及个人网上预约等。

Omniverse Avatar 的使用案例还包括了用于客户支持的 Project Tokkio 和用于视频会议的 Project Maxine。

Project Tokkio 最常见的使用场景便是餐厅的客户点单，虚拟人物化身可以与多个客户交流，理解他们的意图并且能够主动进行推荐。

在去年的 GTC 上，老黄带来了 Maxine。时隔一年，英伟达针对客户服务和视频会议提升了Project Maxine 的能力。借助 RIVA（语音软件开发工具包），Maxine 能够将人的语音进行实时转录和翻译，且语调和音色保持不变。

Omniverse 则根据语音模拟 3D 面部动画，任何语言的虚拟头像都能同时播放，供视频另一端选择。即便视频端发言者本人低头看脚本或会议纪要，Maxine 也会让另一端的使用者感觉到（发言者）在看着自己。

简单来说，与你进行视频会议的人展现出的神态和动作并不是你肉眼中看到的样子，你眼中的一切都是 Maxine 通过他的语音合成给你看的。或许对方正坐在咖啡馆，且周围很嘈杂。

Omniverse Avatar 集图形、计算机视觉、语音识别技术等一体，并全是自家的技术。Avatar 的自然语言理解是基于 Megatron 530B 大型语言模型，可以识别、理解和生成人类语言。推荐引擎由 NVIDIA Merlin提供、感知能力由 NVIDIA Metropolis 提供。

这些技术将来也会落地于智能汽车，Project Tokkio 上车后，车辆便有了更自然更好用的 AI 助理，它不仅能够与车内人员进行交互，还会主动推荐更好的驾驶模式和行驶路线。

02

Hyperion 8 助力更快地实现自动驾驶

并且在黄仁勋看来，到 2024 年，绝大多数新电动车都将具备真正的自动驾驶能力。英伟达目前正在开发用于构建自动驾驶汽车的端到端流程，以及全栈车内自动驾驶系统和全球云地图。

NVIDIA Drive 是一个全栈式的开放自动驾驶平台，而 Hyperion 8 则是英伟达最新的完整硬件和软件架构，它的传感器配置包括：12 颗摄像头、9 颗毫米波雷达、12 颗超声波雷达和一个前置激光雷达，另外，Hyperion 8 还配套了两颗 Orin 芯片。

黄仁勋表示，汽车实现自动驾驶的过程其实就是将汽车改造为机器人的过程，而机器学习开发的关键支柱，则是在 Omniverse 平台上通过 Drive Sim （合成数据生成器）进行模拟和生成合成数据以及在 Orin Robotics 芯片上通过 Drive AV 构建实时机器人工作流。

翻译一下就是，生成的数据很重要，其次要进行验证，最后才是输出为机器人工作流。

在自动驾驶研发中，将传感器获取的信息转换为计算机可用的虚拟世界信息是至关重要的一步，这也就是老黄口中的第一个目标。借助视觉图像和高精地图，Hyperion 8 能够完成避障、定位、环境感知以及路径规划，最终达到目的地。

另外，这套架构的设计既能提供高保真的感知，也有冗余和容错机制。而且这套硬件也具有足够的算力和可编程性，可应对车辆生命周期内的软件改进。

英伟达从全世界各地收集 PB 级的道路数据，并且他们拥有大约 3,000 名训练有素的标记员，创建并训练数据。尽管如此，合成数据的生成依然是英伟达数据策略的基石。对了，Drive Sim Replicator 是一个构建于 Omniverse 平台的合成数据生成器，在构建 Hyperion 8 和收集到数据之前，Replicator 引导 AI 标注工具和模型，Replicator 能够以人工无法实现的方式标记真值。

英伟达还建立了一个激光雷达材质库，另外还在构建毫米波雷达材质库。英伟达所做的一切，都是为了自动驾驶中对多传感器做融合。

这一段老黄的高能输出，都是在强调英伟达自动驾驶架构 Hyperion 8 发展的重要基石，即是数据和多传感器融合方案，并且他们通过物理模拟的方式，获得了精准的光束反射。另外，辅以高精度地图的作用，让他们的自动驾驶方案又多了上帝视角，且多了一重冗余。

光说理念不行，在演讲中，老黄还现场展示了搭载 Hyperion 8 架构的奔驰 S 的路测视频。测试路段为英伟达总部周边。在这段路测中，搭载 Hyperion 8 架构的奔驰 S 先后完成了并线、人行横道避让、交叉路口、环道及四叶草立交桥的通行。

路测场景既包含了封闭路段，也包含了城市开放道路，并且每一项 case 都处理的非常自然，与人类驾驶相差无几。另外，驾驶者全程脱手，只是将目光注视在前方道路上。

老黄表示，自动驾驶不仅能改变我们出行、提高安全性，将 Maxine 融入车内后，我们与汽车的交互方式也将彻底改变。有了 Maxine 就像是有了私人管家，Maxine 还能向成员展示汽车看到的景象，使人和机器建构信任感。

如今辅助驾驶的重心正在从封闭道路转向城市开放道路，开放道路中的不确定性是辅助驾驶的最大隐患，且长尾场景太多，需要不断收集数据、优化迭代。华为 ADS、小鹏 NGP 让我们对今后的开放道路辅助驾驶产生了遐想，如今英伟达 Hyperion 8 同样让我们产生了这种遐想。

03

老黄的 One more thing...

英伟达虚拟世界模拟引擎 Omniverse 贯穿了整个主题演讲，机器人、自动驾驶车队、仓库、工厂甚至整个城市都将在 Omniverse 数字孪生中完成创建、训练和运行。

仓储物流无人化每年能够为物流公司节省十几亿美元，配送 14 个披萨的路径有 870 亿种，对于达美乐来说，在 30 分钟之内送达披萨也绝非易事。英伟达能够为仓储物流节约资金的同时提高效率，也能为配送问题提供最优解决方案。

以小见大，Omniverse 能够模拟仓储、工厂，能够进行无人驾驶的模拟和验证。英伟达还将创建一个数字孪生模型来模拟和预测气候变化，并将它命名为 E-2，即 Earth-2。E-2 即是地球的数字孪生，在 Omniverse 中，E-2 将会以百万倍的速度运行。目前英伟达所有的发明，均是实现 Earth-Two 所必不可少的。

老黄的演讲在最终 ending 处被推向高潮，老黄称：我想不到比这更宏伟、更重要的用途。

说实话，这场发布会我没有完全看懂，唯一的观后感即是那句流传甚广的俗语——科技造福人类。这与这场发布会的彩蛋不谋而合。

问：什么样的人是最伟大的？

Toy-Jensen：最伟大的是那些善待他人的人！

撰文：波波

编辑：莱因哈特

这些也值得读