【2021GTC】遇见边缘AI和机器人的未来

本文学习自NVIDIA GTC演讲《Meet the future of Edge AI and Robotics:NVIDIA Jetson Orin》

演讲者：

边缘人工智能已成为一个重要的增长市场，预计到 2025 年收入将翻一番*。与此同时，人工智能和机器学习应用程序的加入增加了垂直领域边缘部署的复杂性。从自主移动机器人、零售、智慧城市、农业、物流、制造到医疗保健，各个行业都在为边缘技术注入大量人工智能。本次演讲，您将了解 NVIDIA Jetson 平台如何通过其在 NVIDIA 嵌入式边缘系统上的人工智能和机器学习的巨大飞跃改变这些行业。了解如何使用NVIDIA的云原生软件堆栈、预先训练的模型、应用程序框架和不断发展的生态系统来简化您的开发，从而实现快速上市。NVIDIA还将介绍最新的产品路线图和关键硬件功能，使客户能够部署具有突破性 AI 性能的尖端系统。

7年前NVIDIA推出第一代Jetson开发板Jetson TK1，到现在为止，开发社区不断完善和发展，开发者已经超过85W人，超过6000家公司都在使用NVIDIA Jetson产品。

在NVIDIA官网上，可以看到很多开发者利用NVIDIA Jetson做的有趣的AI项目，还可以学习Jetson开发的课程，并获得证书。

在利用NVIDIA Jetson开发套件验证算法后，用户可以利用NVIDIA Jetson模组将AI应用商业化。越来越多的工业应用场景开始使用NVIDIA Jetson系列产品进行AI智能化。

NVIDIA Jetson生态合作伙伴数量不断增长

这是今天NVIDIA特别强调的四个基于NVIDIA Jetson平台的开发工具

NVIDIA 训练、适应和优化 ( TAO：Train, Adapt, and Optimize ) 是 NVIDIA 的人工智能模型适应平台，可简化和加速人工智能的创建。TAO 平台汇集了加速模型适应过程所需的各种 NVIDIA 技术。包括迁移学习工具包或 TLT，现在将重命名为 TAO 工具套件。

用户在创造AI产品过程中遇到的挑战：1.大型训练数据集；2.缺乏为生产而准备的模型；3. 缺乏AI专家。NVIDIA TAO将解决这些问题。

利用NVIDIA TAO进行AI工作流程：第一步：从 NVIDIA 的预训练模型库或模型架构中进行选择；第二步：根据您独特的应用程序快速训练、调整和优化模型；第三步：将您的自定义模型集成到您的应用程序中并进行部署。

从 NVIDIA NGC™ 目录中的大量可用于生产的 AI 模型开始，这些模型已经针对各种领域（例如计算机视觉和对话式 AI）进行了高精度预训练。利用迁移学习利用您的数据微调和调整预训练模型，并在数小时内生成定制和生产就绪模型。通过平衡延迟和吞吐量来优化目标 GPU 上的部署。使用 NVIDIA® Triton 推理服务器为 CPU 或 GPU 上的任何模型架构选择最佳配置部署。

NVIDIA NGC上已经提供了15种预训练高性能AI模型，用户可以免费下载。

在对话式 AI 系统中，有几个组件，大致分为三个主要领域：1.自动语音识别(ASR) 封装了从用户语音作为输入开始的所有任务。在这些任务中，最常用的是语音到文本，负责生成口语单词和句子的转录。2.自然语言处理（NLP）负责文本处理，包括提取、理解和处理语义信息。NLP 封装了许多任务，从命名实体识别等简单任务到对话状态跟踪、问答和机器翻译等复杂任务。3.文本转语音(TTS) 将系统以文本形式的响应转换为您可以听到的音标。

为了解决这些问题，NVIDIA推出了三个关键产品：1.NVIDIA TAO 工具包，可促进对话式 AI 模型的训练和微调。2.NVIDIA Riva简化了生成模型的部署和推理。3.NVIDIA NGC 集合具有预训练的对话式 AI 模型，可作为进一步微调或部署的起点。

接下来是第二个关键工具：Deepstream

Deepstream已经成为NVIDIA最受欢迎的开发工具之一。目前Deepstram已经到6.0版本。每月都有上万下载量。NVIDIA5年前创造了这个工具，首先，源自于一个需求就是，需要在成千上万的摄像头里获得的视频流中去分析数据，获得见解，如果我们想管理一个城市的交通。其次，一个AI应用不仅仅是AI推理，还包括了很多预处理和后处理，比如视频需要解码；如果视频来自一个360度摄像头，还需要重新调整尺寸等等。第三，一个系统里有很多硬件加速引擎可以利用。第四，一个应用可能需要一部分在边缘端，一部分在云端。为了实现一个大规模复杂的处理规程，NVIDIA创造了deeptream，可以通过一个有效率的方式实现零内存拷贝。

Deeptream 6.0已经可以开始下载了。最大的功能是我们在这个版本里增加了Graph composer。通过使用带有拖放组件的可视化编辑器，您可以使用它来生成与 DeepStream 兼容的 IVA 管道。通过使用此机制，您可以进一步简化开发，同时还可以在交互式图形中查看组件之间的相互关系。从而轻松构建一个复杂的pipelines.

让我们看看第三个关键工具：ISAAC SIM

我们都知道模拟的好处，特别是对于机器人技术，在现实世界中测试之前，在模拟环境下测试机器人更便宜、更快、更安全。我们可以以虚拟方式测试机器人，比现实中测试的次数多一百万倍。Isaac SIM 建立在 NVIDIA omniverse 之上，现在可以与 Gazebo 和Ignition 模拟器一起使用，可以将任何物理机器人导入模拟器，最近添加的最新和最伟大的功能是合成数据生成和域随机化，使用此功能, 可以准确地将任何对象带入机器人世界并模拟交互，然后使用域随机化改变周围环境有助于训练机器人，使其可以在部署环境中以更高的保真度运行.

最后一个工具是ISAAC ROS.

ROS 是机器人社区中最流行的软件框架。NVIDIA正在与开放机器人合作以提高 ROS 2 使用硬件加速的能力，gpu 就是这样一种硬件加速，Isaac ROS 是NVIDIA将 AI 引入 ROS 社区的贡献。 如果我们可以将 Tao 工具包和预训练模型带到 ROS 社区，那不是很棒吗，看看deepstream 的好处就知道。以及通过 Isaac Sim 将 Nvidia omniverse的力量带到 ROS 中该有多酷

这是今天最重要的发布：NVIDIA Jetson Xavier Orin

完善 Jetson AGX Orin 封装，Orin SoC 搭配 32GB LPDDR5 RAM，该 RAM 连接到 256 位内存总线，可实现 204GB/秒的内存带宽。同时存储为64GB eMMC 5.1。在 INT8 机器学习工作负载中实现 200 TOPS 的性能，这将是 Jetson AGX Xavier 的 6 倍。

Q&A

1. Orin 是否计划仅支持 Jetpack 5，还是会与 Jetpack 4 兼容？

答复：Orin支持JetPack 5.0及以上版本

2.AGX Orin 开发套件是否会随附电缆以从 PCIE 插槽断开剩余的三个 10GbE 链路，还是会依赖于第三方载板进行测试？

答复：PCIe 连接器的上部 x8 部分将支持四个 MGBE 中的三个，而 RJ45 连接器将支持第四个 MGBE。