用 NVIDIA Jetson Orin 平台提升边缘 AI 和机器人技术

典型的嵌入式边缘AI应用场景

工业制造和物流应用正在增长。我们看到工人短缺、对工业安全和运营效率的要求增加的转变。在供应链管理中，更好的计划和调度变得越来越重要。这反过来又推动了仓库、自动化、移动、机器人、工业拾取和放置 、光学检测和缺陷检测机器人等。

我们看到的其他用例包括智能零售应用程序、智能城市和智能空间中的用例。在 covid 19 大流行之后人们生活恢复正常，人们希望获得更好的客户体验，并需要降低运营成本和冗余。智能零售和智能城市的市场增长正在大幅增长。我们看到了数字标牌等应用，交叉路口现代交通的交通管理。车牌计数和人员分析。如人员检测、公共安全摄像头时代、商店和库存管理以及送货机器人。

与此同时，我们看到医疗方面的巨大增长，无论是在医疗设备还是医疗保健机器人方面。

最后，在农业方面的事情。我们正在看到。由于劳动力短缺，以及围绕碳中和和可持续发展的举措，以及不断增长的人口和削减排放和减少废物的重要性，自动拖拉机、智能收割机器人等应用正在增长，还有监测各种环境的无人机、精准选择性喷洒系统等。

因此，所有这些应用程序，从 A M R 到智能城市和零售业，再到农业和健康，今天都在 jetson 上部署。我们有超过 100 万的开发人员使用 jetson。还有超过 6000 多个客户，并且只会继续增长。

NVIDIA Jetson解决边缘AI的挑战

因此，让我们深入探讨应用程序面临的一些挑战，以及 jetson 如何真正成为解决这些挑战的理想平台。我们通常会看到六种不同的挑战。首先是人工智能正在迅速变化，模型也在变化。计算平台需要能够支持各种模型，从 CNN 和 G N N 到最近的生成式 AI 模型，如基于 Transformer 模型的聊天、GPT 和 DoLLE。

Jetson 能够支持所有这些快速变化的 AI 模型。除此之外，我们刚才谈到的许多应用程序都有各种特定要求，这就是我们提供应用程序特定框架的原因。这包括用于机器人技术的 Nvidia Isaac、用于计算机视觉的 deepstream 和用于自然语言处理的 riva。

上市时间是许多嵌入式应用程序面临的另一个关键挑战，而我们。使用我们的 Jetson 模块、Jetson 开发套件以及我们的 jetson 软件。我们的模块不仅是 G P U，而且还包含 C P U 和各种其他处理器以及全功率架构和内存，所有这些都包含在一个模块中，可以通过 699 针连接器或 DIM 连接器插入载板。除此之外，我们还提供有助于加快开发速度的开发工具包，并且我们提供易于使用的工具。

软件只是真正专注于成为一个软件定义的平台，让您更容易进入市场。与此同时，我们看到一家公司无法满足您的所有需求，而且我们的许多客户拥有复杂的系统专业知识，因此我们希望通过我们的 150 多个 Jetson 合作伙伴生态系统来支持这些要求。如果您要从我们的硬件合作伙伴到相机、传感器和连接器合作伙伴到软件合作伙伴，最后到分销商，以便在您所在的地区为您提供所需的帮助。

我们看到的另一个关键挑战是一些客户不具备进行最佳推理加速的专业知识，而这正是您可以利用我们的 Jetson 软件、我们的 triton 推理服务器的地方。

最后，很多人不一定拥有数据科学或深度学习专业知识，这使得 AI 模型开发非常具有挑战性。所以我们提供的是我们的预训练模型和 TAO 工具包，以使其更容易。我们有数百种模型，涵盖计算机视觉和自然语言处理，您可以使用我们在 GPU 服务器上的 TAO 工具包进行训练、调整和优化，然后将它们部署在边缘，使用我们的 jetson 软件堆栈轻松使用。

此外，如果您没有足够的数据，您可以利用 Nvidia omniverse 和我们的合成数据数据生成器生成自定义数据，您可以使用这些数据为您的用例调整和优化这些模型。因此，Nvidia Jetson 真正解决了边缘嵌入式应用程序今天面临的所有主要挑战.

Jetson Orin 提供无与伦比的性能和能源效率，使其成为您的教育和嵌入式应用程序的理想解决方案。在这里，我们向您展示一组 M L perf 基准测试，将 Jetson AGX Xavier 与我们最新的 AGX Orin 进行比较。如果您不熟悉ml perf,这是一个由来自学术界、研究实验室和行业的人工智能领导者组成的联盟，其使命是建立公平和有用的基准，为硬件、软件和服务的训练和推理性能提供公正的评估。我们在这里展示你是我们的 Jetson AGX Xavier，它已经在边缘推理类别中处于领先地位。你可以看到去年提交的 jetson AGX Orin，我们的性能提高了 5 倍，能效提高了 2.3 倍。另一个需要注意的关键是我们不断优化我们的软件。在短短六个月内，我们能够将 Jetson AGX Orin 的能源效率提高 50%。

现在看看整个系列，我们有六个基于 Orin 架构的模块。在 Jetson 历史上，我们第一次将我们的所有产品线从入门级到高性能都基于相同的架构，就是基于我们最新的安培。

（编者注：每个模组的规格就不在这里整理赘述，大家可以直接查阅官方文档）

Jetson Orin 为下一代 AI 提供了性能上的巨大飞跃。这是因为 Jetson Orin 提供了对最新一代 AMP、PE、G P U 的支持以及新一代深度学习加速器，安培 G P U 为我们的产品带来了新的第三代张量核。在这里，您可以看到一些基准测试 。

还有一点需要注意的是，我们一直在优化我们的软件。我们首次推出 AGX Xavier 时与最新的 JetPack 5.X 软件相比，我们看到了大约 1.5 倍的性能提升。我们期望在整个 Jetson 家族中看到相同的结果。所以你可以看到这里的浅绿色显示了每个模块的所有预期性能。

另外，Orin系列不仅包含一个高性能的 G P U，而且还包含一个强大的 C P U。Jetson Orin 带有一个 ARM A78 C P U。在这里，您可以看到一些规范的 C P U 基准测试以及极客基准测试，它们真正展示了这些 C P U 内核的高性能。

Jetson Orin 不仅包含 GPU和CPU，还包含其他各种处理器。这些处理器可用于加载部分应用程序，因此您可以释放 GPU 和 CPU 用于计算密集型目的。首先，我们有深度学习加速器（DLA）。这是一个用于深度学习推理的固定功能加速器。随着Orin里有新版本的DLA ，与上一代 Xavier 相比，它提供了 9 倍的性能。除此之外，在这里，您还可以看到我们的一些 M L per基准测试中，与单独的 GPU 相比，包含 DLA 的我们能够获得 20% - 56% 的性能。

除此之外，我们还有一个可编程视觉加速器（PVA)，可用于卸载计算机视觉算法，一个用于各种图像处理功能的视频图像合成器(VIC)，以及一个用于计算光流和立体视差的光流加速器(DFA)。PVA 和 OFA 可以使用我们的视觉编程接口进行编程。

在产品发布时间表方面， 我们刚刚谈到了 AGX Orin 开发人员套件以及我们去年 3 月发布的 jetPack 5.0。其余的 jetson Orin 商业模组将于本月晚些时候与 JetPack 5.1.1 一起提供，随后在 2023 年 5 月 jetson Orin 工业级模组将与支持软件 JetPack 5.1.2 一起提供。