在NVIDIA Jetson上开发要知道的知识点

本周二晚，针对参加NVIDIA Jetson开发大赛的开发者们，NVIDIA做了一个内部培训，我们把培训讲座整理了一下，Highlight几个关键点（尤其是几个规格对比图，大家一定要保存）：

NVIDIA全系列Jetson模组产品：

初次接触NVIDIA Jetson产品的开发者可以看看上面这个图，让您知道，针对不同的AI应用场景，高中低档，NVIDIA已经出全了。其中，Jetson Orin NANO模组将于2023年1月份上市

高端模组规格对比：

低端模组的规格对比：

Jetson Orin NANO的架构

注意：Jetson NANO Orin去掉了编码功能，所以选型的时候一定要注意。

全系列模组的规格比较(这里少了Orin NANO）

我们从这三张图中可以看到：

• Orin系列全部为安培架构， GPU是同一型号，这对于软件开发做适配是很有帮助的，因为不同的架构，你做适配，在算法或者优化上都需要做调整，势必对于移植会产生影响，而这个在Orin系列就不存在这个问题，不同的Orin模组，只有性能的差别，这也就是为什么AGX Orin开发套件可以模拟六款Orin模组。
• Orin系列的性能分Dense和Sparse，有人会问这是什么？这是安培架构比较特殊的操作，叫结构化稀疏——现代人工智能网络相当庞大且越来越大，有数百万、甚至数十亿个参数。精准预测与推论不需要用到所有参数，而有些参数可以转换为零，以确保模型变「稀疏」的同时不会牺牲准确性。Tensor 核心最高可以将稀疏模型的效能提高 2 倍。将模型稀疏化对于人工智能推论有益，同时也能改善模型训练效能。所以，以Orin NX 8GB为例，你如果稀疏化，那么性能可以达到70TOPS，如果不用稀疏化，可以达到35TOPS.
• Orin系列，DLA和PVA（视觉加速）都到了V2版本。
• 视频编解码部分，Orin NX和AGX Orin都支持AV1。在过去十年中，视频应用在互联网上变得无处不在，现代设备推动了对高分辨率、高质量内容的消费的快速增长。视频点播和会话视频等服务是主要的带宽消耗者，它们对传输基础设施提出了严峻的挑战，因此对高效视频压缩技术的需求更加强烈。AV1是一种新兴的开源免版税视频压缩格式。AV1开发的主要目标是在保持实际解码复杂性和硬件可行性的同时，在最先进的编解码器上实现显著的压缩增益。

NVIDIA Jetson模组Roadmap

在NVIDIA的PPT里，我们发现，2023年，NVIDIA会推出AGX Orin工业级模组——这是专门针对需要宽温、冲击和振动规范才能在恶劣环境中运行的应用！

NVIDIA Jetson软件栈

NVIDIA强调，Jetson的软件系统平台跟其他嵌入式平台略有不同。其他的嵌入式平台使用的时候是Uboot+kernel+自己做的Roots，而NVIDIA Jetson平台是通过JetPack，已经打包好了底层的kernel、Uboot以及NVIDIA的各种库，然后再加上一个Rootfs.

Orin发布之前，JetPack最高版本是JetPack 4.6.2,基于Ubuntu18.04，目前Jetson NANO和Jetson TX2NX最高可以刷的版本就是JetPack 4.6.2，是不会再升级到JetPack 5.0。

Orin系列，JetPack可以升级到JetPack 5.X,基于Ubuntu 20.04

注意一点：JetPack 5.0以上，kernel是升级到了5.1，而JetPack 4.6.2的kernel是4.9。这样很多驱动，它是基于Kernel 5.1的，就比较容易移植到JetPack 5.0.X，比如树莓派的一些外设是基于kernel 5.X，在JetPack 4.6.X 上移植可能会遇到问题。

CUDA-X SDK资源

CUDA

▪ https://docs.nvidia.com/cuda/cuda-for-tegra-appnote/index.html#overview

cuDNN

▪ https://developer.nvidia.com/cudnn

TensorRT

▪ https://developer.nvidia.com/tensorrt

▪ Samples https://github.com/NVIDIA/TensorRT/tree/main/samples

Jetson Multimedia

▪ https://docs.nvidia.com/jetson/l4t-multimedia/group__l4t__mm__test__group.html

▪ Samples: /usr/src/jetson_multimedia_api

DeepStream

▪ https://developer.nvidia.com/deepstream-sdk

▪ Samples: /opt/nvidia/deepstream/deepstream-6.1/sources

VPI

▪ https://docs.nvidia.com/vpi/index.html

Cameara

▪https://docs.nvidia.com/jetson/archives/l4t-archived/l4t-3261/index.html#page/Tegra%20Linux%20Driver%20Package%20Development%20Guide/camera_dev.html#