馋了馋NVIDIA Jetson Orin嵌入式AI开发板

老潘

发布于 2023-10-19 11:09:57

7590

发布于 2023-10-19 11:09:57

最近疯狂迷恋（想买）Jetson Orin，也就是NVIDIA今年新发布的嵌入式AI开发板。这玩意儿今年3、4月份开始正式销售，官方售价1999美刀，国内嘛，估计16000左右。性能很美丽，价格当然也很美丽。

Jetson Orin是今年的新系列，以往之前的是TX1、TX2、Xavier系列。之前的小米铁蛋就是用的Xavier NX系列。 Orin的性能目前算是嵌入式开发板中的性能天花板了，目前很多的车企用的都是Orin做ADAS，算力还是很强的，比如蔚来称他们用4块orin总算力有1000T。比如百度、蔚来，理想等等，用的也是Orin系列车载芯片（不过与消费者能买到的有一定区别）。当然也有不用Orin的自动驾驶，有用高通的、也有用自家芯片的，自动驾驶芯片也是百花齐放。话说回来，看下Orin的性能对比：

表面上一看，从32T->275T，提升了8倍。INT8的算力直接干到接近300T了，但是仔细一看，哎这个算力是稀疏算力，如果按照dense算的话，砍一半算130T-INT8算力。怎么调用稀疏功能我也研究过一段时间，没有深入，感觉效果还不是很明显，可能姿势不对。据官方测试ResNext-101在A100上最高有20%的性能提升：

稀疏性目前用的不多，但估计之后可能和量化一样成为“烂大街”的技术吧！目前量化技术已经标配了，200Tops的INT8算力，就是干这的。不过量化掉点稍稍会有一些，通常会有1%以内的掉点，而使用稀疏的话，掉点就可以忽略不计了，精度可以是FP16也可以是INT8，性能在量化基础上再提升一截，训练过程中就可以使用，只不过对硬件的要求比较高。

性能比较

看下64G版本Nvidia orin的AI性能，275T=170T+105T(52.5*2)。

170的INT8是稀疏算力，换算为dense是85T。一共64个Tensor Core，频率算个1.3GHz： 1.3*64*256*2*2=85196G=85T。其中ampere单 cycle 的吞吐量是 256 个 FP16精度的FMA，INT8是FP16的两倍。 DLA我不熟悉，不过这代的DLA支持稀疏性。纸面上说着有8倍性能的提升，但其实看看就行。实际提升要考虑很多因素（模型结构、IO、数据）。下图是smartcow对Orin的评测数据：

而Orin中安培显卡数据，这个CUDA核的数量很接近3050-laptop，一共是2048个CUDA核，64个Tensor Core：

计算能力因为是基于ampere架构，所以开头依然是8。8.7是因为加了DLA，与7.0->7.2类似：

DLA换成了第二代，去掉了FP16计算单元，全换成了INT8，这样搞据说是为了降低功耗，看来是全压INT8了啊。

DLA新功能：

产品计划

目前只出了32G版本的Orin核心板，64G的核心板在10月份出。

而NX系列则是9月份和十月份出：

目前卖的Orin开发套件的两个细节不能忽略，所以也贵一些：

是32G内存，但是275T的算力
有1个万兆的网口

购买建议

Jetson Orin官方开发板太贵了，买不起，看了下淘宝价格1w5-1w7的都有，闲鱼上1w3左右，原价是1999美元，加上运费和13税也差不多吧。

要是想自己买的玩的话，建议买NX系列，也考虑了一点原因，就是自己玩的话，Orin的200T算力用不上，性能过剩，没有用武之地（其实主要还是贵）。

不过看下面这张图，INT8的性能提升还是挺明显的，期待Orin NX系列早点上市，个人玩家买着可以自己玩：

比较重要的一点，Xavier NX的支持到2026年，现在买Xavier NX系列也不亏！

当然还有大小，NX系列就是信用卡大小，而AGX系列就是32开书的大小，如果买回来想要自己DIY的，要留意下。看了下泰瑞新时代Orin的载板RTSO-1002，大小是17cm*13cm，大小应该像一本32开的书，也不小了。

而NX的载板就小一半，看下泰瑞新时代的RTSO-6002载板大小。

就和信用卡大小一样，很mini很便携。

关于外壳？

买回来肯定要弄个外壳，但是国产的外壳一言难尽，都比较朴实无华。偶然看到这家出的开发套件就挺好看的，比国产的更青春靓丽点哈哈。基于Xavier NX，配有很多传感器，比如摄像头、内置音响、话筒、OLED等等。

还挺好看的哈？

后壳直接裸露..感觉还行？

看了下这种产品大概率就是自定义了BSP系统，用户可以直接使用他们自定义的系统去开发一些应用，怎么使用摄像头啦、麦克风啦，显示屏啊，会给你提供例程，然后你直接上面改就行。不是单卖外壳的。

总结

总结下，不得不说Jetson系列是理工科男AI爱好者的一大杀器，想买的不行，但是是在没有时间去玩，只能业务折腾折腾。个人建议，如果就是自己玩，没有实际的使用场景，买个NX系列就好，等Orin可以也行，体验下安培架构的特性，直接买Xavier系列也不差，Volta结构也不老。总之，看了这么一圈，调研了一阵，暂时忍住了哈哈，给想买的兄弟们一点建议，买了尽量不要吃灰！