NVIDIA Jetson Nano，Google Coral和Intel NCS，不比不知道

本文作者：

本文转载自：https://towardsdatascience.com/nvidia-jetson-nano-vs-google-coral-vs-intel-ncs-a-comparison-9f950ee88f0d

在人工智能训练框架Tensorflow、Pythorch、Caffe、Keras、OpenVINO等的成熟度达到一定程度后，Edge AI获得了发展势头。然而，从数据采集到模型部署和推理的完整工具链仍不明确，尽管工作仍处于研究阶段，但是发展非常迅速。一些令人兴奋的解决方案不断产生，例如从计算机视觉中识别物体和从自然语言处理的角度进行语音识别。

传统AI，机器学习方法

许多现有的AI解决方案都将云计算或存储作为架构的基本组成部分。由于与隐私，延迟，可靠性和带宽有关的问题，这使得某些部门很难在实际使用案例中采用该技术。边缘计算虽然受资源限制，但可以在一定程度上缓解这些问题。边缘计算与云计算不是互斥关系，而是互补。

Edge AI未来发展

Gartner的《Hype Cycle for Emerging Technologies, 2019》报告显示的新兴技术趋势表明，边缘AI和边缘分析的预期已达到峰值。但是，由于该领域仍处于起步阶段，因此软件框架和硬件平台将随着时间的推移不断发展，以经济高效的方式创造价值。

谁在比赛中：NVIDIA，Google和Intel

人工智能领域的三大参与者；英特尔，谷歌和Nvidia通过提供小尺寸的硬件平台/加速器来支持边缘AI。虽然这三个都有缺点和优点，但都取决于应用程序，预算和SDK的可用性。

在此博客中，我将对三种边缘AI硬件加速器进行简要比较。英特尔Movidius NCS记忆棒，Google Coral USB记忆棒和Nvidia Jetson Nano。

测试设置

为了进行检测比较，考虑了相同的环境设置。测试对象包括人，公共汽车和汽车。确保相同的照明条件。在实验中，硬件组件包括NVIDIA Jetson Nano开发者套件，32GB Scandisk Ultra SD卡，Microsoft USB LifeCam 1080p HD（网络摄像头），Raspberry Pi官方通用电源2.5A，Raspberry Pi相机，Google Coral USB和Intel NCS。

图片由作者提供

性能和资源利用

资源利用率是使用topLinux命令测量的。推理时间是在单个帧中检测到对象的时间，CPU使用率表示协处理器使用率。英特尔NCS的帧速率较低，但是第二代英特尔NCS2的性能最高可提高8倍。检测结果代表检测的置信度得分。

图01显示了Nvidia Jetson Nano的检测结果，图02显示了Google Coral，图03显示了来自Intel NCS的检测结果。可见NVIDIA和Intel NCS提供了更好的置信度，而Google Coral的置信度则相对较低。原因之一是用于Google Coral的红外热像仪，因此由于热像仪传感器的不匹配，检测性能还不够科学。但是，这表明要使用多少个对象来估计处理负载，内存使用情况和推理时间计算。

成本

下表列出了硬件加速器的成本以及所需的组件。值得一提的是，Nvidia Jetson Nano是一个开发板，可作为独立设备使用。但是，Google Coral USB和Intel NCS需要一台主机来处理数据流。主机可以是单板计算机，例如Raspberry Pi或任何其他具有Windows或Linux操作系统的x86计算机。下表中的成本是使用Raspberry Pi 3 B +计算的。

这个成本是用于原型系统（译者注：即开发套件），并且每个加速器提供商都具有可用于生产的硬件（译者注：即模组）。准备就绪的加速器的成本将取决于批量和第三方产品，因为这些模块需要集成到主机中。

结论

从延迟的角度来看，很明显，Nvidia Jetson Nano的〜25 fps优于Google Coral的〜9 fps和英特尔NCS的〜4 fps。对于某些应用程序，考虑到成本差异，超过4 fps可能也是一个不错的性能指标。Nvidia Jetson Nano是评估板，而Intel NCS和Google Coral是更多可以附加到现有硬件的附加设备。

使用上述硬件可以快速开发PoC。还值得一提的是，这三款产品均具有可用于生产环境的硬件加速器，具有更好的温度额定值和性能模式，例如，Google Coral具有动态频率缩放功能，并根据加速器的温度调节负载。

这些原型硬件加速器的成本相对较小且在相同范围内，因此它们适合于不同的低成本应用。