CNN推理哪家强?英伟达/英特尔/骁龙/麒麟/ActionSemi大测评

作者 Mike Liao 伊瓢 编译 量子位 出品 | 公众号 QbitAI

CNN推理在物联网的趋势下越来越重要,各大品牌也在推出不同设备以供使用。那么,主流品牌硬件做CNN推理哪家强?

一位名叫Mike Liao的作者,最近就利用暑期实习的机会测试了英伟达、英特尔、麒麟、高通、ActionSemi5个品牌硬件的CNN推理能力。

结论不出意外,英伟达永远都是最快的。不过,跑体积较小的模型的时候,高通也不错。

具体过程是这样的。

测试使用的硬件是:

1)Nvidia Jetson Tx2 2)Movidius 2450 3)Nvidia 1080ti(基准线) 4)麒麟970(华为手机) 5)高通骁龙660 6)ActionSemiS900

InceptionV3:高通华为还不错

在InceptionV3网络的比拼中,由于每个平台功能不同,所以需要进行量化,测试中需要把高通骁龙660量化为8位,Nvidia TensorRT可以选择使用FP32或FP16,麒麟970可以选择8位或者1位量化。

InceptionV3的竞争中,最快的是Nvidia 1080ti(Float TF),其次是Nvidia Jetson系列,1080ti比Intel i7-8700k CPU快10倍。

同为英特尔,Intel Neural Compute Stick是最慢的,比Intel i7-8700k CPU慢3倍,不过巧的是,Intel i7-8700k CPU和Nvidia Jetson Tx2 GPU的运行速度几乎一模一样。

同为手机处理器的麒麟970和高通骁龙660表现差不多,麒麟970稍微快一点点。

在InceptionResnetV2上的结果也差不太多,除了高通骁龙660的速度被拖慢了大约8倍。

ActionSemi不宜Mobilenets

如果网络比较小,就可以使用稍微弱一些的硬件来进行推理。

调整参数可以改变输入图像的大小。我们用128和160两种型号来进行测试:

1)width_multiplier = 0.25&input_size = 128

最快的是Nvidia家族,ActionSemi的两款硬件速度最慢。

2)width_multiplier = 0.5&input_size = 160

表现最差的依然是ActionSemis900,耗费时间几乎是1080ti的近百倍了。 另外,Intel Nueral Compute Stick几乎比Google Vision Kit快4倍,而两者使用相同的基础Movidius 2450板,相同层的软件实现起到了很大的作用。

英伟达高通麒麟盘点

英伟达系列

在速度方面,TensorRT(Half)<TensorRT(Float)<Tensorflow(Float),每个速度比前者快〜2倍,我们可以预期速度最快的TX2 TensorRT(Half)比1080ti(Float)慢大约2-5倍。

高通骁龙660

高通骁龙660已经是一个相对早的版本了,训练Mobilenet,MobilenetSSD,InceptionV3这类较小网络时,骁龙660提供了不错的速度。

不过骁龙660的一个问题是SNPE平台版本问题,作者曾经用snpe-tensorflow-to-dlc编译器编译某些最先进的模型时遇到过这个问题。

麒麟970

麒麟970在运行InceptionV3时要比骁龙660快一点,SNPE平台在华为HiAI平台发布后比高通骁龙660更新。

不过坏处就是,麒麟970支持的模型必须小于100MB,它比较支持Caffe,对TensorFlow不太友好,只支持TensorFlow 1.3,网上的预训练模型资源也比较少。

最后,虽然这篇测评主要考虑的是速度方面,不过,真正挑选的时候还要看看预算和功耗哦。

传送门

查看作者原文和更多资料可以戳链接: https://towardsdatascience.com/benchmarking-hardware-for-cnn-inference-in-2018-1d58268de12a Github完整列表: https://github.com/basicmi/Deep-Learning-Processor-List

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-09-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

有了800件T恤测量数据,能选出最合身的尺寸吗?

大家,特别是男士们,对于购买T恤,会为到底挑选那个牌子或选择尺码伤脑筋。今天的这篇文章为大家购买T恤,特别是购买国外品牌时,提供一点参考。

842
来自专栏人人都是极客

自动驾驶汽车传感器融合系统及多传感器数据融合算法浅析

“自动泊车、公路巡航控制和自动紧急制动等自动驾驶汽车功能在很大程度上是依靠传感器来实现的。重要的不仅仅是传感器的数量或种类,它们的使用方式也同样重要。目前,大多...

1.2K7
来自专栏ATYUN订阅号

研究人员开发AI系统,从临床记录中预测急性肾损伤风险

急性肾损伤(AKI)是一种肾脏突然无法过滤血液中的废物的情况,可能会破坏危重病人的肾脏系统。如果超过第二阶段(AKI分为三个阶段),死亡率可接近89%。如果在腹...

1201
来自专栏大数据文摘

有了800件T恤测量数据,能选出最合身的尺寸吗?

23512
来自专栏企鹅号快讯

机器学习人工学2017/12/31

这周国外过节比较清净。注意下面很多链接需要开学上网,无奈国情如此 1. Facebook AML团队发文,从应用的角度披露了很多FB内部用的机器学习系统,其中S...

2257
来自专栏CreateAMind

狂扫谷歌tesla的开源自动驾驶!

2101
来自专栏大数据文摘

如何把各类难题变得数据可解?Get与数据科学家聊天的正确姿势

1004
来自专栏ATYUN订阅号

研究人员开发AI预测能够中断核聚变和破坏设备的威胁

为了捕捉和控制地球上被称为托卡马克的设施中的太阳和恒星的核聚变过程,科学家们必须能够阻止那些会中断反应并破坏环形设备的威胁。现在美国能源部(DOE)普林斯顿等离...

1403
来自专栏AI科技大本营的专栏

神经网络要从原子抓起:原来白花花的银子才是神经芯片的未来

编译 | ziqi Zhang 审校 | 波波 最近几年,神经网络、深度学习的风靡程度简直可以跟当年美国19世纪中期的淘金热同日而语。大量研究者从传统的“机器...

3055
来自专栏机器人网

机器人新里程碑:观察1次,就能模仿人类操作

OpenAI是一家由伊隆·马斯克赞助,总部位于旧金山的非营利研究实验室,近日实验室宣布在机器人工作领域取得了里程碑式研究成果。基于全新算法,人类在虚拟现实环境中...

3065

扫码关注云+社区

领取腾讯云代金券