想让你的微控制器AI效率提升5倍吗?

目前,在许多需要在本地进行数据分析的“永远在线”的物联网边缘设备中,神经网络正在变得越来越普及,主要是因为可以有效地同时减少数据传输导致的延时和功耗。而谈到针对物联网边缘设备上的神经网络,我们自然会想到Arm Cortex-M系列处理器内核,那么如果您想要强化它的性能并且减少内存消耗,CMSIS-NN就是您最好的选择。基于CMSIS-NN内核的神经网络推理运算,对于运行时间/吞吐量将会有4.6X的提升,而对于能效将有4.9X的提升。

CMSIS-NN库包含两个部分:NNFunctionNNSupportFunctions。NNFunction包含实现通常神经网络层类型的函数,比如卷积(convolution),深度可分离卷积(depthwise separable convolution),全连接(即内积inner-product),池化(pooling)和激活(activation)这些函数被应用程序代码用来实现神经网络推理应用。内核API也保持简单,因此可以轻松地重定向到任何机器学习框架。NNSupport函数包括不同的实用函数,如NNFunctions中使用的数据转换和激活功能表。这些实用函数也可以被应用代码用来构造更复杂的NN模块,例如,长期短时记忆(LSTM)或门控循环单元(GRU)。

对于某些内核(例如全连接和卷积),会使用到不同版本的内核函数。Arm提供了一个基本的版本,可以为任何图层参数“按原样”通用。我们还部署了其他版本,包括进一步的优化技术,但会对输入进行转换或对层参数有一些限制。理想情况下,可以使用简单的脚本来分析网络拓扑,并自动确定要使用的相应函数。

我们在卷积神经网络(CNN)上测试了CMSIS-NN内核,在CIFAR-10数据集上进行训练,包括60,000个32x32彩色图像,分为10个输出类。网络拓扑结构基于Caffe中提供的内置示例,具有三个卷积层和一个完全连接层。下表显示了使用CMSIS-NN内核的层参数和详细运行时结果。测试在运行频率为216 MHz的ARM Cortex-M7内核STMichelectronics NUCLEO-F746ZG mbed开发板上进行。

整个图像分类每张图像大约需要99.1毫秒(相当于每秒10.1张图像)。运行此网络的CPU的计算吞吐量约为每秒249 MOps。预量化的网络在CIFAR-10测试集上达到了80.3%的精度。在ARM Cortex-M7内核上运行的8位量化网络达到了79.9%的精度。使用CMSIS-NN内核的最大内存占用空间为〜133 KB,其中使用局部im2col来实现卷积以节省内存,然后进行矩阵乘法。没有使用局部im2col的内存占用将是〜332 KB,这样的话神经网络将无法在板上运行。

为了量化CMSIS-NN内核相对于现有解决方案的好处,我们还使用一维卷积函数(来自CMSIS-DSP的arm_conv),类似Caffe的pooling和ReLU来实现了一个基准版本。对于CNN应用,下表总结了基准函数和CMSIS-NN内核的比较结果。CMSIS-NN内核的运行时间/吞吐量比基准函数提高2.6至5.4倍,能效提高也与吞吐量的提高相一致。

高效的NN内核是充分发挥Arm Cortex-M CPU能力的关键。CMSIS-NN提供了优化的函数来加速关键的NN层,如卷积,池化和激活。此外,非常关键的是CMSIS-NN还有助于减少对于内存有限的微控制器而言至关重要的内存占用。

原文发布于微信公众号 - 人人都是极客(rrgeek)

原文发表时间:2018-06-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

干脆面君,你给我站住!你已经被TensorFlow盯上了

20430
来自专栏AI研习社

Github 项目推荐 | 微软开源 MMdnn,模型可在多框架间转换

近期,微软开源了 MMdnn,这是一套能让用户在不同深度学习框架间做相互操作的工具。比如,模型的转换和可视化,并且可以让模型在 Caffe、Keras、MXNe...

40980
来自专栏SDNLAB

使用机器学习算法对流量分类的尝试——基于样本分类

导言 机器学习方法目前可以分为5个流派,分别是符号主义,联结主义,进化主义,贝叶斯和Analogzier。具体到实例有联结主义的神经网络,进化主义的遗传算法,贝...

874120
来自专栏猿湿Xoong

Android | 通过机器学习实现精准字母手势识别

25140
来自专栏AI研习社

可应用的目标检测代码来了,一秒锁定你

计算机视觉是人工智能的一个重要领域。计算机视觉是一门关于计算机和软件系统的科学,可以让计算机对图像及场景进行识别和理解。计算机视觉还包括图像识别、目标检测、图像...

10110
来自专栏顶级程序员

Caffe源码直播

0.预告 开源项目名称:Caffe—— deep learning framework 语言:C++ 时间:10月22日(周六)早11:00-12:00 参与方...

50290
来自专栏机器之心

世界上最好的语言PHP:我也可以用OpenCV搞计算机视觉

就像许多开发人员一样,我也经常使用别人的工作成果(Medium 上的文章、GitHub 上的代码等),因此也很乐意与社区分享我的成果。写文章不仅是对社区的一种回...

20330
来自专栏量子位

Keras 2正式发布,推出深度整合进TensorFlow的新API

允中 编译整理 量子位·QbitAI 出品 今天,深度学习框架Keras在博客上发表文章,介绍了深度整合进TensorFlow的内部版本tf.keras,以及...

35780
来自专栏机器之心

教程 | 在Cloud ML Engine的TPU上从头训练ResNet

张量处理单元(TPU)是能够大大加快深度学习模型训练速度的硬件加速器。在斯坦福大学进行的独立测试中,在 TPU 上训练的 ResNet-50 模型能够在 Ima...

18120
来自专栏大数据文摘

手把手 | 如何训练一个简单的音频识别网络

40830

扫码关注云+社区

领取腾讯云代金券