学界 | BMXNet:基于MXNet的开源二值神经网络实现

选自arXiv

作者:杨浩进等

机器之心编译

参与:李亚洲

论文地址:https://arxiv.org/abs/1705.09864

摘要:二值神经网络(BNN)能够极大地减少存储的大小,并通过按位运算(bit-wise operations)而非标准的算术运算就能获取。因此,它能极大地改进运行时的效率以及能耗,使得在低能量的设备上应用顶尖的深度学习模型成为可能。BMXNet 是一个开源的基于 MXNet 的二值神经网络库(BNN library),支持 XNOR-Network 和 Qantized Neural Networks。无论是 GPU 模式还是 CPU 模式,开发出的 BNN 能够无缝地应用到其他标准的库组件上。BMXNet 由 Hasso Planer Institute 的多个研究团队维持、开发,并在 Apache 许可下发布。大量的实验验证了其实现的效率与效用。该 BMXNet 库、数个样本项目以及预训练二值深度模型的集合,都可在 https://github.com/hpi-xnor 中下载。

BMXNet 项目地址:https://github.com/hpi-xnor/BMXNet

图 1:GEMM 方法处理时间对比

图 2:通过不同的卷积层过滤数量基于朴素 GEMM 方法的加速比。输入信道(channel)大小固定为 256,而 kernel 和 batch 的大小分别设定为 5x5 和 200。

图 3:通过不同的卷积层的 kernel 大小基于朴素 GEMM 方法的加速比。输入信道大小设定为 256,batch 大小和过滤数量分别为 200 和 64。

表 1:在 MNIST 和 CIFAR-10 数据集上训练的二值和全精度模型的分类准确率。未使用任何预训练或数据增强。

表 2:在 ImageNet 数据集上训练的二值网络、部分二值化网络、全精度模型的分类准确率。实验中使用的是 ResNet-18 架构。

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-07-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

怎样做中文文本的情感分析?

2016课程地址 项目描述地址 ---- 什么是情感分析? 就是要识别出用户对一件事一个物或一个人的看法、态度,比如一个电影的评论,一个商品的评价,一次...

39580
来自专栏机器之心

训练的神经网络不工作?一文带你跨过这37个坑

选自Medium 作者:Slav Ivanov 机器之心编译 参与:黄小天、Smith 近日,Slav Ivanov 在 Medium 上发表了一篇题为《37 ...

355100
来自专栏大数据挖掘DT机器学习

数据挖掘18大算法实现以及其他相关经典DM算法

算法使用方法在每个算法中给出了3大类型,主算法程序,调用程序,输入数据,调用方法如下: 将需要数据的测试数据转化成与给定的输入格式相同,然后以Client类...

41190
来自专栏机器学习算法与Python学习

干货 | 深度学习应用中需要思考的问题

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 我在这儿只是列出了一部分该考虑的问题...

34890
来自专栏新智元

【CVPR 2018热文】MIT提出“透明设计”网络,揭开视觉黑盒

【新智元导读】MIT和普朗克航空系统公司的研究人员合作,提出了一类“透明设计网络”,在李飞飞等人提出的视觉理解数据库CLEVR上达到了99.1%的准确率,他们设...

35450
来自专栏人工智能的秘密

用机器学习来预测天气Part 2

  这篇文章我们接着前一篇文章,使用Weather Underground网站获取到的数据,来继续探讨用机器学习的方法预测内布拉斯加州林肯市的天气。上一篇文章我...

42960
来自专栏机器之心

学界 | 为卷积模型执行加入循环和远程反馈,更完整地拟合生物视觉

大脑的感觉系统必须要在复杂的有噪声感觉数据中检测出有意义的模式 [James, 1890]。视觉环境可以揭示对象的积极或消极性质,包括食物种类、危险标志以及令人...

9220
来自专栏ATYUN订阅号

我的神经网络不工作了!我应该做什么? 详细解读神经网络的11种常见问题

“当你正在深入研究深度学习的下一个重大突破时,或许会遇到一个不幸的挫折:你的神经网络不起作用。你去找你的老板/主管,但他们也不知道如何去解决这个问题——他们和你...

31130
来自专栏PPV课数据科学社区

如何选择Microsoft Azure机器学习算法

编者按:机器学习的算法很多,如何选择一直是初学者的一个痛点。本文给出了机器学习算法选择的方法和实例,不仅适用于Microsoft Azure框架,同样可以应用于...

51260
来自专栏AI科技评论

学界 | 百度联合英伟达发布最新论文:使深度学习效率事半功倍的混合精度训练

AI科技评论消息: 在10月10日-11日在加拿大蒙特利尔召开的Rework Deep Learning Summit会议上,百度高级研究员Greg Diamo...

37780

扫码关注云+社区

领取腾讯云代金券