作者 | 王培松
编辑 | Camel
本文是对中科院自动化所完成,被 AAAI2020 录用的论文《Sparsity-inducing Binarized Neural Networks》进行解读。
论文简介:
二值网络(BNN)由于其对于硬件非常友好,获得了学术界和工业界的广泛关注。虽然二值网络执行效率非常高,但是相对于全精度浮点网络,其精度损失严重。
目前二值网络普遍使用sign函数对网络的权值和激活量化到-1和+1,对二值网络的研究方向主要包括提高二值网络的训练技巧、修改网络结构使得网络结构对于二值量化不敏感等,然而二值表达形式却被研究者忽略。
在本文中,我们提出了稀疏量化,即对网络激活量化到0和+1,而网络权值依然量化到-1和+1。我们验证了在使用0-1量化时,不会引入任何额外的计算量,但网络性能却获得大幅度提升。同时,针对稀疏二值量化网络中超参选择问题,我们提出一种高效的自动化学习方法,进一步提升二值网络性能。
通过实验发现,我们在没有使用任何额外技巧的情况下,网络精度能够达到目前最高水平。
(或者到AI研习社官网观看更多AAAI 2020 论文解读视频:http://www.mooc.ai/open?from=meeting)
作者简介:
王培松,博士,于2013年在山东大学获软件工程学士学位,2018年在中国科学院自动化研究所获计算机应用博士学位。2018年进入中国科学院自动化研究所模式识别国家重点实验室,担任助理研究员岗位。目前主要从事深度学习、计算机视觉、神经网络高效计算等方面的研究。在ACM-TOMM、Cognitive Computation等国际期刊和CVPR、 AAAI、 IJCAI等顶级国际会议上发表学术论文十余篇。相关研究成果已经被华为、阿里巴巴等企业广泛应用。