AAAI 2020 | 王培松：稀疏二值神经网络，不需要任何技巧，取得SOTA精度（视频解读）

作者 | 王培松

编辑 | Camel

本文是对中科院自动化所完成，被 AAAI2020 录用的论文《Sparsity-inducing Binarized Neural Networks》进行解读。

论文简介：

二值网络（BNN）由于其对于硬件非常友好，获得了学术界和工业界的广泛关注。虽然二值网络执行效率非常高，但是相对于全精度浮点网络，其精度损失严重。

目前二值网络普遍使用sign函数对网络的权值和激活量化到-1和+1，对二值网络的研究方向主要包括提高二值网络的训练技巧、修改网络结构使得网络结构对于二值量化不敏感等，然而二值表达形式却被研究者忽略。

在本文中，我们提出了稀疏量化，即对网络激活量化到0和+1，而网络权值依然量化到-1和+1。我们验证了在使用0-1量化时，不会引入任何额外的计算量，但网络性能却获得大幅度提升。同时，针对稀疏二值量化网络中超参选择问题，我们提出一种高效的自动化学习方法，进一步提升二值网络性能。

通过实验发现，我们在没有使用任何额外技巧的情况下，网络精度能够达到目前最高水平。

（或者到AI研习社官网观看更多AAAI 2020 论文解读视频：http://www.mooc.ai/open?from=meeting）

作者简介：

王培松，博士，于2013年在山东大学获软件工程学士学位，2018年在中国科学院自动化研究所获计算机应用博士学位。2018年进入中国科学院自动化研究所模式识别国家重点实验室，担任助理研究员岗位。目前主要从事深度学习、计算机视觉、神经网络高效计算等方面的研究。在ACM-TOMM、Cognitive Computation等国际期刊和CVPR、 AAAI、 IJCAI等顶级国际会议上发表学术论文十余篇。相关研究成果已经被华为、阿里巴巴等企业广泛应用。