SIGAI知识库小视频上新预告
视频讲解主题
《COMPRESSION OF DEEP CONVOLUTIONAL NEURAL NETWORKS FOR FAST AND LOW POWER MOBILE APPLICATIONS论文解读》
内容概要
尽管最新的高端智能手机有强大的CPU和GPU,但是在移动设备上运行复杂的深度学习模型(例如ImageNet分类模型)仍然十分困难。为了可以将深度网络模型应用于移动设备,本文提出了一个简单且有效的压缩整个CNN模型的方案,称为“one-shot whole network compression”,该方案包括三个步骤:
a)利用VBMF(Variational Bayesian Matrix Factorization)选择合适的秩。
b)对卷积核做Tucker分解。
c)参数微调(fine-tune)恢复准确率。
本文通过压缩各种CNN结构(AlexNet,VGG-S,GoogLeNet,VGG-16)证明了该方法的有效性。在很小的准确率损失下,可以极大地减少模型大小、运行时间和能量消耗。另外本文关于1*1卷积,提出了重要的实现方面的问题。