【知识库小视频预告】CNN模型压缩论文解读

SIGAI知识库小视频上新预告

视频讲解主题

《COMPRESSION OF DEEP CONVOLUTIONAL NEURAL NETWORKS FOR FAST AND LOW POWER MOBILE APPLICATIONS论文解读》

内容概要

尽管最新的高端智能手机有强大的CPU和GPU，但是在移动设备上运行复杂的深度学习模型（例如ImageNet分类模型）仍然十分困难。为了可以将深度网络模型应用于移动设备，本文提出了一个简单且有效的压缩整个CNN模型的方案，称为“one-shot whole network compression”，该方案包括三个步骤：

a）利用VBMF（Variational Bayesian Matrix Factorization）选择合适的秩。

b）对卷积核做Tucker分解。

c）参数微调（fine-tune）恢复准确率。

本文通过压缩各种CNN结构（AlexNet，VGG-S，GoogLeNet，VGG-16）证明了该方法的有效性。在很小的准确率损失下，可以极大地减少模型大小、运行时间和能量消耗。另外本文关于1*1卷积，提出了重要的实现方面的问题。