【知识星球】剪枝还是不剪枝，剪了到底有什么好？

1 剪枝

我们都知道剪枝可以压缩计算量，那到底可以达到什么程度呢？下面看Google的一篇文章的研究。

有三AI知识星球-网络结构1000变

To prune, or not to prune

本文探讨了具有同样大小的稀疏大模型和稠密小模型的性能对比，在图像和语音任务上表明稀疏大模型普遍有更好的性能。

作者/编辑 言有三

模型剪枝是一项重要的模型压缩技术，它给网络参数带来了稀疏性，在开源框架中可以通过和权重矩阵大小相等的掩膜来实现。

那么，剪枝到底对性能会有什么影响呢？首先看Inception V3模型的实验中在稀疏性分别为0%，50%，75%，87.5%时的结果。此时模型中非零参数分别是原始模型的1，0.5，0.25，0.128倍，即实现了1，2，4，8倍的压缩。

可以看到，在稀疏性为50%，性能几乎不变。稀疏性为87.5%时，指标下降为2%。

上表展示了MobileNet的实验结果，分别比较更窄的MobileNet和更加稀疏的MobileNet的结果，可以发现稀疏的MobileNet性能明显优于稠密的MobileNet。

75%的Sparse Model比0.5倍宽的Dense Model在top-

1指标上超出了4%，而且模型更小。90%的Sparse Model比0.25倍宽的Dense Model在top-1指标上超出了10%，模型大小相当。

从这里可以看出剪枝真的是一个非常有前途的课题，值得研究。

[1] Zhu M, Gupta S. To prune, or not to prune: exploring the efficacy of pruning for model compression[J]. arXiv preprint arXiv:1710.01878, 2017.

关于更多紧凑模型设计，模型压缩和量化的内容可见。