【每周CV论文推荐】初学模型剪枝值得阅读的文章
欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。
模型剪枝是非常重要的模型优化与压缩方法，本次我们来简单给大家推荐一些初入该领域值得阅读的工作。
作者&编辑 | 言有三
1 基于优化目标的连接剪枝
模型剪枝的思想可以追溯到上个世纪LeCun等人的研究，Optimal Brain Damage，他们通过建立了一个误差函数的局部模型来预测扰动参数向量对优化目标造成的影响，从而判断连接参数对优化目标改变的贡献，这就是它的重要性，然后进行剪枝，这一类方法后面也被一些研究者进行改进和拓展，不过原理比较复杂，不是主流的剪枝方案。
文章引用量：4000+
推荐指数：✦✦✦✦✧
[1] LeCun Y, Denker J S, Solla S A. Optimal brain damage[C]//Advances in neural information processing systems. 1990: 598-605.
2 基于权重幅度的连接剪枝
最直观的对连接进行剪枝的方法当然就是基于权重幅度的方法，因为权重值直接决定了输出特征值大小，一般流程是首先根据权重连接的L1/L2范数的大小进行排序，再通过设置经验阈值来进行裁剪，最后进行微调恢复性能。
文章引用量：6000+
推荐指数：✦✦✦✦✦
[2] Han S, Pool J, Tran J, et al. Learning both weights and connections for efficient neural network[C]//Advances in neural information processing systems. 2015: 1135-1143.
[3] Guo Y, Yao A, Chen Y. Dynamic network surgery for efficient dnns[C]//Advances In Neural Information Processing Systems. 2016: 1379-1387.
3 基于重要性因子的结构化剪枝
相对于连接权重剪枝，粗粒度剪枝（结构化剪枝）其实更加有用，它可以得到不需要专门的算法与硬件支持的精简小模型。对滤波器进行剪枝和对特征通道进行剪枝所得的最终结果是相同的。与基于权重幅度的连接剪枝类似，一类非常典型的方法是基于重要性因子来判断特征或者约束输出的重要性。
文章引用量：2000+
推荐指数：✦✦✦✦✦
[4] Liu Z, Li J, Shen Z, et al. Learning efficient convolutional networks through network slimming[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 2736-2744.
[5] Huang Z, Wang N. Data-driven sparse structure selection for deep neural networks[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 304-320.
4 基于重建误差的结构化剪枝
剪枝的最终目标是在减少模型参数的同时，要维持模型的性能不下降，与基于权重幅度的连接剪枝一样，基于重要性因子的方法主观性太强，而另一种思路就是基于输出重建误差的通道剪枝算法，它们根据输入特征图的各个通道对输出特征图的贡献大小来完成剪枝过程，可以直接反映剪枝前后特征的损失情况。
文章引用量：2000+
推荐指数：✦✦✦✦✧
[6] He Y, Zhang X, Sun J. Channel pruning for accelerating very deep neural networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 1389-1397.
[7] Luo J H, Zhang H, Zhou H Y, et al. Thinet: pruning cnn filters for a thinner net[J]. IEEE transactions on pattern analysis and machine intelligence, 2018.
5 如何实战
为了帮助大家掌握模型优化压缩的相关知识！我们推出了相关的专栏课程《深度学习之模型优化：理论与实践》，讲解模型剪枝、模型量化、模型蒸馏等方向的理论与实践，感兴趣可以进一步阅读：
【视频课】AI必学，超10小时，4大模块，掌握模型优化核心技术！
总结
本次我们介绍了模型剪枝的一些典型研究，从事相关方向的朋友可以通过阅读这些文章进行初步了解，模型剪枝是掌握模型压缩任务的必经之路。
有三AI- CV夏季划
如何系统性地从零进阶计算机视觉，永久系统性地跟随我们社区学习CV的相关内容，请关注有三AI-CV夏季划组，阅读了解下文：
【CV夏季划】2022年正式入夏，从理论到实践，如何系统性进阶CV？（产学研一体的超硬核培养方式）
转载文章请后台联系
侵权必究