【每周CV论文推荐】初学模型蒸馏值得阅读的文章
欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。
模型蒸馏是非常重要的模型压缩方法，在学术界研究非常广泛，本次我们来简单给大家推荐一些初入该领域值得阅读的工作。
作者&编辑 | 言有三
1 基于优化目标驱动的知识蒸馏框架
Hinton最早在文章“Distilling the knowledge in a neural network”中提出了知识蒸馏的概念，其核心思想是一旦复杂网络模型训练完成，便可以用另一种训练方法从复杂模型中提取出来更小的模型。
文章引用量：11000+
推荐指数：✦✦✦✦✦
[1] Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015, 2(7).
2 基于特征匹配约束的知识蒸馏框架
上述基本的蒸馏框架以优化目标来约束teacher模型和student模型进行协同学习，模型学习的具体细节难以控制，会让训练不稳定且缓慢，更通用的方法其实是利用隐藏层特征来进行匹配约束，典型框架是FitNets。
文章引用量：2000+
推荐指数：✦✦✦✦✦
[2] Romero A, Ballas N, Kahou S E, et al. Fitnets: Hints for thin deep nets[J]. arXiv preprint arXiv:1412.6550, 2014.
[3] Huang Z, Wang N. Like what you like: Knowledge distill via neuron selectivity transfer[J]. arXiv preprint arXiv:1707.01219, 2017.
3 自蒸馏框架
在上面我们介绍的框架中，假设教师模型一定是比学生模型表现更好，但是教师模型的存在增加了训练的难度，而且教师模型的存在是否一定是必要的，研究者后面开始思考不需要教师模型的框架，这些可以统一归为自蒸馏框架。
文章引用量：1000+
推荐指数：✦✦✦✦✧
[4] Zhang Y, Xiang T, Hospedales T M, et al. Deep mutual learning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 4320-4328.
[5] Zhang L, Song J, Gao A, et al. Be your own teacher: Improve the performance of convolutional neural networks via self distillation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 3713-3722.
4 对知识蒸馏的理解
关于知识蒸馏本身的有效性问题，这几年研究者有不少新的发现，比如知识蒸馏到底是不是真的比从头训练小模型更好，教师模型的存在是必要的吗，教师模型是不是越强越好，与剪枝量化框架的结合，大家也可以多关注关注。
文章引用量：300+
推荐指数：✦✦✦✦✧
[6] Cho J H, Hariharan B. On the efficacy of knowledge distillation[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 4794-4802.
[7] Yuan L, Tay F E H, Li G, et al. Revisit knowledge distillation: a teacher-free framework[J]. 2019.
5 如何实战
为了帮助大家掌握模型优化压缩的相关知识！我们推出了相关的专栏课程《深度学习之模型优化：理论与实践》，讲解模型剪枝、模型量化、模型蒸馏等方向的理论与实践，感兴趣可以进一步阅读：
【视频课】AI必学，超10小时，4大模块，掌握模型优化核心技术！
总结
本次我们介绍了模型蒸馏的一些典型研究，从事相关方向的朋友可以通过阅读这些文章进行初步了解，模型蒸馏是掌握模型压缩任务的必经之路。
有三AI- CV夏季划
如何系统性地从零进阶计算机视觉，永久系统性地跟随我们社区学习CV的相关内容，请关注有三AI-CV夏季划组，阅读了解下文：
【CV夏季划】2022年正式入夏，从理论到实践，如何系统性进阶CV？（产学研一体的超硬核培养方式）
转载文章请后台联系
侵权必究