基于对抗学习和知识蒸馏的多模型集成算法

分享主题

基于对抗学习和知识蒸馏的多模型集成算法

分享背景

该工作是我们最近刚发表在AAAI 2019 (Oral)上一篇文章。通常来说，集成多个基础级别的神经网络会带来更好的性能提升。遗憾的是，存储这些网络参数所需的空间以及在测试时执行它们所需要的时间，严重阻碍了它们在测试集很大情况下的使用，如 ImageNet。在本章中，我们提出了一种将大型的、复杂的神经网络集合压缩到单个网络中的方法。具体而言，来自各个训练好的深度神经网络(Deep Neural Network，DNN)中的知识被提炼并转移到单个DNN中。为了从不同的训练好的模型(教师模型)中提取不同的知识，我们提出使用基于对抗学习的策略。我们定义了一个逐块(block-wise)的训练损失函数，以指导和优化预先定义好的学生网络，学习教师模型中的知识，并使用鉴别网络同时区分来自教师或者学生网络的特征。

分享嘉宾

沈志强，UIUC访问学生，复旦大学博士，已在CVPR，ICCV，ECCV，ICLR，AAAI等顶级会议上发表多篇论文。

分享提纲

研究动机

算法框架

实验验证

结果分析

分享时间

（北京时间）12 月 28 日 （星期五）晚上 20:00

错过直播不要紧，回放视频上传后也能看哦~

直播链接

http://www.mooc.ai/open/course/620

【AI求职百题斩】每日挑战又双叒叕更新啦，赶紧来看题吧！

想知道正确答案？

回公众号聊天界面并发送“1227挑战”即可获取！