专栏首页有三AI【星球知识卡片】模型蒸馏的核心技术点有哪些,如何对其进行长期深入学习

【星球知识卡片】模型蒸馏的核心技术点有哪些,如何对其进行长期深入学习

作者&编辑 | 言有三

1 什么是模型蒸馏

一般地,大模型往往是单个复杂网络或者是若干网络的集合,拥有良好的性能和泛化能力,而小模型因为网络规模较小,表达能力有限。利用大模型学习到的知识去指导小模型训练,使得小模型具有与大模型相当的性能,但是参数数量大幅降低,从而可以实现模型压缩与加速,就是知识蒸馏与迁移学习在模型优化中的应用。

Hinton等人最早在文章“Distilling the knowledge in a neural network”中提出了知识蒸馏这个概念,其核心思想是一旦复杂网络模型训练完成,便可以用另一种训练方法从复杂模型中提取出来更小的模型,因此知识蒸馏框架通常包含了一个大模型(被称为teacher模型),和一个小模型(被称为student模型)。

2 优化目标驱动的知识蒸馏框架

Hinton等人提出的框架是在模型最后的预测端,让student模型学习到与teacher模型的知识,这可以称之为直接使用优化目标进行驱动的框架,也是最简单最直接的框架,它不关心中间的学习过程,类似的还有ProjectionNet等。

3 特征匹配的知识蒸馏框架

目标驱动型的知识蒸馏框架的具体细节是难以控制的,会让训练变得不稳定且缓慢。一种更直观的方式是将teacher模型和student模型的特征进行约束,从而保证student模型确实继承了teacher模型的知识,其中一个典型代表就是FitNets,FitNets将比较浅而宽的Teacher模型的知识迁移到更窄更深的Student模型上。

4 没有教师模型的知识蒸馏

一般知识蒸馏框架都需要包括一个Teacher模型和一个Student模型,而Deep mutual learning则没有Teacher模型,它通过多个小模型进行协同训练,这也是非常有研究意义的方向。

5 与其他框架的结合

在进行知识蒸馏时,我们通常假设teacher模型有更好的性能,而student模型是一个压缩版的模型,这不就是模型压缩吗?与模型剪枝,量化前后的模型对比是一样的。所以知识蒸馏也被用于与相关技术进行结合,apprentice框架是一个代表。

6 其他

总的来说,模型蒸馏有非常多的研究方向,包括:

(1) 优化目标驱动的知识蒸馏框架拓展。

(2) 基于特征匹配的知识蒸馏框架拓展。

(3) 不压缩模型,甚至训练更大模型的框架。

(4) 无教师模型的框架。

(5) 自动搜索的框架。

(6) 与其他模型压缩技术的结合。

(7) 其他。

以上内容,如果你不想自己学习,可以去我们知识星球的网络结构1000变板块—模型蒸馏板块阅读。

本文分享自微信公众号 - 有三AI(yanyousan_ai),作者:言有三

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-06-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【AI不惑境】模型压缩中知识蒸馏技术原理及其发展现状和展望

    进入到不惑境界,就是向高手迈进的开始了,在这个境界需要自己独立思考。如果说学习是一个从模仿,到追随,到创造的过程,那么到这个阶段,应该跃过了模仿和追随的阶段,进...

    用户1508658
  • 【知识星球】剪枝量化初完结,蒸馏学习又上线

    欢迎大家来到《知识星球》专栏,这里是网络结构1000变小专题,模型压缩是当前工业界的核心技术,我们这一个月一直在更新相关的内容,刚刚更新完了一批剪枝和量化相关的...

    用户1508658
  • 【AutoML】强化学习如何用于模型量化?

    大家好,欢迎来到专栏《AutoML》,在这个专栏中我们会讲述AutoML技术在深度学习中的应用,这一期讲述在模型量化中的应用。

    用户1508658
  • 【AI不惑境】模型压缩中知识蒸馏技术原理及其发展现状和展望

    进入到不惑境界,就是向高手迈进的开始了,在这个境界需要自己独立思考。如果说学习是一个从模仿,到追随,到创造的过程,那么到这个阶段,应该跃过了模仿和追随的阶段,进...

    用户1508658
  • 风控建模整体流程

    在信贷领域中建立风控模型是为了找出可能会逾期的客户,根据逾期的可能性和资金的松紧程度选择是否放贷。

    阿黎逸阳
  • 现代机器学习中的模型可解释性概述

    模型可解释性是当今机器学习中最重要的问题之一。通常某些“黑匣子”模型(例如深度神经网络)已部署到生产中,并且正在运行从工作场所安全摄像头到智能手机的所有关键系统...

    代码医生工作室
  • 吴恩达团队盘点2019AI大势:自动驾驶寒冬、NLP大跃进、Deepfake已成魔!

    这一年注定是充满了里程碑的一年。它将大众从《西部世界》、《终结者》等好莱坞科幻电影不切实际的虚幻场景中抽离出来,让人们认识到,AI其实是世界上的有形力量而非梦幻...

    新智元
  • 你的算法可靠吗?——度量神经网络的不确定性

    假设您的模型是驾驶一辆汽车,帮助一位医生,甚至只是直接与一个(可能很容易被惹恼的)终端用户交互。在这些情况下,您需要确保在对模型做出的预测采取行动之前,您能够对...

    AiTechYun
  • 「走进k8s」Docke数据共享和持久化(五)

    PS:数据卷在容器管理平台使用非常频繁,如果是本机安装一个软件的话,建议使用主机目录,因为自己来管理,目录还是比较方便的。

    IT故事会
  • 【机器学习实战】第9章 树回归

    第9章 树回归 <script type="text/javascript" src="http://cdn.mathjax.org/mathjax/late...

    片刻

扫码关注云+社区

领取腾讯云代金券