首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

知识蒸馏(Knowledge Distillation)

任务相关知识:如分类概率分布,目标检测涉及的实例语义、位置回归信息等; 表征相关知识:强调特征表征能力的迁移,相对通用、任务无关(Task-agnostic); 1、Distilling the Knowledge...in a Neural Network Hinton的文章”Distilling the Knowledge in a Neural Network”首次提出了知识蒸馏(暗知识提取)的概念,通过引入与教师网络...network:复杂、但预测精度优越)相关的软目标(Soft-target)作为Total loss的一部分,以诱导学生网络(Student network:精简、低复杂度,更适合推理部署)的训练,实现知识迁移(Knowledge...loss、以及教师网络数值输出与学生网络Softmax输出的交叉熵loss): 联合训练的Paper地址:https://arxiv.org/abs/1711.05852 2、Exploring Knowledge...7、Knowledge Distillation with Adversarial Samples Supporting Decision Boundary Paper地址:https://arxiv.org

59110
领券