开源 | CVPR2020 | 结构化的知识蒸馏算法，有效应用于语义分割、深度估计和目标检测

论文地址：http://arxiv.org/pdf/1903.04197v5.pdf

代码：https://github.com/irfanicmll/structure_knowledge_distillation

来源：阿德莱德大学

论文名称：Structured Knowledge Distillation for Dense Prediction

原文作者：Yifan Liu

在本文中，考虑将结构信息从大型网络转移到小型网络来完成Dense Prediction任务。原来进行Dense Prediction任务时，直接借用图像分类的蒸馏方案，对每个像素分别进行知识蒸馏，导致性能次优。本文考虑到Dense Prediction是一个结构化预测问题，我们提出将结构化知识从大型网络提取到小型网络。具体地来说，在本文中研究了两种结构化的蒸馏方案:一是成对蒸馏，通过建立静态图来提取成对的相似点;二是整体蒸馏，即用对抗性训练来提取整体知识。本文利用结构化的知识蒸馏方案，应用于语义分割、深度估计和目标检测三种Dense Prediction任务，同时进行了大量的实验。实验结果证明该方案是非常有效的。

下面是论文具体框架结构以及实验结果：

声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请联系删除。