专栏首页CNNer开源 | CVPR2020 | 结构化的知识蒸馏算法,有效应用于语义分割、深度估计和目标检测

开源 | CVPR2020 | 结构化的知识蒸馏算法,有效应用于语义分割、深度估计和目标检测

论文地址:http://arxiv.org/pdf/1903.04197v5.pdf

代码:https://github.com/irfanicmll/structure_knowledge_distillation

来源:阿德莱德大学

论文名称:Structured Knowledge Distillation for Dense Prediction

原文作者:Yifan Liu

在本文中,考虑将结构信息从大型网络转移到小型网络来完成Dense Prediction任务。原来进行Dense Prediction任务时,直接借用图像分类的蒸馏方案,对每个像素分别进行知识蒸馏,导致性能次优。本文考虑到Dense Prediction是一个结构化预测问题,我们提出将结构化知识从大型网络提取到小型网络。具体地来说,在本文中研究了两种结构化的蒸馏方案:一是成对蒸馏,通过建立静态图来提取成对的相似点;二是整体蒸馏,即用对抗性训练来提取整体知识。本文利用结构化的知识蒸馏方案,应用于语义分割、深度估计和目标检测三种Dense Prediction任务,同时进行了大量的实验。实验结果证明该方案是非常有效的。

下面是论文具体框架结构以及实验结果:

声明:文章来自于网络,仅用于学习分享,版权归原作者所有,侵权请联系删除。

本文分享自微信公众号 - CNNer(CNNer654723069),作者:赛蜗牛

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 开源 | CVPR2020 3D物体固有结构点的无监督学习

    学习三维形状的结构信息是计算机图形学和几何处理领域的一个基本问题。本文提出了一种简单但可解释的无监督方法,以三维结构点的形式来学习新的结构表示法。该方法对固有的...

    CNNer
  • CVPR2020 | 3DSSD算法性能SOTA并且速度比PointRCNN快两倍

    当前有很多种single-stage的(single-stage:一次完成检测步骤,two-stage: 候选区域提取+分类两步完成检测)基于体...

    CNNer
  • 【SLAM】开源 | RGB-iD SLAM:RGB-D相机的完整的SLAM系统,性能SOTA!

    论文地址: http://arxiv.org/pdf/1807.08271v1.pdf

    CNNer
  • 数据驱动型的设计02

    本系列从数据结构相关的计算机知识出发,从数据的角度提出一些数据驱动的设计思维模式。

    mixlab
  • 用 :key 管理可复用元素

    我们会发现,在点击按钮切换登录方式后,输入框中已有的内容没有被清除,这是为什么呢?

    Chor
  • 获取当前系统所有用户的谷歌浏览器密码

    全称Data Protection Application Programming Interface

    Ms08067安全实验室
  • 实战phoenix

    一 安装部署 1, 下载 http://archive.apache.org/dist/phoenix/ 本文下载的是apache-phoenix-4.12....

    Spark学习技巧
  • 易日升金融总裁史建伟:对我们而言,大数据时代下的消费金融没有舒适区

    数据猿导读 易日升模式下的消费金融没有舒适区。我们做的是银行不愿做的累活苦活;我们做的是支付宝、京东金融没法做的个性细分场景的分期服务;我们做的是一般消费金融不...

    数据猿
  • 三层架构之我见 —— 不同于您见过的三层架构。

           我从02年开始了编程的工作,开始接触一些简单的网站,下半年写了个小的自助建站程序(asp和asp.net),比较简陋没有使用。03年开始正式做网站...

    用户1174620
  • 10053事件分析案例一则

    测试库两张表,数据一致,(表有复合主键A+B),但同样执行DELETE TABLE FROM T1/T2 WHERE A='1' AND ROWNUM<100;...

    bisal

扫码关注云+社区

领取腾讯云代金券