专栏首页计算机视觉战队三分支网络——目前目标检测性能最佳网络框架

三分支网络——目前目标检测性能最佳网络框架

尺度变化是目标检测中的关键挑战之一。今天要说的这个技术就特别厉害,在目标检测领域中,目前是性能最强的一个框架。下面让我们一起去见证下它的优势所在。

本次介绍的算法框架:

Scale-Aware Trident Networks for Object Detection

下载地址:https://arxiv.org/abs/1901.01892

在该网络框架中,首先进行了一个控制实验,以研究感受野对不同尺度目标检测的影响。根据勘探实验的结果,提出了一种新的三分支网络(Triddnet),该网络的目标是生成具有均匀代表性的标度特征图。

等下~今天主角是Trident Network,但是其是借鉴了2018年CVPR一篇文章中的Multi-Scale思想,所以接下来我还是有必要带大家了解下那片高质量文章及其框架,那就是——SNIP。那我们开始梳理下SNIP是如何目标检测的。

论文链接:https://arxiv.org/abs/1711.08189

这个框架研究点是目标检测中的小目标的问题。小目标检测一直是目标检测中的难题,如果自己实践过的小伙伴应该都知道,数据集中small类的AP基本都是最低的,主要原因如下:

  • CNN网络提取的语义化特征和分辨率之间的矛盾;
  • 目前的目标检测都采用了Faster RCNN的Anchor思想,就算小目标在Anchor范围内,也会因为面积小而导致IoU过低。

从上图可以看到,COCO数据集中90%的样本例子的大小都在0.472以下,和ImageNet差别非常大。

  • 说明了类似COCO这样的数据集中存在着大量的小物体;
  • 也说明了ImageNet预训练的模型在迁移到样本大小差异较大的COCO数据集中,很可能产生一定的domain-shift偏差。

于是,就由生了这样的动机

  • 现在目标检测为了提高对小目标的效果,都采用upsample的方法,这个仁者见智吧,那能不能直接用低分辨率的图像不做upsample来训练网络?
  • 能不能通过挑选样本的方式来增加网络效果的,如upsample调整了大小以后,只用64x64~256x256的Ground Truth来训练?用所有的GT来训练真的会更好吗?

实际上,现在有很多针对小目标的措施和改良,如下:

  • 最常见的是Upsample来Rezie网络输入图像的大小;
  • 用dilated/strous等这类特殊的卷积来提高检测器对分辨率的敏感度;
  • 用FPN这种把浅层特征和深层特征融合的,或者最后在预测的时候,用浅层特征和深层特征一起预测;
  • 有比较直接的在浅层和深层的Feature Map上直接各自独立做预测的,这个就是我们常说的尺度问题。

主要思路:

在训练和反向传播更新参数时,只考虑哪些在指定的尺度范围内的目标,由此提出了一种特别的多尺度训练方法,即SNIP(Scale Normalization for Image Pyramids)。

如上图所示,在训练时划分了三类尺度,对应三种不同分辨率的图像。每个分辨率下的RoI都有其指定范围,如果GT的box大小在这个范围内,就被标记做valid,否则就被标记为invalid。

在生成Anchor并给Anchor分配label的时候,检查该Anchor是否和某个invalid GT box的overlap超过0.3,若存在,则该Anchor会被视作invalid Anchor;若不存在,则会被视作valid Anchor。

这些invalie anchor在train的时候都会被无效化,也不会加入到反向传播的过程中从而对参数产生影响,相当于在每个分辨率上,只对大小合适的目标进行训练,这就符合了该网络框架设计的初衷。相应的,在inference时候,如果区域面积在那个分辨率的指定范围外,也同样会被抛弃,最后,在进行Rescale和NMS等操作。

仔细阅读后,你会发现该框架考虑了很多细节元素:

  • 用的是Deformable RFCN detector,而不是常见的卷积,根据自己的需要作出一定的改变 ;
  • 网络结构是Dual path networks(DPN)和ResNet-101,由于需要内存很大,为了适应GPU内存,对图像进行了采样,具体方法是选取一个1000x1000的包含最多目标的区域作为子图像,然后重复该步骤直到所有目标都被选取 ;
  • 为了提升RPN的效果,尝试了使用7个尺度,连接conv4和conv5的输出;
  • 从功能上来讲,对每一层金字塔图像,分别检测不同尺寸的目标,金字塔图像越大,检测的目标尺寸越小;
  • 从网络结构上来讲,3个分支进行参数共享,故网络结构完全一致,区别在于目标尺寸的超参数不同。

实验结果

MS表示multi-scale

今天貌似讲多了,那我们下期认真讲解Trident Network,大家记得关注哦!

本文分享自微信公众号 - 计算机视觉战队(ComputerVisionGzq),作者:计算机视觉

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-02-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 20年的目标检测大综述(章节1)

    不知不觉2020年“计算机视觉战队”陪伴大家快两个月了,由于疫情大家最近估计都没有吃好喝好,但是大家肯定玩的很High,我们也一直在陪伴,分享最好最有质量的知识...

    计算机视觉研究院
  • 检测与识别人与目标之间的互动

    深度学习有在新的高度得到大家的认可,并驱使更多的爱好者去学习、去探索,已不仅仅在图像、视频及语音领域得到重视。现在在SLAM、NLP、医学、经济学等领域都得到愈...

    计算机视觉研究院
  • 目标检测也就是这么简单

    今天其实是一个不凡的日子,因为今天是属于我们的“23”!这个数字也是我喜欢的幸运数字,所以今天心情犹如窗外温柔秋风和温暖阳光化学反应的味道,带着美美的心情来开展...

    计算机视觉研究院
  • 论文阅读 - Group Normalization

    <Group Normalization for Mask R-CNN - Detectron>

    AIHGF
  • 20步打造最安全的Nginx Web服务器

    Nginx是一个轻量级的,高性能的Web服务器以及反向代理和邮箱(IMAP/POP3)代理服务器。它运行在UNIX,GNU/Linux,BSD各种版本,Mac ...

    后端技术探索
  • 算法养成记:最长公共前缀

    Write a function to find the longest common prefix string amongst an array of st...

    三哥
  • 芯片植入校服惹争议:一秒识别,实时监控孩子有必要?

    披上智能校服,校园大门安装检测设备,学生进出校门时,保卫室监控大屏自动识别该生身份信息及显示学生头像;自动检测区分住校生与走读生、本校生、外来人员,并语音播报告...

    新智元
  • 绝对干货!初学者也能看懂的DPDK解析

    原文链接:https://www.cnblogs.com/qcloud1001/p/9585724.html

    Linux阅码场
  • (一)概述:NGS测序在病原微生物检测中的应用

    为了生存,必须斗争,生物之间为了争夺资源,以及生物与自然环境之间,都存在着斗争 ,在这个过程中,有些微生物能够与人类和平共处,甚至互利共生,而有的微生物则会使人...

    简说基因
  • 一文看懂DPDK

    从我们用户的使用就可以感受到网速一直在提升,而网络技术的发展也从1GE/10GE/25GE/40GE/100GE的演变,从中可以得出单机的网络IO能力必须跟上时...

    Willko

扫码关注云+社区

领取腾讯云代金券