专栏首页贾志刚-OpenCV学堂BBAVectors:一种Anchor Free的旋转物体检测方法

BBAVectors:一种Anchor Free的旋转物体检测方法

导读

WACV2021的一篇文章,将CenterNet的方案用到了旋转物体的检测中,设计了一种精巧的旋转框表达方式,免去了设计anchor麻烦,效果也非常好,而且代码也开源了。

文末有下载好的论文和代码链接。

摘要

这是一篇有方向的物体检测的文章。当前的有方向物体检测往往是两阶段的基于anchor的检测方法,但是这种方法会有正负anchor的不平衡的问题。这篇文章将基于水平关键点的物体检测的方法扩展了一下,用于有方向的物体检测。我们首先进行物体的中心点的检测,然后回归一个包围框的边缘感知向量(BBAVectors)来得到有方向的包围框。为了让这个向量的学习变得简单,我们还进一步将有方向的包围框分成了水平框和选择框两类。

1. 介绍

两阶段的基于anchor的旋转框检测有一些缺点:(1)anchor的设计非常的复杂,要去设计不同的比例,不同的尺寸。(2)正负样本会非常的不均衡,这会导致训练很慢,而且无法达到最优的效果。(3)第二个阶段的crop和regress策略在计算量上也比较大。除了基于anchor的方法之外,最近anchor free的物体检测方法得到了较大的发展,CenterNet的方法是先检测物体的中心点,然后直接回归出物体的宽和高,当然,我们可以直接再回归一个旋转角度θ来将CenterNet扩展到有方向的物体检测,但是,对于任意的旋转物体,宽和高实际上依赖于不同的旋转坐标系统,所以直接回归会有些难度。

本文中,我们扩展了CenterNet的方法,将其应用到有方向物体的检测中,但是,并不是直接回归w,h和θ,而是学习一个box boundary-aware vectors(BBAVectors),如图1(b),然后得到物体的有方向的包围框。在实际做的过程中,我们发现,在一些极端情况下,向量和象限的边界非常的靠近,如图1(c),这样区分向量的类型就比较困难。

总结一下,我们的贡献如下:

  • 提出了一个描述OBB的方法,box boundary-aware vectors(BBAVectors),非常的简单有效。BBAVectors对于所有的物体都在同一个笛卡尔坐标系中。
  • 我们将基于特征点检测的CenterNet扩展到了方向物体检测场景中。这是一个单阶段而且anchor free的方法。

图1:带方向的包围框的表示方式

2. 方法

2.1 结构

网络结构如图2,是一个U型的结构,我们使用了ResNet101的Conv1~5作为主干,然后再进行上采样,得到一个原始图像1/4大小的特征图。在上采样的过程中,会有下采样时候的层的跳跃连接拼接到一起。

图2:本文提出的方法的整体结构以及OBB的描述方法

2.2 热图

Heatmap是用来定位关键点的。这里,我们用来检测物体的中心点。热图有k个通道,分别对应了不同类别的物体。热图的每个像素点的值表示物体的置信度。

Groundtruth 假设c=(cx,cy)是旋转框的中心点,我们以c为中心,构建一个2D的高斯分布来作为热图的groundtruth,其中,高斯分布的方差是和物体的尺寸相关的一个自适应的值。

训练损失 在训练热图的时候,只有中心点c是正样本,其他的点,包括高斯分布范围中的点都是负样本。由于这个正负样本的极度不平衡,所以直接去学习中心点是比较困难的,所以,我们对高斯分布以内的点的损失做了一定程度的衰减,使用了一个focal loss的变体来训练这个热图。

其中,p_hat表示groundtruth,p表示预测值,N是物体的数量,α和β是超参数,这里α=2,β=4。

2.3 中心点的偏移

在预测阶段,从热图中提取峰值点作为物体的中心点,这个中心点c是一个整数,但是,原始图经过下采样之后,得到的中心点的坐标是一个浮点数,为了弥补这个量化的误差,我们还需要再预测一个偏移量O:

用L1 loss来进行优化:

其中,SmoothL1的表达式可以是:

2.4 包围框的参数

为了得到带方向的包围框,一个很自然的想法就是回归出宽,高,和角度θ,我们把这个base line称为Center+wh+θ,如图1(a)。这个方法有几个缺点:(1)小的角度的变化对于损失来说可能是微不足道的,但是对于IOU却会产生较大的影响。(2)OBB中的w,h是在各自独立的旋转坐标系统中定义的,角度θ是相对于y轴的,这样,网络很难去联合训练所有的物体。所以,我们提出了一种描述OBB的方法,叫做box boundary-aware vectors(BBAVectors),包括4个向量,t,r,b,l。在我们的设计中,这4个向量分布在笛卡尔坐标系的4个象限中,所有的旋转物体都共用一个坐标系,这样可以高效的利用共同的信息,并提升模型的泛化能力。我们有意的设计了4个向量,而不是2个,为的是当某些局部特征不是很明确的时候可以得到更多的交互信息。

此时,包围框的参数定义为:b = [t,r,b,l,w,h],其中w,h是外接水平包围框的宽和高,如图2所示。这样,每个包围框就有2x4+2=10个参数,我们还是用L1 loss来回归box的参数:

2.5 方向

我们发现,当物体框和xy轴对齐的时候,检测会失败,这个原因可能是象限的边界问题,这种类型的向量的差别很难区分。我们把这个问题叫做corner case,我们把OBBs分为两类,一类是水平的,一类是旋转的,当OBBs是水平的,w和h帮助我们得到准确的包围框。另外,外接矩形的参数也可以帮助我们去更好的描述OBB。

我们定义了一个旋转特征图α,我们这样定义:

然后通过交叉熵来优化:

3. 实验

我们在两个数据集上进行了验证,DOTA和HRSC2016。

3.1 和其他模型的对比

DOTA:

HRSC2016:

3.2 消融实验

我们对比了BBAVectors+r和BBAVectors+rh两种方法,一种是不区分水平和旋转物体,一种区分水平和旋转物体:

3.3 和baseline的对比

我们还对比了Center+wh+θ的baseline模型:

3.4 在DOTA数据上的结果可视化

本文分享自微信公众号 - OpenCV学堂(CVSCHOOL)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-09-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • AI快车道新一期发车啦,CV同行们赶紧上车

    最近有一部电影你一定听说了——改编自任天堂发行的《精灵宝可梦》系列的《大侦探皮卡丘》。

    OpenCV学堂
  • YOLO目标检测从V1到V3结构详解

    在目标检测中,IoU 为预测框 (Prediction) 和真实框 (Ground truth) 的交并比。如下图所示,在关于小猫的目标检测中,紫线边框为预测框...

    OpenCV学堂
  • 全局对比度的图像显著性检测算法

    显著性就是可以快速引起你注意的对象或者物体,在图像或者视频中显著性检测的结果往往是图像或者视频中对象,在神经学科中显著性检测被描述为注意力机制,目的是聚焦或者缩...

    OpenCV学堂
  • leetcode327. Count of Range Sum

    这道题目是指,现有一个整数数组,并输入上界值upper和下界值lower,问数组中一共有多少组连续的子数组,其子数组中数字的和在上界和下界之内。

    眯眯眼的猫头鹰
  • 性能SOTA,国防科技大学单张RGB-D图像预测物体对称性

    作为大多数物体的基本几何属性,对称性广泛存在于我们的生活中。理解物体的对称性是计算机理解真实世界以及机器人智能交互中的重要问题。因此,对称性检测在图像分割、物体...

    计算机视觉联盟
  • Sparker的福音:Spark奠基者的博士论文(中文PDF下载)

    该论文是Spark主要开发者Matei Zaharia的博士论文,全文共6章,超过4万字,是一部Spark方面的基本文献。从10月底开始,通过 社区招募,先后有...

    CSDN技术头条
  • 要读源代码才能解决的报错-GEOquery下载表达矩阵缺样本名

    就是昨天推文末尾的小测试: GEOquery包的getGEO函数总是无法下载肿么办

    生信技能树
  • 要读源代码才能解决的报错-GEOquery下载表达矩阵缺样本名

    就是昨天推文末尾的小测试: GEOquery包的getGEO函数总是无法下载肿么办

    生信技能树
  • 腾讯与中兴通讯签署5G网络技术与应用合作协议

    ? 近日,腾讯与中兴通讯正式签署5G合作备忘录,双方将加强5G网络技术与应用创新合作,共同促进5G边缘计算、QoS加速、网络切片、网络能力开放等技术的成熟及部...

    腾讯技术工程官方号
  • 故障分析 | MySQL 优化案例 - 字符集转换

    本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。

    爱可生开源社区

扫码关注云+社区

领取腾讯云代金券