边界对于定位问题十分重要,BorderDet的核心思想BorderAlign巧妙又有效,将边界特征融入到目标定位预测中,而且能够简单地融入到各种目标检测算法中带来较大的性能提升下。在开源实现中,对BorderAlign进行了高效CUDA实现,不会对耗时带来很大的影响,整个工作十分扎实
来源:晓飞的算法工程笔记 公众号
论文: BorderDet: Border Feature for Dense Object Detection
目前大部分的point-based目标检测算法(SSD, RetinaNet, FCOS)使用特征图的single-point进行定位和分类,但single-point特征可能没有足够多的信息来表达完整的实例以及实例的边界信息。很多研究通过各种手段补充single-point的特征表达能力,这些方法虽然能够提取更多的特征,但可能带来不必要的计算以及会受背景的影响。最关键的,这些方法都没有直接利用边界特征,而边界对于定位是十分重要的。为此,论文提出新的特征提取操作BorderAlign,可直接利用边界特征优化原本的single-point特征,基于BorderAlign提出了SOTA目标检测算法BorderDet。
论文的主要贡献如下:
论文以FCOS为baseline,加入第二阶段预测来对比多种特征增强方法的效果,最后发现仅用边界中心点的增强效果与region-based方法几乎一样。从实验结果来看,可以得出以下结论:
密集地从边界提取特征是很低效的,一般边界上的目标物体相关的点很少,大多为背景点。为此,论文提出BorderAlign特征提取操作,能够有效且自适应地榨取边界特征。
参考R-FCN的思想,BorderAlign提取$(4+1)C$维度的border-sensitive特征图作为输入,$4C$维度对应4条边,另外$C$维对应原本的single-point特征。假定特征图顺序为(single point, left border, top border, right border和bottom border),计算输出特征图时,对点$(i, j)$对应的bbox的每条边均匀取$N$个采样点,$N$默认设为10,采样点的值使用双线性插值计算,最后通过channel-wise max-pooling得到输出:
$(x_0, y_0, x_1, y_1)$为点$(i,j)$预测的bbox,这种方法能够自适应地从边界极点榨取边界特征。
论文对border-sensitive特征图中各channel的最大值进行了可视化,发现最大值分布基本符合预设的作用。
BAM模块封装了BorderAlign操作,先使用$1\times 1$卷积生成border-sensitive feature maps,然后结合初步bbox预测,通过BorderAlign输出Border增强后的特征图,再使用$1\times 1$卷积恢复为模块输入维度。
BorderDet基于FCOS检测架构,主要在特征金字塔的预测head中加入BAM模块。首先预测初步bbox预测和初步分类预测,然后将初步bbox预测输入到BAM模块得到Border分类预测和Border bbox预测,预测跟原先一样使用$1\times 1$卷积,最后统一两种结果进行输出。
BAM模块也能用于two-stage目标检测算法中,将原本第二阶段的region-based特征提取改为文中的BAM模块进行边界特征增强预测,另外将前面特征提取的卷积改为空洞卷积来提升感受域。
$\sigma$为方差,用于提高多任务学习的效率,默认为0.5。
$\mathcal{L}^C{cls}$和$\mathcal{L}^C{reg}$为初步分类损失和初步定位损失,在实现时分别为focal loss和IoU loss,$\mathcal{L}^B{cls}$和$\mathcal{L}^B{reg}$则计算border预测结果与对应GT之间的分类损失和定位损失,仅处理正样本,在实现时分别为focal loss和$\mathcal{L}_1$ loss。
对BAM模块以及BorderAlign参数进行对比实验。
对比其它特征增强方法,作者对BorderAlign进行高效的CUDA实现,速度很快。
直接将BorderDet结合到one-stage检测器和two-stage检测器中。
与主流的检测算法进行对比。
边界对于定位问题十分重要,BorderDet的核心思想BorderAlign巧妙又有效,将边界特征融入到目标定位预测中,而且能够简单地融入到各种目标检测算法中带来较大的性能提升下。在开源实现中,对BorderAlign进行了高效CUDA实现,不会对耗时带来很大的影响,整个工作十分扎实。
如果本文对你有帮助,麻烦点个赞或在看呗~undefined更多内容请关注 微信公众号【晓飞的算法工程笔记】
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。