专栏首页GiantPandaCV【CV中的特征金字塔】六,ECCV 2018 PFPNet

【CV中的特征金字塔】六,ECCV 2018 PFPNet

论文全称:Parallel Feature Pyramid Network for Object Detection 论文链接:http://openaccess.thecvf.com/content_ECCV_2018/papers/Seung-Wook_Kim_Parallel_Feature_Pyramid_ECCV_2018_paper.pdf

1. 前言

今天来学习一下这篇ECCV 2018的网络PFPNet,它借鉴了SPP的思想并通过MSCA(多尺度语义融合)模块来进行特征融合,进而提出了PFPNet来提升目标检测算法的效果。PFPNet在结构上借鉴了SSD,而在特征融合上借鉴了SPP思想加宽了网络,同时这里提出的MSCA模块完成了类似于FPN的特征融合,最后基于融合后的特征再进行检测,最终PFPNet在多个BenchMark上获得了和CVPR 2018 RefineDet相似的性能。

2. 网络结构上的改进

下面的Figure1展示了目标检测算法在网络结构上经历的一些优化过程(注意这是截至到PFPNet以前)。

标检测算法在网络结构方面的优化历程

Figure1(a)上半部分的结构是直接通过一个网络结构得到特征,并基于该特征进行预测。而下半部分的结构则引入了特征金字塔,基于多个特征层进行预测,这和SSD的思想类似。

Figure1(b)中的2个网络则是引入了top-down结构和融合操作,也就是从高层到浅层的特征融合过程(Hourglass网络),这样预测层既有浅层的目标的位置信息(有利于定位)又有高层的目标的语义信息(有利于目标的识别),因此能有效提高目标的检测效果(尤其是小目标) 。然后这两个网络的区别是第一个是单级预测,第二个是多级预测类似FPN。

Figure1(c)展示了SPP网络。即对同一个特征图进行不同尺寸的池化操作获得不同尺度的特征图,将不同尺度的特征图concate之后再做预测,这样融合了多个尺度的特征也可以对检测效果有所提升。

Figure1(d)展示了这篇文章提出的PFPNet的结构示意图。首先也是通过SPP得到不同尺度的特征图,然后基于这些特征图通过MSCA模块得到融合后的特征,最后基于融合后的多层特征做预测。

3. PFPNet的整体结构

下面的Figure3展示了PFPNet的整体结构。

Figure 3

对于原始的输入图片,先通过一个BackBone网络提取特征,假设提取到的特征通道数是,然后将提取到的特征送入SPP网络获得不同尺度的特征图,用表示尺度的数量这里为3,得到的特征图通道数用表示,当然。然后再通过一个通道缩减操作将(b)中的特征图的通道缩减,也即是Bottleneck操作,缩减后的通道数用表示,公式是:。然后再通过MSCA操作得到融合后的特征图(对应(d)操作),得到的特征通道数是,最后基于融合后的多个特征图进行预测。

4. MSCA模块

下面的Figure4是MSCA模块的结构示意图。MSCA主要是基于特征通道的concate操作,但是输入特征有些特殊。

MSCA模块

在Figure4中,当得到P1这个融合后的特征时是用、下采样后的、上采样后的进行concate后得到的。

这个地方有个问题,为什么是使用而不是呢?

论文说的是相同尺度的特征信息要足够多,而部分得到的特征是未经过通道缩减的,因此在得到某一个尺度的预测层特征时,被融合的对应尺度特征都是采用部分的输出特征,而不是部分的输出特征。相比之下,不同尺度的待融合特征采用部分的输出特征,相当于补充信息。

5. 实验结果

下面的Table3展示了PFPNet在VOC数据集上的测试结果,需要说明的是PFPNet-S300表示anchor的初始化和SSD算法一样,PFPNet-R320表示初始anchor采用RefineDet算法的ARM模块得到的refine后的anchor来初始化。关于RefineDet请看:目标检测算法之CVPR 2018 RefineDet

可以看到PFPNet-S300和PFPNet-S512的性能和RefineDet差不多。

下面的Table4则展示了PFPNet在COCO数据集上的测试结果。

Table4

6. 参考

  • https://blog.csdn.net/u014380165/article/details/82468725

7. 推荐阅读

本文分享自微信公众号 - GiantPandaCV(BBuf233),作者:BBuf

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-03-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Group Sample:一个简单有效的目标检测涨点Trick

    今天为大家介绍一个CVPR 2019提出的一个有趣的用于人脸检测的算法,这个算法也可以推广到通用目标检测中,它和OHEM,Focal Loss有异曲同工之妙。论...

    BBuf
  • 【CV中的特征金字塔】一,工程价值极大的ASFF

    今天为大家介绍一下2019年的一篇论文 《Learning Spatial Fusion for Single-Shot Object Detection》,这...

    BBuf
  • 《ParseNet》论文阅读

    这篇文章首先提出一个问题,理论感受野是真的吗?我们在前面讲过的PSPNet中已经知道,感受野对于语义分割网络有很大影响,我们也是尽量去增大网络的感受野,让网络可...

    BBuf
  • 干货分享 | 详解特征工程与推荐系统及其实践(附PPT)

    云脑科技机器学习训练营11月13日正式开始啦!量子位作为合作媒体独家为大家分享课程干货内容。 本期内容简介 主题:亿级用户电商平台推荐系统挑战 主讲人:张本宇(...

    量子位
  • 人脸识别完整项目实战(14):实时人脸特征点标定程序设计

    本文是《人脸识别完整项目实战》系列博文第14章《实时人脸特征点标定程序设计》,本章内容详细介绍Win10 环境下,基于Visual Studio 2015 + ...

    数据饕餮
  • 机器学习之离散特征自动化扩展与组合

    机器学习中特征工程处于十分重要的位置,整个学习中至少会花二分之一甚至更多的时间用于特征工程至少(对于统计学习)。但是如何能够有效地实现特征的自动化扩展、组合和量...

  • 谷歌——DeepLab v1

    临近中国的春节,Google 团队也不休假,趁着中国人每年一度大迁徙,他们在 arXiv 放出了 DeepLabv3+,在语义分割领域取得新的 state-of...

    计算机视觉研究院
  • 支持八千台子机并发创建,详解腾讯云主机创建优化之路

    云主机创建有两种方式,一种通过镜像下载来创建,另一种通过快照回滚来创建, 前者是通用的传统方式,后者依赖于CBS云盘能力。 随着CBS云盘使用越来越广泛,腾讯云...

    用户1532637
  • python中list的四种查找方法

    Python中是有查找功能的,四种方式:in、not in、count、index,前两种方法是保留字,后两种方式是列表的方法。

    py3study
  • VB.NET Textbox内容写入listbox不按回车符分行时!

    Private Sub TextBox1_TextChanged(sender As Object, e As EventArgs) Handles TextB...

    巴西_prince

扫码关注云+社区

领取腾讯云代金券