Proposal 是检测网络很重要的内容,一路以来的检测网络一直在其中做文章,本文介绍 Sparse R-CNN, 该网络设置可学习的候选框,设计了行之有效的端到端检测网络。
graph TD
A[Image]
B(Backbone)
C[Feature]
I((融合))
J((融合))
D[Proposal Boxes]
E[Roi Feature]
F[Proposal Features]
G(Fully Connected Layer)
H[Cls Results]
K[Feature]
L[Reg Results]
A --> B
B --> C
C --> I
D --> I
I --> E
E --> J
F --> J
J --> K
K --> G
G --> H
G --> L
style A fill:#ff8
style D fill:#ff8
style F fill:#ff8
style H fill:#9ff
style L fill:#9ff
proposal box 和 proposal feature是网络中要学习的两个重要参数。两者的数目相同(都为N)且一一对应,每一个proposal box得到的RoI只和它对应的proposal feature做进一步的融合。
生成了3个proposal boxes,gt中只有两个targets. 没有目标的 proposal boxes 与一种特殊的类别 no object 相匹配。
在COCO数据集上是实现44.5AP,同时能够达到22FPS(ResNet-50 FPN)的速度。