论文阅读: SNIP

Introduction

SNIP是CVPR2018 oral，并获得了COCO2017 challenge的Best Student Entry。

作者发现在COCO数据集上的small object占总的object比例太小，远不如ImageNet的数据分布来得合理：

这里写图片描述

做了实验，指出惯用的train、test不同输入size的做法不合理，并实验发现当train和test保持输入图片同size是有助于涨点的：

这里写图片描述

这里写图片描述

作者在Image Pyramid的基础上加入了 每层scale 的 proposal有效生成范围，设计SNIP如下：

这里写图片描述

Note：

• 每个pipe-line的RPN只负责一个scale range的proposal生成。
• 对于大size的feature map，对应的RPN只负责预测被放大的小物体；对于小size的feature map，对应的RPN只负责预测被缩小的大物体；这样的设计保证了每个CNN分支在判别proposal是否为前景时，只需针对最易分类的中等range的proposal进行训练。
• 大大降低了前景分类任务的难度，从而“作弊式”地实现了Scale Invariance。

Innovation

在Image Pyramid的基础上加入了 每层scale 的 proposal有效生成范围，发扬本scale的优势，回避其他scale的劣势。

Result

COCO2017 challenge的Best Student Entry。

Thinking

• SNIP在 Feature Pyramid 成为two-stage系标配的当下，从旧方法的杂物堆里面重新淘出 Image Pyramid ，并让之老树开新花。
• 但是SNIP相当于开了三个pipe-line，其中包括了三个并行的feature extraction，速度简直不要太慢，显存占用简直不要太大，一般的显卡根本带不动。
• accuracy很高，但speed太慢，model太大，没有实用性。
• SNIP在没有改进之前，是一个华丽而不实用的算法。所幸SNIPER对其进行了改进。

之前还想过：

• 如果在RPN之后再加上一个 “scale in range”的二分判别 ，在无ground truth作为强监督信息的reference阶段可作为一种“上保险”式的复查。

和师兄讨论过后，我的观点被否定了：

• 这种trick虽然或许可以涨一两个点，但是就显得太丑陋了。对于强调自己的innovation，并使得论文被录用，反而是不利的。因此作者并没有画蛇添足。

[1] An Analysis of Scale Invariance in Object Detection - SNIP [2] CVPR18 Detection文章选介（下） [3] 目标检测论文阅读：An Analysis of Scale Invariance in Object Detection – SNIP [4] [CVPR2018笔记]An Analysis of Scale Invariance in Object Detection – SNIP [5] 目标检测中的尺度–An Analysis of Scale Invariance in Object Detection – SNIP [6] [CVPR2018] An Analysis of Scale Invariance in Object Detection – SNIP