论文阅读: Cascade R-CNN
Introduction
Cascade R-CNN的本质是 “ Cascade roi-wise subnet ” 。
传统的Faster R-CNN结构如下：
在train阶段，其最终的输出结果是通过如下一个简单的IoU阈值判断来决定哪些proposal作为output：
对IoU阈值设置的探索
由于早前VOC只以 mAP50mAP50mAP_{50} 作为唯一的性能衡量标准，为了overfit该数据集，算法的IoU阈值在train阶段和inference阶段常被简单地设定为 0.5，而这会导致train阶段对bbox的质量要求过低。
inference阶段，如果IoU阈值设为0.5，最终输出可能如下的左图所示，带有不少错分为object的bbox；如果我们把IoU阈值调高到0.7，如下右图所示，就可以把一堆IoU介于0.5~0.7之间的bbox给过滤掉：
那我们直接在train阶段就把IoU阈值改为0.7，test阶段依然为0.5，不就好了吗？
不行。
原因：
- 如下图，IoU=0.7训练出来的detector
[红线]，在IoU=0.5的输入上定位效果甚至不如IoU=0.5训练出来的detector[蓝线]：
- 其原因有二：
- train阶段IoU设为0.7会导致positive bbox的数量骤降，导致最终训出的模型overfit。
- inference阶段，RPN丢给roi-wise subnet的大多是low-quality proposal。单个regressor再强也只能稍微regress一点点location，那么最终的output还是得GG。
那我们train阶段为0.5，只在test阶段把IoU阈值改为0.7呢？
不行。
原因：
- train阶段 和 inference阶段 的 IoU阈值 设置得不一样，反而会影响性能。
那就同时把train阶段和test阶段都改为0.7呢？
还是不行。
原因：
- 自从更大更全的COCO数据集提出来后，评价标准变得“多IoU阈值化”了。在原先的mAP50mAP50mAP_{50}基础上，又增加了mAP75mAP75mAP_{75}等等一系列指标。也就是说，不管你怎么改，都会导致某些IoU阈值标准是你在train的阶段无法顾及到的。
对regressor数量的探索
作者发现，假设待输入regressor的bbox为Input，回归后的输出bbox为Output，则Output的IoU质量普遍优于Input：
等于证明了：
经过location regression的bbox明显更high-quality。
故而，多次叠加roi-wise subnet，就等于多regress几次bbox，自然可以获得更high-quality的output bbox，从而刷高COCO测评性能。
那么直接简单地在roi-wise subnet后面再叠加roi-wise subnet可以么？
不行。
原因：
- 因为如果这么做的话，对bbox的回归公式就变成了如下所示：
- 此时对应的网络结构就会不能很好地挖掘多级roi-wise subnet的作用：
Innovation
作者的Idea，是设计cascade的bbox cls/reg机制：
总共有三个roi-wise subnet相cascade (级联) ，每个roi-wise subnet采用不同的IoU阈值。依次为0.5、0.6、0.7。
对应的网络结构如下：
该设计有如下四大优势：
- 实现起来简单；
- 可以end-to-end训练；
- 适用于任何two-stage的检测算法；
- 普遍都能涨点2~4。
Result
经过试验，发现cascade roi-wise subnet可以逐步过滤非object的bbox，并提升object的bbox质量：
经过三个级联的roi-wise subnet，可以明显看出最后一个roi-wise subnet输入的待处理bbox(如下最右边的子图)质量明显高了很多：
经过实验，发现取三个roi-wise subnet级联的效果最好：
Thinking
- 如文中引用文献的情况所示，Cascade R-CNN的灵感很大程度上来自作者的细心观察和face-detection惯用的cascade boostrapping (级联引导) 做法的启发。
- Faster R-CNN将Detection从4-stage简化到了2-stage，而Cascade R-CNN又将2– stage发展回了4-stage。其实这是一种“螺旋式地上升”吧。
- Cascade R-CNN的根本动机就是： 通过在每个stage调整bbox来获得越来越high-quality的bbox，从而将COCO的一系列metric一锅端。
Note：
- 如果第一个RoI-wise subnet的输入是300个bbox(有positive也有negative)，那么第三个RoI-wise subnet输入的是依然是这300个bbox；
- 所有proposal(除了那些完全不cover ground truth的)在每一轮regression中都可以提升location质量，更加逼近ground truth。所以最后这些proposal的质量明显越来越高了：
[1] Cascade R-CNN: Delving into High Quality Object Detection