RCNN(Region with CNN features)[1]算法发表在2014年CVPR的经典paper:《Rich feature hierarchies for Accurate Object Detection and Segmentation》中,这篇文章是目标检测领域的里程碑式的论文,首次提出使用卷积神经网络(Convolutional Neural Networks, CNNs)处理目标检测(Object Detetion)的问题。
RCNN算法的流程图如下所示:

从图中可以看出,RCNN主要包括三个部分:
针对于候选区域的reshape过程,在参考[4]中做了详细的分析,如下图所示:

分析了三种的reshape方法,分别为:
IoU(Intersection-over-Union),即交并比。是目标检测中使用到的一个重要概念,是一种测量在特定数据集中检测相应物体准确度的一个标准。IoU表示的是预测的候选框(candidate bounding box)与原标记框(ground truth bounding box)的交叠率(或者重叠度),也就是它们的交集与并集的比值。相关度越高该值。最理想情况是完全重叠,即比值为1,如下图所示:

那么,IoU的计算公式为:
在RCNN中,使用边框回归的目的是提高检测位置的准确性。那么,Bounding Box Regression具体如何做呢?在参考[2]中给出了Bounding Box Regression的具体做法:假设数据集中有N 个训练数据\left \{ \left ( P^i,G^i \right ) \right \}_{i=1,\cdots ,N} ,其中P^i 表示的是预测的边框,且P^i=\left ( P_x^i,P_y^i,P_w^i,P_h^i \right ) ,x 和y 表示的是边框中心点的坐标,w 和h 表示的是边框的宽高。G^i 表示的是实际的边框,其结构与P^i 一致。我们的目标是寻找到一个映射f ,使得f\left ( P_x^i,P_y^i,P_w^i,P_h^i \right )=\left ( \hat{G}_x^i,\hat{G}_y^i,\hat{G}_w^i,\hat{G}_h^i \right ) ,同时\left ( \hat{G}_x^i,\hat{G}_y^i,\hat{G}_w^i,\hat{G}_h^i \right )\approx \left ( G_x^i,G_y^i,G_w^i,G_h^i \right ) 。
在RCNN中,边框回归是利用平移变换和尺度变换实现的。其中,平移变换为:
尺度变换为:
其中,d_{\ast} \left ( P \right ) 可以建模成特征(在RCNN中为pool_5 ,可以表示为\phi _5\left ( P \right ) )的线性函数,即:d_{\ast} \left ( P \right )=\mathbf{w}^T_{\ast} \phi _5\left ( P \right ) ,我们需要学习到参数\mathbf{w}_{\ast} ,可通过对求解如下的最小化问题,得到对应的解:
其中,目标t_{\ast} 可以由上述的两个变换得到:
非极大抑制NMS(non maximum suppression),从其名称就可以看出,NMS想要做到的是找到局部的极大值,抑制非极大值,主要用于在图像检测中剔除掉检测出来的冗余的bbox。对于目标检测算法,最终我们会得到一系列的bbox以及对应的分类score,NMS所做的工作就是将同一个类别下的bbox按照分类score以及IoU阈值做筛选,剔除掉冗余的bbox,NMS的具体过程为:
在模型训练之前,首先需要的是训练数据集,文章中使用的是VOC数据集,数据集中包含了20个类别的物体。RCNN模型的训练需要分为几个部分单独计算,按照上述流程,分为三个部分:
在推理阶段(测试阶段),对于一张待检测图片,主要分为以下几个部分:
RCNN的提出对于目标检测领域来说是个里程碑式的进步,但是RCNN算法中存在许多的不足,从上述流程可以发现,可以发现:
[1] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2014: 580-587.
[2] Uijlings J R R, Van De Sande K E A, Gevers T, et al. Selective search for object recognition[J]. International journal of computer vision, 2013, 104(2): 154-171.
[3] Selective Search for Object Detection (C++ / Python)
[4] JitendraMalik R G J D T D. Rich feature hierarchies for accurate object detection and semantic segmentation Supplementary material[J].
[5] 【计算机视觉——RCNN目标检测系列】一、选择性搜索详解
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。