Fast-RCNN阅读笔记系统架构模型训练

公式渲染完整版请移步个人博客

系统架构

structure.png

由于RCNN存在流水线过长,检测速度慢的问题,Fast-RCNN几乎将整个过程置于深度学习的框架下,因此带来了准确率和速度的提升,该系统主要组成部分如上图所示,有:

  • CNN特征提取器:与RCNN不同,该网络的输入为整张图片,输出为特征张量
  • 候选框提取:与RCNN相同使用Selective Search提取候选框,只是候选框通过大小变换后作用于CNN提取出的特征张量中,而不直接作用于图片
  • RoI Pooling层:该层次用于将不同大小的候选框归一化到同一个大小上,然后通过全连接层计算出固定长度的特征向量
  • 分类器:根据特征向量对物品进行分类,列表包括物品类别和背景
  • 回归器:根据特征向量微调候选框位置和大小,最终生成针对候选框的调整因子

该系统对于待识别图片,首先将其使用Selective Search处理获得一系列候选框,随后将其归一化到固定大小,送入CNN网络中提取特征。对于提取出的特征张量,假设其保留了原图片的空间位置信息,将候选框做对应变换后映射到特征张量上,提取出大小不同的候选区域的特征张量。对于每个候选区域的特征张量,使用RoI pooling层将其大小归一化,随后使用全连接层提取固定长度的特征向量。对于该特征向量,分别使用全连接层+softmax和全连接层+回归判断类别并计算原候选框的调整因子。

候选框提取

候选框的提取与RCNN相同,使用Selective Search算法,该算法会提供一系列候选区域框,而不是遍历各种大小的子图,所以速度快于滑动框,Selective Search的具体说明参看RCNN笔记。需要指出的是,该部分是整个网络的速度瓶颈。

CNN特征提取

网络的基本结构是VGG-16网络,相对于原网络,做了以下调整:

  • 最后一个最大值池化层用RoI池化层代替,该池化层可将不同大小的输入池化为统一大小输出。
  • 最后一层全连接层使用两个分裂的全连接层代替,一个用于计算分类,一个用于计算候选框的调整因子
  • 输入改为两个,分别为原图和Selective Search产生的候选框坐标

RoI池化层

RoI池化层用于将不同大小的输入张量池化为固定大小,RoI池化层指定池化窗口的数量为W \times H,每个池化窗口的大小是根据池化区域变化的,例如一张图片的尺寸为w \times h,则每个窗口的大小为\frac{w}{W} \times \frac{h}{H},假设W=4,H=4,有以下例子:

roi.png

如图左右各有一个大小不同的RoI区域,划分为W \times H个池化窗口,每个池化窗口的大小因原RoI区域尺寸不同而不同,经过RoI池化尺寸变为相同的W \times H。

分类器与回归器

分类器和回归器的输入为RoI池化输出的固定大小向量经过两层全连接层后产生的特征向量,分类器用于判断物品属于哪一类(类别+背景),回归器用于计算4个调整因子,调整因子部分内容见RCNN笔记。

模型训练

模型的训练过程与RCNN不同,Fast-RCNN将分类器和回归器的训练统一到深度学习的框架下,在Selective Search提取出候选区域RoI后,所有的训练均在深度学习框架下进行。

批处理

训练使用SGD算法,因此需要提取batch进行训练。batch的提取基于N张图片,每个batch提取\cfrac{R}{N}个区域,每个batch共R个数据。当N较小时,这种提取方法充分的使用了数据局部性,能提高训练速度。在本论文中,有R=128,N=2,即每个batch的数据来自两张图片,共128个RoI数据,其中要求25%的RoI为包含物体的(IoU>0.5),这些RoI被标记为对应类别,剩下的75%的RoI要求IoU在0.1~0.5之间,标记为背景。

多任务代价函数

该网络的输入有两个:

  • 分类结果p=(p_0,p1,...,p_K),共K+1个类别,包括K个物品和背景
  • 调整因子t_k=(t_x^k,t_y^k,t_w^k,t_h^k),调整的方式与RCNN相同

因此,代价函数必须考虑以上两种输出的代价,最终代价函数如下所示: L(p,u.t_u,v) = L_{cls}(p,u) + \lambda[u \geq 1]L_{loc}(t^u,v) 第一个部分L_{cls}为分类部分的代价函数,使用交叉熵函数,公式如下,其中u为该RoI区域的标记类别,p为神经网络输出的分类向量: L_{cls}(p,u) = -log(p_u) 第二个部分L_{loc}为调整因子的代价函数,[u \geq 1]表示仅当当前位置不是背景时才考虑该部分代价, 超参数\lambda表示两个部分之间的权重,论文中取1。L_{loc}如下所示,其中t为网络输出的调整因子,v为目标调整因子。

$$
L_{loc}(t^u,v) = \sum\limits_{i \in \{x,y,w,h\}}smooth_{L_1}(t^u_i-v_i) \\
smooth_{L_1}=\begin{cases}0.5x^2 & |x| <1 \\ |x|-0.5&otherwise\end{cases}
$$

训练过程

由上,可以归纳Fast_RCNN的训练过程:

  1. 获取预训练模型
  2. 取N=2张图片前向传播,按批处理部分所述进行前向传播,并计算代价函数
  3. 根据代价函数反向传播更新权值跳转到2

其中,RoI pooling层的反向传播与Pool层相同,详情见CNN的反向传播,不同RoI的反向传播结果对应位置相加后再反向传播到前一层。为了达成尺寸不变性,还在训练中使用了图像金字塔和数据增强的方法。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SnailTyan

Single Shot MultiBox Detector论文翻译——中文版

SSD: Single Shot MultiBox Detector 摘要 我们提出了一种使用单个深度神经网络来检测图像中的目标的方法。我们的方法命名为SSD,...

3060
来自专栏闪电gogogo的专栏

《统计学习方法》笔记七(1) 支持向量机——线性可分支持向量机

应用拉格朗日对偶性,通过求解对偶问题得到原始问题的最优解,一是因为对偶问题往往更容易求解,二是自然引入核函数,进而推广到非线性分类的问题。

932
来自专栏计算机视觉战队

深度学习---反向传播的具体案例

最近遇到一位小师弟,他让我给他推导一下前向传播和反向传播过程,于是我埋头在白纸上一步一步推导,最后,小师弟特别开心,在此过程中,我也更一步认识了这个知识点,感觉...

35515
来自专栏人工智能LeadAI

CNN 之物体检测篇

RCNN Rich feature hierarchies for accurate object detection and semantic segment...

3757
来自专栏marsggbo

DeepLearning.ai学习笔记(四)卷积神经网络 -- week1 卷积神经网络基础知识介绍

一、计算机视觉 ? 如图示,之前课程中介绍的都是64* 64 3的图像,而一旦图像质量增加,例如变成1000 1000 * 3的时候那么此时的神经网络的计...

22810
来自专栏小鹏的专栏

Faster RCNN:RPN,anchor,sliding windows

paper链接:Faster R-CNN: Towards Real-Time Object Detection with Region Proposal N...

93410
来自专栏Pytorch实践

分类问题样本不均衡常见的解决方法

分类时,由于训练集合中各样本数量不均衡,导致模型训偏在测试集合上的泛化性不好。解决样本不均衡的方法主要包括两类:(1)数据层面,修改各类别的分布;(2)分类器层...

7035
来自专栏机器学习算法与Python学习

卷积神经网络的最佳解释!

CNN由由可学习权重和偏置的神经元组成。每个神经元接收多个输入,对它们进行加权求和,将其传递给一个激活函数并用一个输出作为响应。整个网络有一个损失函数,在神经网...

1183
来自专栏决胜机器学习

卷积神经网络(四) ——目标检测与YOLO算法

卷积神经网络(四) ——目标检测与YOLO算法 (原创内容,转载请注明来源,谢谢) 一、概述 目标检测,主要目的是在图片中,分类确认是否有需要的物体,如果有则标...

1.6K6
来自专栏SnailTyan

Single Shot MultiBox Detector论文翻译——中英文对照

SSD: Single Shot MultiBox Detector Abstract We present a method for detecting ob...

2710

扫码关注云+社区

领取腾讯云代金券