Advanced CNN Architectures(R-CNN系列)

分类与定位(Classification and Localization)

一个简单的定位示例:

除了将该图像标记为猫外,还需要定位图中的猫,典型方法是在该猫周围画一个边界框,这个方框可以看做定义该方框的一系列坐标,(x,y) 可以是方框的中心w 和 h 分别表示方框的宽和高。 要计算这些值 我们可以使用典型分类 CNN,用到的很多相同结构。

一种定位方式是首先将给定图像传入一系列卷积层和池化层 并为该图像创建一个特征向量,保留相同的全连接层进行分类,然后在特征向量之后添加另一个全连接层,目的是预测边界框的位置和大小,称其为边界框坐标。 在这个 CNN 中:

  • 有一个输出路径 作用是为图像中的对象生成类别
  • 另一个输出路径的作用是生成该对象的边界框坐标 在这个示例中,假设输入图像不仅具有相关的真实标签而且具有真实的边界框。这样我们可以通过对比类别和边界框的预测值和真实值训练网络。 我们已经知道如何使用交叉熵损失等衡量分类模型的性能,但交叉熵适合概率值在 0 和 1 之间的模型。但是对于边界框 我们需要其他损失函数,这种函数能够衡量预测边界框和真实边界框之间的误差。

Bounding Boxes and Regression(边界框与回归)

在训练 CNN 对一组图像进行分类时,通过比较输出的预测类别和真实类别标签并查看二者是否匹配来训练 CNN。通常使用交叉熵衡量这些类别之间的误差。因为当具有不确定性的预测类别与真实类别标签越来越接近时,交叉熵损失会逐渐降低。但是当我们比较一组点时例如脸部位置/点或定义图像特定区域的点,我们需要一种衡量这些坐标值之间相似性的损失函数,这不是分类问题而是回归问题。分类是预测类别标签,回归是预测数量。 对于回归问题,例如预测(x,y)坐标,我们需要一个损失函数来比较这些数量并衡量它们之间的近似程度。

  • 对于分类问题: 知道准确率是什么,如果预测类别与真实类别匹配 则模型是准确的
  • 但对于回归问题 无法说一个点是否准确,只能通过衡量点之间的均方误差评估数量。我们经常讨论的是模型的误差是否很小 而不是模型是否准确 可以使用几种不同的损失函数:
    • 最简单的是 L1 损失 它衡量的是预测输出(称为 p)和目标 (t)之间元素级别的差异 假设我们仅预测一个点 p 坐标 (x,y) 表示图像中对象的中心。在此示例中 损失函数将查看 CNN 生成的预测点 p和对象的真实中心目标位置 t,L1 损失将返回一个表示预测点和真实点之间距离的值.
    • MSE 损失 它衡量的是预测 p 中的元素和目标 t 中的元素之间的均方误差

前两种方法都适合衡量点之间的距离,但是所有损失函数都具有优势和弊端。L1 损失可能会忽略小的误差值而 MSE 损失对大的误差值最敏感,导致可能会放大很大但是不常见的误差-离群值。

  • Smooth L1 对于预测值和真实值之间很小的差异,它会使用均方误差函数,而对于很大的误差 则使用 L1 损失,Smooth L1 损失尝试利用 MSE 和 L1 损失的优势。

为了预测边界框,我们训练模型将图像作为输入和输出坐标值:(x,y,w,h)。这种模型可以扩展到任何具有坐标值作为输出的问题!一个这样的例子是 人体姿势估计

可以通过跟踪身体关节的14个点来估计人体的姿势

加权损失函数(Weighted Loss Functions)

如何训练具有两个不同输出(一个类和一个边界框)的网络以及这些输出的不同损失? 在这种情况下,我们使用分类交叉熵来计算我们的预测类和真实类的损失,并使用回归损失(类似Smooth L1损失)来比较预测和真实边界框。 但是,我们必须使用一次损失训练整个网络,那么我们如何将它们结合起来呢? 有几种方法可以训练多种损失函数,实际上,我们经常使用加权分类和回归损失(例如0.5*cross_entropy_loss + 0.5*L1_loss),结果是一个单一的值,我们误差,可以使用它来进行反向传播。这引入了一个超参数:损失权重。我们希望对每次损失进行加权,以便有效地平衡和组合这些损失,并且在研究中经常引入另一个正则项来帮助确定最佳组合这些损失权重值。

MSE Loss Smooth L1 Loss

候选区域(Region Proposals)

考虑上面的图像,认为如何选择最佳建议区域? 我们要分析的区域是那些包含完整对象的区域。我们希望摆脱包含图像背景或仅包含对象的一部分的区域。因此,提出了两种常见方法:

  1. 使用特征提取识别相似区域或使用聚类算法比如k-means
  2. 在我们的模型中添加另一个图层,对这些区域执行二进制分类并标记它们: object or not-object。这使我们能够丢弃任何非对象区域
R-CNN

要定位并分类图像中的多个对象,希望能够识别有限数量的裁剪区域供 CNN 查看.在理想情况下,我们将为图像中的三个不同对象生成三个完美裁剪的区域。为了实现这一目标并生成数量合理的裁剪区域,诞生了候选区域的概念。候选区域使我们能够快速查看图像,并仅为认为可能存在对象的部分生成区域。 R-CNN架构: 使用候选区域算法生成一组有限的裁剪区域,通常称之为感兴趣区域(Regions of interstets,ROIs),然后将这些区域挨个地传入分类 CNN 中,看网络对每个裁剪区域预测出什么样的分类标签. R-CNN 为每个感兴趣区域生成一个类别,因此可以识别图像中有狗的区域和有猫的区域.

在此示例中我们还包含了一个类别叫做背景,用于捕获任何有噪区域。 因为这些区域通常具有不同的大小 因此首先需要被转换成标准大小 ,CNN 能够接受为输入图像。 R-CNN方法的主要缺点是依然很耗时,因为需要将每个裁剪区传入整个CNN中,然后才能生成一个类别标签。 与其他模型不同,R-CNN没有明确地产生表示对象是否在区域中的置信度得分,而是巧妙地产生一组类别得分,其中一个类是“背景”。 这最终起到了类似的作用,例如,如果一个区域的类得分是Pbackground = 0.10,它可能包含一个对象,但如果它的Pbackground = 0.90,那么该区域可能不包含一个对象。

Fast R-CNN

R-CNN的下一个发展架构是Fast R-CNN。 这种架构使整个图像仅传入分类CNN一次,而不是通过分类CNN单独处理每个感兴趣区域(ROIs). 图像经过一系列卷积和池化层,在这些层级之后是一个特征图堆栈。我们依然需要识别感兴趣区域,但是我们将这些候选区域投射到更小的特征图层级上,而不是裁剪原始区域,特征图中的每个区域对应于原始图像中更大的区域。从特征途中获取候选区域,并依次将他们送到一个全连接层,为每个不同区域生成一个类别。 在这种模式下 我们可以仅执行最耗时的步骤一次,即通过一系列卷积层处理图像,然后选择性地使用该特征图获得期望的输出。

同样,我们需要处理这些投射中不同大小的区域,因为网络中的更深的层级要求输入时固定大小。因此,需要执行感兴趣区域(ROIs)池化,将这些区域调整为固定大小,然后再送到全连接层中。

这个网络比 R-CNN 要快,但是依旧需要生成候选区域所以速度依然很慢,并且它依然会查看根本不包含对象的区域

ROL POOLing

为了将感兴趣的区域转化为一致的大小以供进一步分析,对此使用ROL池化层。ROL池化层是网络中的一个附加层,它接收任意大小的矩形区域,对该区域执行maxpooling操作,使输出为固定形状。下面是一个将一些像素值分割成若干块的区域的示例,将对该区域应用池化。

[[0.85,0.34,0.76],
[0.32,0.74,0.21]]

在池化之后单个最大值:0.85。把这些应用到这些图片之后,可以看到任何一个矩形区域是如何被压缩成一个更小的正方形的。 可以在下面看到从输入图像到区域到缩小,最大化池化区域的完整过程:

FAST R-CNN是R-CNN的10倍,因为它只为给定的图像创建卷积层一次。Fast R-CNN也需要更短的时间来测试一个新图。测试时间主要由创建候选区域时间决定。

Faster R-CNN

Faster R-CNN 学会生成自己的候选区域

  1. 它接受一个输入图像,将图像传入 CNN 直到特定的卷积层 就像 Fast R-CNN 一样。
  2. 它将生成的特征图,作为输入传入单独的区域建议网络
  3. 使用在网络中生成的特征预测自己的区域,边缘或其他特征。如果特征图中的某个区域检测到了大量边缘或其他特征则被识别为感兴趣区域
  4. 然后 这个网络部分会快速进行二元分类,对于每个感兴趣区域 它都会检测该区域是否包含对象。如果包含 则该区域将继续经过分类步骤,如果不包含,则丢弃该建议。
  5. 获得最终候选区域后,网络的剩余部分和 Fast R-CNN 看起来一样。即接受特征图中的裁剪区域并学习分类这些区域。

通过消除非对象区域分析步骤,Faster R-CNN是所有区域CNN中最快速的模型。

候选区域网络(Region Proposal Network)

你可能想知道在Faster R-CNN架构中,ROIs 是怎么在候选区域网络生成。 候选区域网络以类似于YOLO目标检测的方式在Faster R-CNN中工作。RPN查看最后一个卷积层的输出,即生成的特征图,并采用滑动窗口方法来检测可能的对象。它在特征映射上滑动一个小的(典型的3x3)窗口,然后对于每个窗口RPN:

  1. 用一组定义的锚盒(anchor boxes),它们是定义的纵横比的方框已生成多个可能的ROI,每个都被认为是候选区域。
  2. 对于每个候选区域,该网络产生一个概率Pc,该概率将把候选区域分为物体(不是物体),以及该该物体的一组边界框的坐标。
  3. 其中作为物体的概率太低的候选区域,比如Pc < 0.5 将被丢弃。

训练候选区域网络: 在这种情况下,由于没有基本真实区域,该如何训练候选区域网络? 对于任何区域,都可以检查它是否与任何真实对象重叠。也就是说,对于一个区域,我们将该区域分为对象与非对象。 区域选择 速度瓶颈: 包括Faster R-CNN在内的这些网络结构,是通过减少生成和决定候选区域所需的时间来提高对象检测模型速度。 Faster R-CNN实现

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏深度学习之tensorflow实战篇

随机森林基本原理

基础内容: 这里只是准备简单谈谈基础的内容,主要参考一下别人的文章,对于随机森林与GBDT,有两个地方比较重要,首先是information gain,其次是决...

35890
来自专栏深度学习与计算机视觉

Logistic回归损失函数证明

在理解Logistic回归算法原理中我们指出了Logistic回归的损失函数定义(在这里重新约定符号): [图片] ? 而对于全体样本集的成本函数,就可以...

47660
来自专栏计算机视觉战队

卷积神经网络的前向传播

---- CNN的这三个特点是其对输入数据在空间(主要针对图像数据)上和时间(主要针对时间序列数据,参考TDNN)上的扭曲有很强的鲁棒性。CNN一般采用卷积层...

36140
来自专栏WD学习记录

机器学习 学习笔记(19)神经网络

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

19820
来自专栏计算机视觉战队

每日一学 | 线性分类笔记(上)

图像分类的任务,就是从已有的固定分类标签集合中选择一个并分配给一张图像。我们还介绍了k-Nearest Neighbor (k-NN)分类器,该分类器的基本思想...

9210
来自专栏重庆的技术分享区

吴恩达-神经网络和深度学习( 第三周 浅层神经网络:)

17640
来自专栏书山有路勤为径

卷积神经网络-目标检测

其中,bx、by表示汽车中点,bh、bw分别表示定位框的高和宽。以图片左上角为(0,0),以右下角为(1,1),这些数字均为位置或长度所在图片的比例大小。

14210
来自专栏IT派

用Python实现机器学习算法——简单的神经网络

导读:Python 被称为是最接近 AI 的语言。最近一位名叫Anna-Lena Popkes的小姐姐在GitHub上分享了自己如何使用Python(3.6及以...

11300
来自专栏杂七杂八

K最近邻与线性分类器(下)

的系数),b为常数项,输出是10个数字,代表归属于不同的类。我们可以看下面的这个例子:假设一张图片由2*2的像素表示,共有三类,那上述公式的计算如下

13230
来自专栏企鹅号快讯

16 Spatial Transformer Networks

Jaderberg M, Simonyan K, Zisserman A, et al. Spatial transformer networks[J]. 20...

33350

扫码关注云+社区

领取腾讯云代金券