由于每期都是逐步改进，重复的不在赘述，所以建议先阅读前面的，这期我们继续改进，学习一下Faster RCNN都做了哪些改进？
Fast R-CNN 有两个网络：建议窗口网络（RPN）生成建议窗口并使用这些窗口检测物体。与Fast R-CNN 的主要区别在于后者使用选择性搜索来生成建议窗口。当RPN与物体检测网络共享最多计算时，RPN中生成建议窗口的时间成本比选择性搜索小得多。 简而言之，RPN对区域框（称为锚点）进行排名，并提出最可能包含物体的框。 结构如下。
【GiantPandaCV导读】到了第二章，检测网络已经发展到了将整个的检测任务都放在CNN中进行，也开始有学者探讨，CNN中每一层到底学到了什么信息。到此部分，现在通用的检测模型结构开始逐步的产生和完善，并向更高精度和更快速度迈进。
实例分割是一种在像素层面识别目标轮廓的任务，相比其他相关任务，实例分割是较难解决的计算机视觉任务之一：
本文是继RCNN[1]，fast RCNN[2]之后，目标检测界的领军人物Ross Girshick团队在2015年的又一力作。简单网络目标检测速度达到17fps，在PASCAL VOC上准确率为59.9%；复杂网络达到5fps，准确率78.8%。
前言：faster-RCNN是区域卷积神经网络（RCNN系列）的第三篇文章，是为了解决select search方法找寻region proposal速度太慢的问题而提出来的，整个faster-RCNN的大致框架依然是沿袭了fast-RCNN的基本能结构，只不过在region proposal的产生上面应用了专门的技术手段——区域推荐网络（region proposal network，即RPN），这是整个faster最难以理解的地方，本文也将以他为重点进行说明。鉴于篇幅较长，本次系列文章将分为3篇来说明：
paper：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks Tensorflow-faster r-cnn github:Tensorflow Faster RCNN for Object Detection
当我们输入一张图片，首先传达给backbone网络进行特征提取，backbone的选择不是唯一的，可以使用resnet50,101等等，其目的就是为了得到图像的大小较小，但却很深的特征层
这一节将从代码库里面的demo.ipynb笔记本入手，来整体理解一下Mask RCNN的网络架构。
VGG-nets/ResNets： 堆叠相同形状的网络 building blocks；—— 网络 depth
Mask R-CNN是ICCV 2017的best paper，彰显了机器学习计算机视觉领域在2017年的最新成果。在机器学习2017年的最新发展中，单任务的网络结构已经逐渐不再引人瞩目，取而代之的是集成，复杂，一石多鸟的多任务网络模型。Mask R-CNN就是典型的代表。本篇大作的一作是何凯明，在该篇论文发表的时候，何凯明已经去了FaceBook。我们先来看一下，Mask R-CNN取得了何等的成果。
Faster R-CNN算法是作者Ross Girshick对Fast R-CNN算法的一种改进。Fast R-CNN在速度和精度上都有了不错的结果，但仍有一些不足之处。Faster R-CNN算法同样使用VGG-16网络结构，检测速度在GPU上达到5fps(包括候选区域的生成)，准确率也有进一步的提升。在ILSVRC和COCO 2015竞赛中获得多个项目的第一名。在Faster R-CNN中提出了区域生成网络(Region Proposal Network,RPN)，将候选区域的提取和Fast R-CNN中的目标检测网络融合到一起，这样可以在同一个网络中实现目标检测。Faster R-CNN主要是解决Fast R-CNN存在的问题：
上一节详细解读了Faster RCNN中的RPN和ROIHead的细节，这一节我们将从搭建完整的Faster RCNN模型出发来进行梳理。
这篇论文是CVPR2017年的文章，采用特征金字塔做目标检测，有许多亮点，特来分享。
本博客大部分参考http://blog.csdn.net/zy1034092330/article/details/62044941，其中夹杂着自己看论文的理解
特征图金字塔网络FPN（Feature Pyramid Networks）是2017年提出的一种网络，FPN主要解决的是物体检测中的多尺度问题，通过简单的网络连接改变，在基本不增加原有模型计算量的情况下，大幅度提升了小物体检测的性能。
行人检测有两种方向，传统算法和基于深度学习算法。传统算法的典型代表有Haar特征+Adaboost算法，Hog特征+Svm算法，DPM算法。而基于深度学习的行人检测典型代表有RCNN系列，YOLO系列和SSD系列。其中RCNN系列算法是现在使用的最广泛的基于深度学习的行人检测算法。
前言： 这篇文章主要使用特征金字塔网络来融合多层特征，改进了CNN特征提取。作者也在流行的Fast&Faster R-CNN上进行了实验，在COCO数据集上测试的结果现在排名第一，其中隐含的说明了其在小目标检测上取得了很大的进步。其实整体思想比较简单，但是实验部分非常详细和充分。 摘要： 特征金字塔是多尺度目标检测系统中的一个基本组成部分。近年来深度学习目标检测特意回避金字塔特征表示，因为特征金字塔在计算量和内存上很昂贵。所以作者利用了深度卷积神经网络固有的多尺度、多层级的金字塔结构去构建特征金字塔网络。
RCNN全称为Regions with CNN Features，是将深度学习应用到物体检测领域的经典之作，并凭借卷积网络出色的特征提取能力，大幅度提升了物体检测的效果。而随后基于RCNN的Fast RCNN及Faster RCNN将物体检测问题进一步优化，在实现方式、速度、精度上均有了大幅度提升。
【GiantPandaCV导读】用深度学习网络来完成实际场景的检测任务已经是现在很多公司的常规做法了，但是检测网络是怎么来的，又是怎么一步步发展的呢？在检测网络不断迭代的过程中，学者们的改进都是基于什么思路提出并最终被证实其优越性的呢？
在目标检测领域Faster RCNN可以说是无人不知无人不晓，它里面有一个网络结构RPN（Region Proposal Network）用于在特征图上产生候选预测区域。但是呢，这个网络结构具体是怎么工作的呢？网上有很多种解释，但是都是云里雾里的，还是直接撸代码来得直接，这里就直接从代码入手直接撸吧-_-||。 首先，来看一下Faster RCNN中RPN的结构是什么样子的吧。可以看到RPN直接通过一个卷积层rpn_conv/3×3直接接在了分类网络的特征层输出上面，之后接上两个卷积层rpn_clc_score与rpn_bbox_pred分别用于产生前景背景分类与预测框。之后再由python层AnchorTargetLayer产生anchor机制的分类与预测框。然后，经过ROI Proposal产生ROI区域的候选，并通过ROI Pooling规范到相同的尺寸上进行后续处理。大体的结构如下图所示：
刚开始学Faster RCNN时，遇到些困惑不知其他人有没有： 1、RPN网络训练的输出是什么？ 2、RPN网络在train中的作用是什么？ 3、RPN网络在test中的作用是什么？ 其实这些我们如果不看源码都很难真正理解！ 以Faster-RCNN_TF的源码为例，以下代码取自./lib/networks/VGGnet_train.py
之前的文章简要介绍了Faster-RCNN等物体检测的算法，本文将从代码角度详细分析介绍Faster-RCNN的实现。本文使用的代码参考了chenyuntc的实现，代码的位置看这里。需要注意的是，本文使用的框架是Pytorch。
从上一期Faster RCNN的算法原理上，我们知道Faster RCNN算法有两部分，一个是用来提取候选框的RPN网络，一个是最后检测目标的分类回归网络。通过学习，我们知道RPN网络在提取候选框的时候有两个任务，一个是判断该anchor产生的候选框是否是目标的二分类任务，另一个是对该候选框进行边框回归的回归任务。 而Faster RCNN最后的目标检测网络同样也有两个任务，跟RPN网络类似，一个是判断RPN网络产生的候选框框住的物体是具体哪一类物体的分类任务，另一个是对该候选框进行回归的回归任务。 既然两个网络都是多任务网络，那么，我们先看看RPN网络的损失函数是怎么样的？先上RPN网络的总体损失函数，接下来分析，如下（公式可左右滑动）：
目标检测（Object Detection）的任务是找出图像中所有感兴趣的目标（物体），确定它们的类别和位置，是计算机视觉领域的核心问题之一。由于各类物体有不同的外观、形状和姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题。
Faster R-CNN最突出的贡献在于提出Region Proposal Network(RPN)替换了选择性搜索(Selective Search)，在保证对象检测的准确率的条件下，将检测时间降低了10倍左右，实现了实时的对象检测。
Fast-RCNN基本实现端对端（除了proposal阶段外），下一步自然就是要把proposal阶段也用CNN实现（放到GPU上）。这就出现了Faster-RCNN，一个完全end-to-end的CNN对象检测模型。
paper链接：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks Github源码pyth
《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》，该论文由CV领域大牛RGB和何凯明于2016年发表，此篇论文堪称经典论文之一。
reference link：http://blog.csdn.net/liumaolincycle/article/details/48804687
[Paper - Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks]
通过阅读点云目标检测方面的文献，我们发现：大量的方法是借鉴图像处理领域目标检测已有成果，进行扩展和改进。因此，如果你在做点云之前，做过图像检测方面研究的话，非常有优势。如果没有的话，也没关系，现在学习也不迟。
这10几天忙于实习公司模型训练和天池比赛，因此没有多少时间用于更新这个系列文章第六篇——Faster R-CNN论文解读。在前面一篇博客【计算机视觉——RCNN目标检测系列】五、Fast R-CNN论文解读主要介绍了Fast R-CNN网络架构，在这篇博客中我们将主要介绍Faster R-CNN，虽然还有Mask R-CNN作为最终改进版，但Mask R-CNN主要用于图像分割网络，因此我们在此先不做详细介绍，待有时间再做详细学习之后再做详细介绍。之后我们也会针对Fast R-CNN和Faster R-CNN进行实战，解读官方源代码或手动实现，框架将会使用TensorFlow和keras，大家敬请期待。
尽管R-CNN是物体检测的鼻祖，但其实最成熟投入使用的是faster-RCNN，而且在pytorch的torchvision内置了faster-RCNN模型，当然还内置了mask-RCNN，ssd等。既然已经内置了模型，而且考虑到代码的复杂度，我们也无需再重复制造轮子，但对模型本身还是需要了解一下其原理和过程。
最先进的目标检测网络依赖于区域建议算法来假设目标位置。SPPnet和Faster R-CNN等技术的进步，降低了检测网络的运行时间，但是暴露了区域提案计算的瓶颈。在这项工作中，我们引入了一个与检测网络共享全图像卷积特性的区域建议网络(RPN)，从而实现了几乎免费的区域建议。RPN是一个完全卷积的网络，它同时预测每个位置的目标边界和目标得分。对RPN进行端到端训练，生成高质量的区域建议，Faster R-CNN对其进行检测。通过共享卷积特性，我们进一步将RPN和Faster R-CNN合并成一个单独的网络——使用最近流行的具有“Attention”机制的神经网络术语，RPN组件告诉统一的网络去哪里看。对于非常深的VGG-16型号，我们的检测系统在GPU上帧率为5帧(包括所有步骤)，同时在PASCAL VOC 2007、2012和MS COCO数据集上实现了最先进的目标检测精度，每张图像只有300个proposal。在ILSVRC和COCO 2015年的比赛中，Faster R-CNN和RPN是在多个赛道上获得第一名的基础。
来源：信息网络工程研究中心 本文约7500字，建议阅读10+分钟 本文从四个切入点为你介绍Faster R-CNN网络。 经过R-CNN和Fast RCNN的积淀，Ross B. Girshick在2016年提出了新的Faster RCNN，在结构上，Faster RCNN已经将特征抽取(feature extraction)，proposal提取，bounding box regression(rect refine)，classification都整合在了一个网络中，使得综合性能有较大提高，在检测速度方
作为深度学习算法工程师，如果你想提升C++水平，就去研究caffe源代码，如果你想提升python水平，就去研究faster-rcnn源代码吧，caffe源代码我们已经解读过了，今天这一期就解读faster-rcnn源代码
从train.py中的主要函数可以看出，主要的步骤涉及训练数据和测试数据的预处理，网络模型的构建（Faster RCNN），然后就是迭代训练，这也是通用的神经网络搭建和训练的过程。在Faster Rcnn网络模型中主要包含Extractor、RPN和RoIhead三部分。网络中Extractor主要是利用CNN进行特征提取，网络采用的VGG16；RPN是候选区网络，为RoIHead模块提供可能存在目标的候选区域（rois）；RoIHead主要负责rois的分类和微调。整体的框架图如下图所示：
1、先通过conv层+pooling层+relu层，可以是vgg，得到feature maps。
一类是以Faster-RCNN/Mask-RCNN为代表的two-stage检测器，第一阶段通过RPN网络产生大量的推荐区域，第二阶段通过对这些区域分类输出实现对象检测。这类方法的共同点就是算法精度比较高但是速度比较慢。
Faster R-CNN是为了改进Fast R-CNN而提出来的。因为在Fast R-CNN文章中的测试时间是不包括search selective时间的，而在测试时很大的一部分时间要耗费在候选区域的提取上。所以作者提出了RPN来提取候选框，使时间大大的减少了。
【说明】：欢迎加入：faster-rcnn 交流群 238138700，我想很多人在看faster-rcnn的时候，都会被RPN的网络结构和连接方式纠结，作者在文中说的不是很清晰，这里给出解析；
backbone 为 vgg16 的 faster rcnn 网络结构如下图所示，可以清晰的看到该网络对于一副任意大小 PxQ 的图像，首先缩放至固定大小 MxN，然后将 MxN 图像送入网络；而 Conv layers 中包含了 13 个 conv 层 + 13 个 relu 层 + 4 个 pooling 层；RPN 网络首先经过 3×3 卷积，再分别生成 positive anchors 和对应 bounding box regression 偏移量，然后计算出 proposals；而 Roi Pooling 层则利用 proposals 从 feature maps 中提取 proposal feature 送入后续全连接和 softmax 网络作 classification（即分类： proposal 是哪种 object）。
本文介绍了Faster R-CNN目标检测算法及其实现，重点讲解了Faster R-CNN的算法原理和具体实现。
版权声明：本文为博主原创文章，转载请注明出处。 https://blog.csdn.net/chaipp0607/article/details/78492328
2014年论文《Rich feature hierarchies for accurate object detection and semantic segmentation Tech report》提出R-CNN模型，即Regions with CNN features。这篇论文可以算是将CNN方法应用到目标检测问题上的开山之作。
本文介绍了Faster R-CNN目标检测算法及其在COCO数据集上的实验结果。文章首先介绍了Faster R-CNN的背景知识，包括其检测速度、精度等方面的优势。然后详细介绍了Faster R-CNN的网络结构，包括Region Proposal Network（RPN）、Convolutional Layer等关键组件。接着，文章分析了RPN的两种训练方式：联合训练和交替训练。最后，文章给出了Faster R-CNN在COCO数据集上的实验结果，并与Selective Search方法进行了对比，结果表明，Faster R-CNN在物体检测任务上具有显著的优势。"，"query": "介绍了哪些内容
前两天讲了RCNN和Fast-RCNN，相信对目标检测已经有了一些认识了。我们知道RCNN和Fast-RCNN都是双阶段的算法，依赖于候选框搜索算法。而搜索算法是很慢的，这就导致这两个算法不能实时。基于这个重大缺点，Faster-RCNN算法问世。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
