构建图像的高斯金字塔是解决尺度不确定性的一种常用方法。高斯金字塔是指通过下采样不断的将图像的尺寸缩小，进而在金字塔中包含多个尺度的图像，高斯金字塔的形式如图3-30所示，一般情况下，高斯金字塔的最底层为图像的原图，每上一层就会通过下采样缩小一次图像的尺寸，通常情况尺寸会缩小为原来的一半，但是如果有特殊需求，缩小的尺寸也可以根据实际情况进行调整。由于每次图像的尺寸都缩小为原来的一半，图像尺缩小的速度非常快，因此常见高斯金字塔的层数为3到6层。OpenCV 4中提供了pyrDown()函数专门用于图像的下采样计算，便于构建图像的高斯金字塔，该函数的函数原型在代码清单3-51中给出。
参数二：dst，输出下采样后的图像，图像尺寸可以指定，但是数据类型和通道数与src相同，
图像金字塔是对一张输入图像先模糊再下采样为原来宽高的1/2（宽高缩小一半）、不断重复模糊与下采样的过程就得到了不同分辨率的输出图像，叠加在一起就形成了图像金字塔、所以图像金字塔是图像的空间多分辨率存在形式。这里的模糊是指高斯模糊，所以这个方式生成的金字塔图像又称为高斯金字塔图像。高斯金字塔图像有两个基本操作 reduce 是从原图生成高斯金字塔图像、生成一系列低分辨图像，OpenCV对应的相关API为：
前言： 这篇文章主要使用特征金字塔网络来融合多层特征，改进了CNN特征提取。作者也在流行的Fast&Faster R-CNN上进行了实验，在COCO数据集上测试的结果现在排名第一，其中隐含的说明了其在小目标检测上取得了很大的进步。其实整体思想比较简单，但是实验部分非常详细和充分。 摘要： 特征金字塔是多尺度目标检测系统中的一个基本组成部分。近年来深度学习目标检测特意回避金字塔特征表示，因为特征金字塔在计算量和内存上很昂贵。所以作者利用了深度卷积神经网络固有的多尺度、多层级的金字塔结构去构建特征金字塔网络。
当前最先进的目标检测卷积结构是手动设计的。在这里，我们的目标是学习一个更好的特征金字塔网络结构的目标检测。
前言 行业项目设计提案的难点 设计提案是设计稿思维和过程的呈现。在行业的项目中，我们常常通过设计提案，在签单前助力项目达成，或者在签单后说服客户接受设计稿。然而，根据笔者和同组伙伴的经验，输出行业项目设计提案并不容易。它的难点包括： 如何应对这些难点？ 采用结构化思维组织提案，可以有效的提高输出效率、稳定输出质量。那么何种结构化思维能应用在设计提案场景中呢？ 金字塔原则是一种层次性、结构化的思考和沟通技巧，旨在帮助使用者高效的编写简明扼要的报告。这种技巧由芭芭拉·明托提出，经过多年的发展传播，常出现在各大
尺度，顾名思义就是说图像的尺寸和分辨率。在我们进行图像处理的时候，会经常对源图像的尺寸进行放大或者缩小的变换，进而转换为我们指定尺寸的目标图像。在对图像进行放大和缩小的变换的这个过程，我们称为尺度调整。
为解决目标实例尺度变化带来的问题，特征金字塔广泛用在一阶段目标检测器(比如，DSSD，RetinaNet，RefineDet)和两阶段目标检测器(比如Mask R-CNN， DetNet)。尽管这些使用特征金子塔的目标检测器具有很好的结果，但是由于仅仅根据固有的多尺度(为目标分类任务而设计的骨干的金字塔结构)。最新的，在这个工作中，作者提出了一个方法称为多级金字塔网络(Multi-Level Feature Pyramid Network, MLFPN)来构建检测不同尺度目标更有效的金子塔。
Feature pyramids are a basic component in recognition systems for detecting objects at different scales. But recent deep learning object detectors have avoided pyramid representations, in part because they are compute and memory intensive. In this paper , we exploit the inherent multi-scale, pyramidal hierarchy of deep convolutional networks to construct feature pyramids with marginal extra cost. A topdown architecture with lateral connections is developed for building high-level semantic feature maps at all scales. This architecture, called a Feature Pyramid Network (FPN), shows significant improvement as a generic feature extractor in several applications. Using FPN in a basic Faster R-CNN system, our method achieves state-of-the-art singlemodel results on the COCO detection benchmark without bells and whistles, surpassing all existing single-model entries including those from the COCO 2016 challenge winners. In addition, our method can run at 6 FPS on a GPU and thus is a practical and accurate solution to multi-scale object detection. Code will be made publicly available.
为了检测到变化尺寸的目标，基于特征金字塔的检测器，在不同特征层之间，基于在k特征图上的决策，例如下图(a)所示，基线检测器使用在特征层 上的特征图 。
论文题目：Feature Pyramid Networks for Object Detection
特征金字塔是不同尺度目标识别系统的基本组成部分。但最近的深度学习对象检测器已经避免了金字塔表示，部分原因是它们需要大量的计算和内存。本文利用深卷积网络固有的多尺度金字塔结构构造了具有边际额外成本的特征金字塔。提出了一种具有横向连接的自顶向下体系结构，用于在所有尺度上构建高级语义特征图。该体系结构称为特征金字塔网络(FPN)，作为一种通用的特征提取器，它在几个应用程序中得到了显著的改进。在一个基本的Fasater R-CNN系统中使用FPN，我们的方法在COCO检测基准上实现了最先进的单模型结果，没有任何附加条件，超过了所有现有的单模型条目，包括来自COCO 2016挑战赛冠军的条目。此外，我们的方法可以在GPU上以每秒6帧的速度运行，因此是一种实用而准确的多尺度目标检测解决方案。
深度残差金字塔网络是CVPR2017年的一篇文章，由韩国科学技术院的Dongyoon Han, Jiwhan Kim发表，改善了ResNet。其改用加法金字塔来逐步增加维度，还用了零填充直连的恒等映射，网络更宽，准确度更高，超过了DenseNet，泛化能力更强。论文原文见附录。
特征金字塔网络具有处理不同物体尺度变化的能力，因此被广泛应用到one-stage目标检测网络（如DSSD，RetinaNet，RefineDet）和two-stage 目标检测器（如Mask R-CNN，DetNet）中并取得了很好的性能提升。
目前的卷积神经网络普遍使用3×3的卷积神经网络，通过堆叠3×3的卷积核和下采样层，会在减少图像的大小的同时增加感受野，使用小尺度的卷积核存在两个问题：
一个非常经典的案例：用go语言来实现空心金字塔的输出 打印矩形 打印半个金字塔 打印整个金字塔 金字塔镂空 package main import "fmt" // 1. 打印矩形 /* *** *** *** */ // 2. 打印半个金字塔 /* * ** *** */ // 3. 打印金字塔 /* * 1层1个 规律：2 * 层数 - 1 空格2:总层数-当前层数i *** 2个3个 ****
这是一篇非常漫长并且艰深的文章的节选（点击文末阅读原文查看全文），它解释了为什么我们需要测试，以及如何对软件进行测试的问题。好消息是，这篇文章提供的信息经得起时间推敲，无论你在构建什么样的软件都能适用。不管你是工作在一个微服务项目上，还是 IoT 设备上，抑或是手机应用或者网页应用，这篇文章提供的观点应该都有章可寻。
翻译 | 林椿眄 出品 | 人工智能头条（公众号ID：AI_Thinker） 近日，北京理工大学、旷视科技、北京大学联手，发表了一篇名为 Pyramid Attention Network for Semantic Segmentation 的论文。在这篇论文中，四位研究者提出了一种金字塔注意力网络 (Pyramid Attention Network，PAN)，利用图像全局的上下文信息来解决语义分割问题。 与大多数现有研究利用复杂的扩张卷积 (dilated convolution) 并人为地设计解码器网
近日，北京理工大学、旷视科技、北京大学联手，发表了一篇名为 Pyramid Attention Network for Semantic Segmentation 的论文。在这篇论文中，四位研究者提出了一种金字塔注意力网络 (Pyramid Attention Network，PAN)，利用图像全局的上下文信息来解决语义分割问题。
（a）使用图像金字塔构建特征金字塔网络：每个图像尺度上的特征都是独立计算的，速度缓慢。
经典的two stage检测网络有：faster RCNN和SSD，它们用于做bbox regression的模型各有不同，faster RCNN是VGG，feature map经过不断地下采样，最后的feature map送入RPN层，这样不断地下采样使得小检测框的像素非常小，无法进行训练的到，得到很好的结果。而SSD则是分别对不同尺寸的feature map进行bbox regression，这就导致尺寸较大的feature map没有高级语义，对于全局语义没有很好地提取，无法判断出物体的位置和大小，同样对小检测框没有很好的检测效果。FPN则解决了这个问题。
之前发表的一系列博客主要以技术原理及应用为主，很少发布“方法论”相关的内容；在日常工作中有一些好的方法论的加持，可以让工作内容更顺利的推进，达到事半功倍的效果。而日常工作中针对不同的工作任务所使用的方法论也有所不同；接下来将总结下工作中常用的方法论以及具体的使用场景。
像素点在二维图像中的运动被定义为光流，其在相邻帧图像中存在有位移运动，即存在像素的光流。我们的目的是计算出光流，计算要满足几个前提假设：1.灰度不变性：同一个像素的灰度值在各个图像中是固定不变的；2. 相邻帧之前像素的位移不能太大；3.运动像素周围的像素具有同样的运动规律。
作者：Golnaz Ghaisi、Tsung-Yi Lin、Ruoming Pang、Quoc V. Le
论文：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
对图像进行缩放的最简单方法就是调用OpenCV中resize函数。resize函数可以将源图像精确地转化为指定尺寸的目标图像。要缩小图像，一般推荐使用CV_INETR_AREA来插值；若要放大图像，推荐使用CV_INTER_LINEAR。
之前的深度卷积神经网络（CNNs）都需要输入的图像尺寸固定（比如224×224）。这种人为的需要导致面对任意尺寸和比例的图像或子图像时降低识别的精度。为什么会降低精度呢？由于输入的图像大小固定，即数据维度固定，但是现实样本中往往很多样本是大小不一的，为了产生固定输入大小的样本，有两种主要的预处理措施：
目标检测是计算机视觉领域最基本但最具挑战性的研究任务之一，其目的是为输入图像中的每个目标预测唯一的边界框，该边界框不仅包含位置，还包含类别信息。在过去几年中，这项任务已被广泛开发并应用于广泛的潜在应用，例如自动驾驶和计算机辅助诊断。
Hourglass 网络以 feed-forward 方式学习每个 scale 的信息.
SSD算法证明了多层分支对于目标检测的有效性，在此之前two-stage的目标检测方法已经优化改进过很多代，但是一直没有加入多尺度的方法。终于在FPN中，two-stage引入了多尺度，并且在SSD多层分支方法的基础上进一步改进，提出了特征金字塔网络。FPN的论文是《Feature Pyramid Networks for Object Detection》。
基于局部拉普拉斯金字塔的Edge-aware滤波器是在2011年由Adobe 公司的研究员Sylvain Paris（大神级人物，写了很多文章）提出的，我在4年前曾经参考有关代码实现过这个算法，但是速度也是非常慢的，所以当时也没有继续做深入的研究，前段时间做另外一个算法时仔细的研究了下高斯和拉普拉斯金子塔的优化，因此又抽时间仔细的分析了算法的论文和代码，由于论文的理论部分还有一些我没有想清楚，因此在这里我只对研读过程中涉及的代码方面的优化做个解读。
目标检测系列： 目标检测(object detection)系列（一） R-CNN：CNN目标检测的开山之作 目标检测(object detection)系列（二） SPP-Net：让卷积计算可以共享 目标检测(object detection)系列（三） Fast R-CNN：end-to-end的愉快训练 目标检测(object detection)系列（四） Faster R-CNN：有RPN的Fast R-CNN 目标检测(object detection)系列（五） YOLO：目标检测的另一种打开方式 目标检测(object detection)系列（六） SSD：兼顾效率和准确性 目标检测(object detection)系列（七） R-FCN：位置敏感的Faster R-CNN 目标检测(object detection)系列（八） YOLOv2：更好，更快，更强 目标检测(object detection)系列（九） YOLOv3：取百家所长成一家之言 目标检测(object detection)系列（十） FPN：用特征金字塔引入多尺度 目标检测(object detection)系列（十一） RetinaNet：one-stage检测器巅峰之作 目标检测(object detection)系列（十二） CornerNet：anchor free的开端 目标检测(object detection)系列（十三） CenterNet：no Anchor，no NMS 目标检测(object detection)系列（十四）FCOS：用图像分割处理目标检测
在卷积神经网络的近期发展中，根据其丰富的层级特征和端到端的可训练框架，像素级语义分割方面有了可观的进步。但是在编程高维度代表的过程中，原本像素级的环境背景中的空间分辨率会降低。如图 1 显示，FCN 基线无法在细节部分做出精准预测。第二排图片中，在牛旁边的羊被识别到错误分类之中；以及第一排图片中自行车的把手没有被识别成功。对此我们需要考虑两个具有挑战性的问题。
在Three.js中，一个可见的物体是由几何体和材料构成的。在这个教程中，我们将学习如何从头开始创建新的网格几何体，研究Three.js为处理几何对象和材质所提供的相关支持。
无监督域适配在各种计算机视觉任务重很关键，比如目标检测、实例分割和语义分割。目的是缓解由于域漂移导致的性能下降问题。大多数之前的方法采用对抗学习依赖源域和目标域之间的单模式分布，导致在多种场景中的结果并不理想。为此，在本文中，我们设计了一个新的空口岸注意力金字塔网络来进行无监督域适配。特别的，我们首先构建了空间金字塔表示来获得目标在不同尺度的内容信息。以任务指定的信息为引导，在每个尺度上，我们组合了密集的全局结构表示和局部纹理模式，有效的使用了空间注意力截止。采用这种方式，网络被强迫关注内容信息由区别力的地方来进行域适配。我们在各种由挑战性的数据集上进行了昂贵的实验，对目标检测、实例分割和语义分割进行了域适配，这证明了我们的方法比最佳的方法有了很大的提升。
摘要：小目标检测仍然是一个尚未解决的挑战，因为很难仅提取几个像素大小的小目标信息。尽管在特征金字塔网络中进行尺度级别的相应检测可以缓解此问题，但各种尺度的特征耦合仍然会损害小目标检测的性能。本文提出了扩展特征金字塔网络（EFPN，extended feature pyramid network），它具有专门用于小目标检测的超高分辨率金字塔层。具体来说，其设计了一个模块，称为特征纹理迁移（FTT，feature texture transfer），该模块用于超分辨率特征并同时提取可信的区域细节。此外，还设计了前景-背景之间平衡（foreground-background-balanced）的损失函数来减轻前景和背景的面积不平衡问题。在实验中，所提出的EFPN在计算和存储上都是高效的，并且在清华-腾讯的小型交通标志数据集Tsinghua-Tencent 100K和微软小型常规目标检测数据集MS COCO上产生了最好的结果。
特征金字塔网络(FPN)已成为目标检测中提取多尺度特征的有效框架。然而，目前FPN-based的方法大多存在Channel Reduction的固有缺陷，导致语义信息的丢失。而融合后的各种特征图可能会造成严重的混叠效果。
在本文中，我们将探讨如何在 Python 中使用 Plotly 创建人口金字塔。Plotly是一个强大的可视化库，允许我们在Python中创建交互式和动态绘图。
论文: Scale-Equalizing Pyramid Convolution for Object Detection
图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效且概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低
RCNN首次将卷积操作引入检测领域用于提取特征，然而现有的深度卷积网络需要输入固定尺寸的图片，这个需求可能会导致对于任意scale/size的图片的识别精确度下降。【深度卷积神经网络由卷积层和全连接层组成，卷积层对于任意大小的图片都可以进行卷积运算提取特征，输出任意大小的特征映射，而全连接层由于本身的性质需要输入固定大小的特征尺度，所以固定尺寸的需求来自于FC层，即使对输入图片进行裁剪、扭曲等变换，调整到统一的size，也会导致原图有不同程度失真、识别精度受到影响】SPPNet提出了**“空间金字塔池化”**消除这种需求，不管图像大小是多大，在整张图片上只需要计算一次，就可以得到整幅图像的特征图，经过池化都会输出一个固定长度的表征。
沿着RCNN的思路，我们继续探索目标检测的痛点，其中RCNN使用CNN作为特征提取器，首次使得目标检测跨入深度学习的阶段。但是RCNN对于每一个区域候选都需要首先将图片放缩到固定的尺寸（224*224），然后为每个区域候选提取CNN特征。容易看出这里面存在的一些性能瓶颈：
Anchor-free检测方法分为anchor-point类别和key-point类别两种，相对于key-point类别，anchor-point类别有以下有点：1) 更简单的网络结构 2) 更快的训练和推理速度 3) 更好地利用特征金字塔 4) 更灵活的特征金字塔选择，但anchor-point类别的准确率一般比key-point类别要低，所以论文着力于研究阻碍anchor-point类别准确率的因素，提出了SAPD(Soft Anchor-Point Detecto)，主要有以下两个亮点：
代码地址：https://github.com/ZHANGDONG-NJUST/FPT
目标检测是计算机视觉中的一个基本问题，旨在检测和定位图像或视频中的目标。随着深度学习的出现，目标检测发生了范式转变，基于深度学习的方法已成为主流方法。正在进行的研究导致了许多新方法的发展，表明了该领域进一Stride步的潜力。
作者提到，在2017年以前，目标检测中的一个基本挑战就是目标检测模型在处理目标多尺度变化问题的不足，因为在当时很多网络都使用了利用单个高层特征，(比如说Faster R-CNN利用下采样四倍的卷积层——Conv4，进行后续的物体的分类和bounding box的回归)，但是这样做有一个明显的缺陷，即小物体本身具有的像素信息较少，在下采样的过程中极易被丢失，而之前的图像金字塔结构虽然也能解决多尺度问题，但计算量大，内存消耗大，因此作者提出了特征金字塔结构，能在增加极小的计算量的情况下，处理好物体检测中的多尺度变化问题。
特征金字塔在需要多尺度特征的图像理解任务中已被证明是强大的。多尺度特征学习的最新方法侧重于使用具有固定拓扑结构的神经网络跨空间和尺度执行特征交互。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
