基于深度学习的高分辨率遥感图像目标检测技术目前的研究现状

狼啸风云

修改于 2022-09-04 21:37:20

16K0

修改于 2022-09-04 21:37:20

一、概述

高分辨率遥感目标检测目前的研究成果主要分为两类，特定目标检测和一般目标检测。特定目标检测主要包括城市[1]、机场[2]、建筑[3]、飞机[4]、舰船[5]-[6]、车辆[7]-[8]、云[9]、海冰[10]等遥感图像中比较重要和有价值的目标。一般目标检测研究的问题主要是目标检测中面临的难题，主要面临的问题主要有：类不平衡[11]、复杂背景[12]、目标的尺度变化[13]、特殊视角[14]-[16]、小目标[17]-[18]等问题。下面分别的一般目标检测和特定目标检测进行介绍(特定目标检测当然还包含其他许多类，这里我们不能一一列出。不少文献还提出了数据集，这里我们只介绍方法。

二、通用目标检测方法

1、类不平衡问题

类不平衡在自然图像和遥感图像中都是普遍存在的问题，主要是指在提取proposal的时候大量的proposal为背景在训练的时候会主导梯度下降造成训练器的性能下降，针对类不平衡问题在自然图像的目标检测中提出了许多方法，比如focal loss、GHM、OHME等方法。

Random Access Memories: A New Paradigm for Target Detection in High Resolution Aerial Remote Sensing Images.

作者提出了一种小目标先验条件下高分辨率航空遥感图像目标检测的新方法。以往的遥感目标检测方法将检测定义为检测模型的学习+类标签和框坐标的推理。作者贝叶斯的观点出发，在推理阶段，通过训练和观察，自适应地更新检测模型，使其后验值最大化。称为“RAM”。在该范式中，“记忆”可以理解为从训练数据中学习到的任何模型分布，“随机访问”是指在检测阶段访问记忆并随机调整模型，以获得对任何不可见的测试数据分布更好的适应性。

2、复杂背景

复杂背景指的是相对于自然图像遥感图像由于视野更广，而在自然图像中背景一般比较单一。比如自然图像中传感器得到的车辆(比如pascal voc和coco数据集)背景一般是街道、房屋、天空，而在遥感图像的背景比较多样化，比如城市、森林、草原、沙漠都可能有车辆。因此复杂背景下的目标检测是一个很重要的问题。

Multiscale Visual Attention Networks for Object Detection in VHR Remote Sensing Images.

作者提出了一种端到端多尺度视觉注意网络(MS-VANs)方法。使用跳跃连接的编解码器模型从全尺寸图像中提取多尺度特征。对于每个尺度的特征图，我们学习了一个视觉注意网络，然后是一个分类分支和一个回归分支，突出目标区域的特征，抑制背景的杂乱。用一个混合损失函数训练MS-VANs模型，该函数是注意损失、分类损失和回归损失的加权和。

3、目标的尺度变化

多尺度变化是指同一类目标的大小之间发生变化，而小目标问题指的是目标相对于整幅图像的大小，在自然图像中多尺度方法也是个热点问题。

Hierarchical and Robust Convolutional Neural Network for Very High-Resolution Remote Sensing Object Detection.

本文提出了一种分层鲁棒CNN。首先，提取多尺度卷积特征来表示层次空间语义信息。其次，将多个全连通的层特征叠加在一起，提高旋转和缩放的鲁棒性。

4、特殊视角

在自然图像中目标多是水平的，而在遥感图像由于星载和机载图像传感器只能俯拍，因此相对于自然图像视角比较特殊。因此俯视下的目标检测和目标的旋转不变性是很重要的问题。

Learning Rotation-Invariant Convolutional Neural Networks for Object Detection in VHR Optical Remote Sensing Images.

本文提出了一种新颖有效的学习旋转不变CNN (RICNN)模型的方法，通过在现有CNN体系结构的基础上引入并学习新的旋转不变层来提高目标检测的性能。有别于传统的CNN模型的训练，只有优化了多项逻辑回归客观，RICNN模型训练通过优化一个新的目标函数通过正则化约束，明确执行训练样本的特征表示的旋转映射前后相互接近，因此实现旋转不变性。为了便于训练，首先对旋转不变层进行训练，然后对整个RICNN网络进行域特定的微调，以进一步提高性能。

Rotation-Insensitive and Context-Augmented Object Detection in Remote Sensing Images.

提出了一种基于深度学习的遥感图像目标检测框架，包括区域建议网络(RPN)和遥感图像局部上下文特征融合网络。具体地说，RPN在传统的多尺度、多展弦比锚的基础上，还增加了多角度锚，从而可以处理地理空间对象的多角度、多尺度特征。为了解决外观模糊问题，我们提出了一种双通道特征融合网络，它可以沿着两个独立的路径学习局部和上下文属性。为了形成一个强大的联合表示，这两种特征在最后的处理层中进行了组合。

ORSIm Detector: A Novel Object Detection Framework in Optical Remote Sensing Imagery Using Spatial-Frequency Channel Features.

本文提出了一种新的目标检测框架，称为光学遥感图像检测器(ORSIm检测器)，集成了多种通道特征提取、特征学习、快速图像金字塔匹配和增强策略。ORSIm检测器采用了一种新颖的空频信道特征(SFCF)，综合考虑了频域内构造的旋转不变信道特征和原始的空间信道特征(如颜色信道和梯度幅度)。

5、小目标

由于遥感图像一般视野比较大，因此目标相对于图像的尺寸更小，小目标和微小目标是一个重点也是一个难点问题。

Accurate Object Localization in Remote Sensing Images Based on Convolutional Neural Networks.

针对小目标定位性能比较差，作者提出了一种基于无监督分数的边界盒回归(USB-BBR)算法，并结合非最大抑制算法对检测到的目标区域的边界盒进行优化。

R²-CNN: Fast Tiny Object Detection in Large-Scale Remote Sensing Images.

针对遥感图像大尺度大场景下的微小目标，作者提出了Tiny-Net的目标检测方法。可以在29.4秒内在卷积神经网络(R2-CNN)中处理GF-1图像，它由主干Tiny-Net、中间全局注意块、最终分类器和检测器组成。Tiny-Net是一种轻量级的残差结构，它支持从输入中快速而强大地提取特性。全局注意块建立在Tiny-Net上，以抑制误报。然后利用分类器来预测每个patch中目标的存在，如果有合适的检测器来精确定位目标。通过端到端训练，使分类器和检测器相互增强，进一步加快了处理速度，避免了在Titian X上只使用单线程。

三、特定目标检测

1、城市

Urban Area Detection in Very High Resolution Remote Sensing Images Using Deep Convolutional Neural Networks.

本文提出了一种基于DCNNs的城市区域检测方法。该方法主要包括三个步骤:(1)基于预先训练的DCNNs提取的深度特征，得到可视化字典;(二)城市词汇从标注的图像中习得;(iii)基于最近的字典词准则，在新的图像中检测城市区域。

2、机场

Airport Extraction via Complementary Saliency Analysis and Saliency-Oriented Active Contour Model.

本文构建了一个高效的RSIs机场提取框架。在第一步中，提出了一种将面向视觉的显著性和面向知识的显著性相结合的机场位置估计的双向互补显著性分析(CSA)方案。在第二步中，构造了一个用于机场轮廓跟踪的显著性主动轮廓模型(SOACM)，在基于水平集的能量函数中引入了显著性方向项。在CSA获得的显著性特征表示的指导下，SOACM可以获得定义良好、精度较高的目标轮廓。

3、建筑

Building Detection from Satellite Imagery using Ensemble of Size-Specific Detectors.

提出了一个简单但有效的多任务模型。该模型学习多个探测器，每个探测器都专门用于特定大小的建筑物。此外，该模型通过同时训练道路提取任务和建筑物检测任务，隐式地利用上下文信息。道路提取器是通过从另一个预先训练过的CNN中提取知识来训练的，在它的训练中不需要道路的标签。

4、飞机

Weakly Supervised Learning Based on Coupled Convolutional Neural Networks for Aircraft Detection.

本文提出了一种基于耦合卷积神经网络(CNNs)的飞机检测弱监督学习框架，可以同时解决这些问题。首先，开发一种基于cnn的方法来提取对象的高级特征和层次特征表示。然后利用迭代弱监督学习框架，从原始图像中自动挖掘和扩充训练数据集。然后提出了一种耦合CNN方法，将候选区域建议网络和定位网络相结合，提取建议并同时定位飞机，即使在大规模的VHR图像中，这种方法也更高效、准确。

5、舰船

Vessel detection and classification from spaceborne optical images: A literature survey.

本文综述了从光学卫星图像中对舰船进行探测和分类的现有文献。尽管合成孔径雷达(SAR)仍然是海上监测的主导技术，但基于光学卫星数据的研究数量正在迅速增长。从1978年到2017年3月，一共分析了119篇关于光学舰船检测和分类的论文。我们首先介绍了所有现有的用于船只探测的传感器系统，但随后只关注光学成像卫星。本文阐述了光学卫星特性的时间发展，并将其与舰船探测出版物的数量和频率联系起来。在详细介绍了基于光学图像的舰船检测与分类方法的基础上，结合已实现的检测精度，提出了将光学数据与其他数据源融合的可能性。研究表明，影响舰船探测精度最常见的因素是：影响海面特征的不同天气条件、云量和霾量、太阳角度、成像传感器特征。所有这些因素在选择最合适的方法时带来很大的差异；有些挑战仍未得到解决。为了获得更高的相关性和更广泛的应用，本文建议用于检测和分类的算法应该支持多种目标和气象条件，理想情况下还应该支持多种光学卫星传感器。至少，它们应该在不同的条件下对许多图像进行测试。这在现有的文献中并不常见。我们还注意到，许多作者忽略了适当的性能量化，这对于实际评估和对现有算法的数值比较非常关键。综上所述，星载光学图像船舶监控是一个热门的研究课题，由于卫星数据量大，其中大部分数据是免费开放的，因此在不久的将来具有很大的应用潜力。

HSF-Net: Multiscale Deep Feature Embedding for Ship Detection in Optical Remote Sensing Imagery.

本文提出了一种新的基于深度特征的舰船遥感图像检测方法。该方法利用深度卷积神经网络生成的特征图，利用区域建议网络生成候选船舶。为了有效地检测不同尺度的舰船，提出了一种分层选择滤波层，将不同尺度的特征映射到同一尺度空间。提出的方法是一种端到端网络，可以同时检测几十个像素到数千个像素的近岸和近岸船只。

6、车辆

R^3-Net: A Deep Network for Multioriented Vehicle Detection in Aerial Images and Videos.

本文提出了一种新的深度网络——可旋转区域残差网络(R3-Net)，用于检测航空图像和视频中的多目标车辆。更特别的是，利用R3-Net在半坐标系中生成可旋转的矩形目标盒。首先，使用可旋转区域建议网络(R-RPN)从深度卷积神经网络生成的特征图中生成可旋转的兴趣区域(R-RoIs)。在此，提出了一种批量平均可旋转锚定策略来初始化候选车辆的形状。接下来，提出了一个可旋转检测网络(R-DN)来对r - roi进行最终的分类和回归。在R-DN中，设计了一种新的可旋转位置敏感池，在对r - roi特征图进行降采样的同时，同时保持位置和方向信息。在最终的模型中，R-RPN和R-DN可以联合训练。

Object-based detection of vehicles using combined optical and elevation data.

本文提出了一个工作流程，利用光学和高程数据检测车辆在遥感城市数据。该工作流包括三个连续的阶段:候选识别、分类和单个车辆提取。与以前的大多数方法不同，这两个数据源的融合在所有阶段都得到了强烈的需求。第一个阶段利用的是大多数人造物体都是矩形的事实，第二个和第三个阶段利用结合特定特征的机器学习技术。这些阶段的设计是为了处理多个传感器的输入，这导致了一个显著的改进。

7、云

Cloud Detection in Remote Sensing Images Based on Multiscale Features-Convolutional Neural Network.

本文提出了一种基于多尺度特征的卷积神经网络(MF-CNN)同时检测遥感图像薄云、厚云和非云像素的方法。利用不同云层覆盖水平的landsat8卫星图像验证了提出的MF-CNN模型的有效性。我们首先对landsat8图像的可见光、近红外、短波、卷云和热红外波段进行叠加，得到综合的光谱信息。然后使用TheMF-CNN模型学习输入图像的多尺度全局特征。将特征学习过程中获取的高层语义信息与低层空间信息相结合，将图像划分为厚、薄、非云区域。在定性和定量两方面，将所提出的模型与各种常用的云检测方法进行了比较。

8、海冰

Sea Ice Sensing From GNSS-R Data Using Convolutional Neural Networks.

设计了一种基于分类的海冰检测CNN和基于回归的SIC估计CNN。这里以DDM图像作为输入，将Nimbus-7扫描多通道微波辐射计和国防气象卫星计划专用传感器微波成像仪的SIC数据修改为目标输出。在实验阶段，输入全尺寸DDM数据(128×20像素)得到的CNN输出结果比现有的基于nnn的方法精度更高。此外，还对进一步处理输入数据(40×20像素，每张图像中位置固定)的CNNs和NNs进行了评估，提高了两种网络的性能。

四、参考文献

Tian, T., et al. (2018). Urban Area Detection in Very High Resolution Remote Sensing Images Using Deep Convolutional Neural Networks.
Zhang, Q., et al. (2018). "Airport Extraction via Complementary Saliency Analysis and Saliency-Oriented Active Contour Model." IEEE Geoscience and Remote Sensing Letters 15(7): 1085-1089.
Hamaguchi, R. and S. Hikosaka (2018). Building Detection from Satellite Imagery using Ensemble of Size-Specific Detectors. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW).
Zhang, F., et al. (2016). "Weakly Supervised Learning Based on Coupled Convolutional Neural Networks for Aircraft Detection." IEEE Transactions on Geoscience and Remote Sensing 54(9): 5553-5563.
Kanjir, U., et al. (2018). Vessel detection and classification from spaceborne optical images: A literature survey.
Li, Q., et al. (2018). "HSF-Net: Multiscale Deep Feature Embedding for Ship Detection in Optical Remote Sensing Imagery." IEEE Transactions on Geoscience and Remote Sensing 56(12): 7147-7161.
Li, Q., et al. (2019). "R3-Net: A Deep Network for Multioriented Vehicle Detection in Aerial Images and Videos." IEEE Transactions on Geoscience and Remote Sensing 57(7): 5028-5042.
Schilling, H., et al. (2017). Object-based detection of vehicles using combined optical and elevation data.
Shao, Z., et al. (2019). "Cloud Detection in Remote Sensing Images Based on Multiscale Features-Convolutional Neural Network." IEEE Transactions on Geoscience and Remote Sensing: 1-15.
Yan, Q. and W. Huang (2018). "Sea Ice Sensing From GNSS-R Data Using Convolutional Neural Networks." IEEE Geoscience and Remote Sensing Letters 15(10): 1510-1514.
Zou, Z. and Z. Shi (2018). "Random Access Memories: A New Paradigm for Target Detection in High Resolution Aerial Remote Sensing Images." IEEE Transactions on Image Processing 27(3): 1100-1111.
Wang, C., et al. (2018). Multiscale Visual Attention Networks for Object Detection in VHR Remote Sensing Images.
Zhang, Y., et al. (2019). Hierarchical and Robust Convolutional Neural Network for Very High-Resolution Remote Sensing Object Detection.
Cheng, G., et al. (2016). "Learning Rotation-Invariant Convolutional Neural Networks for Object Detection in VHR Optical Remote Sensing Images." IEEE Transactions on Geoscience and Remote Sensing 54(12): 7405-7415.
Li, K., et al. (2018). "Rotation-Insensitive and Context-Augmented Object Detection in Remote Sensing Images." IEEE Transactions on Geoscience and Remote Sensing 56(4): 2337-2348.
Wu, X., et al. (2019). "ORSIm Detector: A Novel Object Detection Framework in Optical Remote Sensing Imagery Using Spatial-Frequency Channel Features." IEEE Transactions on Geoscience and Remote Sensing 57(7): 5146-5158.
Long, Y., et al. (2017). "Accurate Object Localization in Remote Sensing Images Based on Convolutional Neural Networks." IEEE Transactions on Geoscience and Remote Sensing 55(5): 2486-2498.
Pang, J., et al. (2019). "R²-CNN: Fast Tiny Object Detection in Large-Scale Remote Sensing Images." IEEE Transactions on Geoscience and Remote Sensing: 1-13.