基于深度学习的多尺度多场景SAR图像舰船检测方法

本文主要介绍一个端到端的适应于多尺度多场景的SAR图像舰船检测方法。本项工作由赛博智能团队中的焦娇等提出，相关论文已于2018年初发表到IEEE ACCESS期刊上。

SAR图像中船会长什么样呢？

潜意识可能觉得是这样的：

或者是这样的：

舰船 | 视觉中国

差不多也要是这样的：

纸船 | 图行天下

但，SAR图像中的船其实是这样的：

SAR图像中的舰船 | SSDD数据集

在大场景的SAR图像中是这样的（图中红框）：

SAR图像中人工标注的舰船 | Sentinel-1

背景简介

近几年雷达技术飞速进步，SAR图像分辨率越来越高，利用国产SAR图像对海洋目标进行检测和识别已经成为SAR图像海洋应用的研究热点。本文的目的是从SAR图像的茫茫海面中自动检测舰船。

问：与其在如此难以理解的SAR图像中寻找舰船，为何不选择在更加容易理解的光学图像中寻找舰船？

答：只因SAR有一门绝技：成像不受光照、气候等因素影响，可以实现全天时、全天候对地监测。如若充分利用SAR图像的这些优势，即可对海洋进行全天时、全天候观测。

在深度学习应用于SAR图像舰船检测之前，大部分研究学者用阈值分割方法来进行SAR图像的舰船检测。由于舰船在SAR图像中相对于背景比较亮，可以通过设定亮度阈值将舰船检测出来。但是存在一个问题：如何选择合适阈值？在背景比较单一的海面上，可以通过人为设定合适的阈值将舰船检测出来，但在背景复杂的海岸边存在许多较亮的物体，该方法就会误报出很多虚警。此外，传统的SAR图像舰船检测算法不是一个端到端的网络，不能适应多尺度的舰船检测，并且检测速度慢。

近年来随着深度学习的快速发展，基于深度学习的目标检测算法在多种检测任务中都取得了斐然的成绩，用深度学习的方法进行SAR图像的舰船检测是未来的发展趋势。

基于深度学习的目标检测算法

在目标检测方面，深度学习代表了目前最先进的水平。接下来我们将简单介绍一下目前主流的深度学习检测方法的主要流程：

基于深度学习的目标检测网络

用卷积神经网络提取图片的特征。

用区域生成网络（RPN），生成可能有物体存在的预选框。

将预选框映射到感兴趣的特征图上，进一步提取特征。

用二阶段的检测网络（Detection Network），精修预选框，获得最终的检测结果。

这种目标检测的基本框架倾向使用CNN中某一层级的特征图作为分类和位置预测的依据，单一层级的特征图对应单尺度的特征，无法适用于多尺度的目标检测。

基于深度学习的多尺度多场景

SAR图像舰船检测方法

考虑到舰船本身尺寸差异和图像分辨率的不同，本文提出一个端到端的适应于多尺度多场景的SAR图像舰船检测方法，不仅可以解决在不同分辨率的SAR图像中舰船多尺度的问题，同时可以解决近岸舰船检测时虚警率过高的问题。检测网络是双阶段的，两个子网络共享卷积特征，一阶段RPN子网络提取多尺度的预选框，二阶段的检测子网络对一阶段得到的预选框进行精修获得最终的检测结果。

一阶段子网络

稠密连接的CNN结构

首先我们用卷积神经网络对SAR图像进行特征提取，不同的特征层具有不同的特点，浅层的特征图虽然具有较高的分辨率但是语义信息不够丰富，适应于小尺度的目标检测，深层的特征图虽然语义信息丰富但是分辨率低，小尺度的目标经过多次卷积之后，在深层的特征图保留下来的信息非常少，因此深层的特征图适应大尺度的舰船检测。为了设计出适应于多尺度的SAR图像舰船检测算法，我们将不同尺寸的特征图进行密集连接并融合（如下图），这样在每一个融合的特征图上都具备了多尺度的语义信息。

不同尺度的特征图进行融合

下图是采用稠密连接与没有采用稠密连接的检测结果对比，可以看出采用融合特征图之后，效果有明显提升。

采用稠密连接与没有采用稠密连接的检测结果对比

（a）ground truth （b）特征图没有进行融合的检测结果

（c）采用了融合的特征图的检测结果

多尺度RPN子网络

借助Faster R-CNN的思想，RPN子网络由一个用于分类一个用于回归的子网络组成，将RPN子网络应用于每一个融合的特征图提取预选框，这样可以覆盖不同尺度的目标。

RPN子网络

下图是在不同层应用RPN网络检测结果图对比，可以看出浅层的特征图适合检测小的舰船目标，高层的特征图适合检测大的舰船目标。

在不同层应用RPN网络检测结果图对比

（a）ground truth （b）-（e）将PRN网络分别映射到第2-5特征图的检测结果 （f）将RPN网络映射到多个融合的特征图的检测结果

自适应权重的损失函数

以往在RPN网络提取预选框的过程中，由于大部分预选框都是背景部分，正负样本差异大导致训练的分类网络不平衡，影响分类精度。这是因为一般的分类损失采用的是如图中蓝色曲线所示的交叉熵损失函数，无论是难分的样本还是易分的样本都贡献了较大的loss，大量易分的背景样本的存在导致网络的训练会偏向背景，导致近岸舰船检测的时候会出现大量虚警。为了解决这个问题，我们降低易分样本在loss函数中的权重，增加难分样本在loss函数中的权重，修改之后的loss函数如图中的曲线所示（除蓝色外），gamma为超参数，可以看到容易区分的样本损失值趋于0，损失值被降低。难分样本的损失值被提高趋于1。

带有权重的loss曲线

二阶段检测子网络

检测子网络由分类和回归网络组成。将一阶段RPN子网络生成的预选框映射到分辨率最高又结合了最多语义信息的特征图上后，用检测子网络对预选框进行精修生成最后的检测结果。

下图就是本文的网络结构图：

本文网络结构图

本文提出方法适合多尺度多场景的SAR图像的舰船检测，下面是效果图（图中红色是正确的检测结果，黄色是漏检，绿色是虚警。）

Faster-RCNN与本文方法检测结果对比

（a）Faster-RCNN（b）本文提出的方法

未来研究

本文提出的方法虽然相比之前的方法有了一些改进，但是对于近岸的靠的很近的舰船仍会被判定为同一个目标。在后续的研究工作中，需要进一步挖掘目标SAR图像的特点，将目标的特性与网络结构联系起来。

作者简介

焦娇，硕士，2016年由吉林大学保送至国科大。研究方向为基于深度学习的高分辨率SAR图像智能解译。

作者：焦 娇

编辑：卢宛萱

张 跃

↓查看原论文