卫星图像分割--Effective Use of Dilated Convolutions for Segmenting Small Object Instances

Effective Use of Dilated Convolutions for Segmenting Small Object Instances in Remote Sensing Imagery https://arxiv.org/abs/1709.00179

针对卫星图像中的小目标分割问题,本文从 dilated convolution 的有效使用给出了解决方法,主要是 先 increasing dilation factor,再 decreasing dilation factor

卫星图像分割和普通图像分割是有明显的差异性的,如下图所示:

卫星图像的特征有以下两点: 1)Size of objects 目标的尺寸很小 2)Layout of objects 目标的排列很密集

为了分割出这些密集的小目标,图像中一个很重要的信息就是 context 周边信息。文献【26】指出在CNN中 context 对于识别小目标的主要性。尽管降采样层对于增加感受野是有帮助的,但是他们忽视了另一个重要的因素:resolution。分辨率对于解决密集小目标分割是很重要的。但是降采样层会导致CNN网络中特征图尺寸越来越小,这些小的特征图导致小目标信息的丢失。即使通过其他一些补偿如:skip connections [1, 5] or hypercolumns [6, 21] 也难以解决问题。所以我们需要在增加感受野的同时保持特征图的分辨率。

dilated convolutions 是一个不错的方法,它可以保持分辨率不变,但是目前dilated convolutions 使用方法不能很好的分割 小目标, aggressively increasing dilation factors fails to aggregate local features of small objects. This means that whereas increasing dilation factors is important in terms of resolution and context, it can be detrimental to small objects. This is especially undesirable for remote sensing scenario.

We solve this problem by simply going against the tide—decreasingly dilated convolutions.

Overview of the proposed network architecture

网络包括三个模块:front-end module, local feature extraction (LFE) module and head module 3.2. Front-end module The front-end module is designed to extract features that cover large context, and thus the dilation factors are gradually increased 这个模块主要负责提取好的特征,主要使用递增的 dilation factors 来增加感受野来得到更大的 context there are two problems concerning sparsity in dilated kernels.

3.3. Local feature extraction module LFE module 主要是解决 front-end module 的问题。大量使用 dilated convolution 造成了两个问题 (1) spatial consistency between neighboring units becomes weak 相邻神经元直接的空间联系变弱 (2) local structure cannot be extracted in higher layer. 在后面的网络层提取不到图像中的局部结构信息

Problem on spatial inconsistency: We can see that information pyramids of two adjacent units do not overlap due to the sparse connections of the dilated kernels 从上图我们可以看出因为 dilated kernels 中的稀疏连接,导致相邻神经元没有联系 In the case of the dilation factor of 2, two neighboring units have non-overlap information pyramids, and as we increase the dilation factor, number of neighboring units which have non-overlap information pyramids grows larger. 当我们增加 dilation factor 时, 没有联系的神经元空隙会变大。

造成的后果就是分割结果有锯齿现象。 this causes spatial inconsistency between neighboring units and causes serious jaggy patterns in final output maps

Problem on local structure extraction: 上图的右边显示,网络前面层中间神经元的不联系导致网络后面层神经元之间不联系,局部结构信息的丢失 information pyramids do not overlap for two adjacent units in bottom most layer. All units in top most layer receive information from either of the two units, but not both. This means that all units in top most layer are unaware of local structure inside the two units.

Local feature extraction module: 解决的方法就是 先 increasing dilation factor,再 decreasing dilation factor

3.4. Post-processing 直接用二值化得到分割结果

4 Experiments Toyota City Dataset

Relative improvements

不同模型的效果对比

Massachusetts Buildings Dataset

Vaihingen Dataset

Massachusetts Buildings Dataset 分割结果图

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

深度学习训练数据不平衡问题,怎么解决?

当我们解决任何机器学习问题时,我们面临的最大问题之一是训练数据不平衡。不平衡数据的问题在于学术界对于相同的定义、含义和可能的解决方案存在分歧。我们将尝试用图像分...

1162
来自专栏AI科技评论

京东 AI Fashion-Challenge 挑战赛冠军方案详解(风格识别+时尚单品搜索)

AI 科技评论按:随着消费升级时代的来临,中国时尚消费市场正渐渐变得更加个性化、精致化和多样化,服饰的时尚风格对消费动机的影响愈渐加深,而随着 AI 技术的发展...

492
来自专栏专知

方法总结:教你处理机器学习中不平衡类问题

【导读】在构建机器学习模型的时候,你是否遇到过类样本不平衡问题?本文就讨论一下如何解决不同程度的类样本不平衡问题。本文整理了数据科学研究者Devin Soni发...

4586
来自专栏CSDN技术头条

WSDM 2017精选论文解读

人工智能和机器学习领域的学术论文汗牛充栋。每年的各大顶级会议、研讨班录用好几千篇论文,即便是亲临现场也很难追踪到所有的前沿信息。在时间精力有限的情况下,选择精读...

2446
来自专栏IT派

四种GPU的性能分析

导语:Pedro Gusmão 等人对于英伟达的四种 GPU 在四种不同深度学习框架下的性能进行了评测。本次评测共使用了 7 种用于图像识别的深度学习模型。 第...

3077
来自专栏晁涌耀的专栏

【SPA大赛】数据处理经验以及特征选择方法

第一次接触这样的比赛,前期花了很多时间来尝试错误的处理方式,特征筛选方式,靠了很多拍脑门决定的以及突发奇想的特征拿到了初赛66名。想一想真是全看运气。 不过,也...

2700
来自专栏云社区全球资讯抢先看

新的算法将一键修复损坏的数字图像

技术可以使用人工神经网络的力量来一次处理单个图像中的多种类型的图像噪点和图像模糊。

1492
来自专栏机器学习之旅

Kaggle&TianChi分类问题相关算法快速实现导读理论解析如何设计一个Stacking|Ensemble的模型?案例复现

17/12/30-update :很多朋友私密我想要代码,甚至利用金钱诱惑我,好吧,我沦陷了。因为原始代码涉及到公司的特征工程及一些利益trick,所以我构造了...

1022
来自专栏Python中文社区

Kaggle HousePrice 特征工程部分之统计检验

專 欄 ❈ 王勇,Python中文社区专栏作者,目前感兴趣项目为商业分析、Python、机器学习、Kaggle。17年项目管理,通信业干了11年项目经理管合同...

28410
来自专栏星流全栈

【两分钟论文#19】递归神经网络创作音乐和模仿莎士比亚写小说

1224

扫码关注云+社区