语义分割

RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation CVPR2017 https://github.com/guosheng/refinenet

本文还是使用 cascaded 思想来做语义分割！但是引入了 residual connections with identity mappings 、 提出一个 chained residual pooling

1 Introduction 直接将 CNN 网络模型如 VGG 、Residual Net 用于 语义分割存在的问题就是 CNN 卷积池化得到的特征图是降采样32倍的，很多细节丢失，这对于分割问题来说得到的结果太粗糙了。 解决方法之一就是通过学习反卷积滤波器来 放大特征图 up-sampling operation，这个方法因为不能恢复 low-level visual features 所以导致分割的精度不高。 文献【6】通过引入 atrous (or dilated) convolutions 通过 larger receptive fields 避免降采样。这个方法尽快很成功，但是仍然有两个缺点：1）因为卷积核比较大，卷积的区域较大，计算量也就比较大。再就是 a large number of high-dimensional and high-resolution feature maps 导致需要 较大的 GPU 内存 ，尤其在训练时，这就导致输出结果的尺寸是输入的 1/8 ； 2） dilated convolutions 引入了 coarse sub-sampling of features，这可能导致重要信息的丢失。 文献【36】【22】使用了 intermediate layers 来生成高分辨率分割结果。

这里我们认为 features from all levels 对于语义分割都是有帮助的。这里我们提出了一个框架将所有的特征融合起来用于语义分割

ResNet 、Dilated convolutions 、 RefineNet

这里写图片描述

RefineNet 模块示意图：

这里写图片描述

multi-path 输入 经过 Residual convolution unit 、Multi-resolution fusion、Chained residual pooling、Output convolutions 另一个 residual convolution unit (RCU)

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述