膨胀卷积--Multi-scale context aggregation by dilated convolutions

Multi-scale context aggregation by dilated convolutions ICLR 2016

https://arxiv.org/abs/1511.07122

Code: https://github.com/fyu/dilation https://github.com/bordesf/dilation

针对语义分割问题 semantic segmentation，这里使用 dilated convolutions 得到multi-scale context 信息来提升分割效果。

dilated convolutions：

首先来看看膨胀卷积 dilated convolutions ，

这里写图片描述

图（a）:就是一个常规的 3*3 卷积，1-dilated convolution 得到 F1， F1的每个位置的 receptive field 是 3×3 图（b）: 在 F1的基础上，进行一个2-dilated convolution，注意它的点乘位置，不是相邻的3*3，得到了 F2， F2的每个位置的 receptive field 是 7×7 图（c）:在 F2的基础上，进行一个 4-dilated convolution，得到了 F3， F3的每个位置的 receptive field 是 15×15

注意这里 dilated convolution 的参数数量是相同的，都是 3*3=9

Multi-scale context aggregation：

这里写图片描述

The basic context module has 7 layers that apply 3×3 convolutions with different dilation factors. The dilations are 1, 1, 2, 4, 8, 16, and 1。 这里主要通过不同的 different dilation factors 得到 multi-scale context。

注意这里的 context module 参数初始化是有讲究的。

FRONT END：

这里我们使用 VGG-16 network用于 dense prediction and removed the last two pooling and striding layers，后面应该是加上 context module

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述