语义分割--Pixel Deconvolutional Networks

Pixel Deconvolutional Networks

https://arxiv.org/abs/1705.06820

本文首先指出在常规的 deconvolutional operation 会导致 所谓的 checkerboard 问题。这主要是因为 deconvolution operation 生成的特征图 相邻像素没有相关性导致的。为此我们提出了 pixel deconvolutional layer (PixelDCL) 来建立特征图相邻像素的相关性，从而解决这个 checkerboard 问题。

我们先来看看常规的 deconvolutional operation

这里写图片描述

对于一个 4 × 4 输入特征图，我们使用四个不同的卷积核得到四个 4 × 4中间特征图，然后我们将这四个中间特征图组合起来得到 一个 8 × 8 的输出特征图。 Note that the four intermediate feature maps rely on the input feature map, but there is no direct relationship among them. 注意这四个中间特征图之间没有直接的联系。 Due to the periodical shuffling operation, adjacent pixels on the output feature map are from different intermediate feature maps. This implies that the values of adjacent pixels can be significantly different from each other, resulting in the problem of checkerboard artifacts

延伸阅读： http://www.jianshu.com/p/36ff39344de5 http://distill.pub/2016/deconv-checkerboard/

本文提出了 iPixelDCL 来建立 中间特征图之间的直接联系

这里写图片描述

下面我们来看看在 iPixelDCL 中 这四个中间特征图是怎么生生成的。 The purple feature map is generated from the input feature map (blue) 首先紫色的特征图有蓝色输入特征图直接生成。

The orange feature map is conditioned on both the input feature map and the purple feature map that has been generated previously 黄色特征图的生成依赖于 输入特征图和紫色特征图

the green feature map relies on the input feature map, purple and orange intermediate feature maps. 绿色特征图的生成依赖于 输入特征图、紫色特征图、黄色特征图。

The red feature map is generated based on the input feature map, purple, orange, and green intermediate feature maps 红色特征图生成依赖于 输入特征图、紫色、黄色、绿色特征图。

在 PixelDCL 中，我们只容许紫色特征图依赖于输入特征图。 the orange feature map only depends on the purple feature map. The green feature map relies on the purple and orange feature maps. The red feature map is conditioned on the purple, orange, and green feature maps 输入特征图的影响通过紫色特征图传递到其他特征图。

Pixel Deconvolutional Networks

这里写图片描述

注意这里又和上面的步骤有一些不同。

这里写图片描述

这里写图片描述

上图第一行是图像，第二行是真值，第三行是 常规反卷积结果，第四行是 iPixelDCL 结果，第五行是 PixelDCL 结果。

这里写图片描述