专栏首页机器学习、深度学习语义分割--Pixel Deconvolutional Networks

语义分割--Pixel Deconvolutional Networks

Pixel Deconvolutional Networks

https://arxiv.org/abs/1705.06820

本文首先指出在常规的 deconvolutional operation 会导致 所谓的 checkerboard 问题。这主要是因为 deconvolution operation 生成的特征图 相邻像素没有相关性导致的。为此我们提出了 pixel deconvolutional layer (PixelDCL) 来建立特征图相邻像素的相关性,从而解决这个 checkerboard 问题。

我们先来看看常规的 deconvolutional operation

对于一个 4 × 4 输入特征图,我们使用四个不同的卷积核得到四个 4 × 4中间特征图,然后我们将这四个中间特征图组合起来得到 一个 8 × 8 的输出特征图。 Note that the four intermediate feature maps rely on the input feature map, but there is no direct relationship among them. 注意这四个中间特征图之间没有直接的联系。 Due to the periodical shuffling operation, adjacent pixels on the output feature map are from different intermediate feature maps. This implies that the values of adjacent pixels can be significantly different from each other, resulting in the problem of checkerboard artifacts

延伸阅读: http://www.jianshu.com/p/36ff39344de5 http://distill.pub/2016/deconv-checkerboard/

本文提出了 iPixelDCL 来建立 中间特征图之间的直接联系

下面我们来看看在 iPixelDCL 中 这四个中间特征图是怎么生生成的。 The purple feature map is generated from the input feature map (blue) 首先紫色的特征图有蓝色输入特征图直接生成。

The orange feature map is conditioned on both the input feature map and the purple feature map that has been generated previously 黄色特征图的生成依赖于 输入特征图和紫色特征图

the green feature map relies on the input feature map, purple and orange intermediate feature maps. 绿色特征图的生成依赖于 输入特征图、紫色特征图、黄色特征图。

The red feature map is generated based on the input feature map, purple, orange, and green intermediate feature maps 红色特征图生成依赖于 输入特征图、紫色、黄色、绿色特征图。

在 PixelDCL 中,我们只容许紫色特征图依赖于输入特征图。 the orange feature map only depends on the purple feature map. The green feature map relies on the purple and orange feature maps. The red feature map is conditioned on the purple, orange, and green feature maps 输入特征图的影响通过紫色特征图传递到其他特征图。

Pixel Deconvolutional Networks

注意这里又和上面的步骤有一些不同。

上图第一行是图像,第二行是真值,第三行是 常规反卷积结果,第四行是 iPixelDCL 结果,第五行是 PixelDCL 结果。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 视频目标检测--Flow-Guided Feature Aggregation for Video Object Detection

    Flow-Guided Feature Aggregation for Video Object Detection https://arxiv.org/a...

    用户1148525
  • 网络模型--Densely Connected Convolutional Networks

    Densely Connected Convolutional Networks CVPR2017 best paper Code: https://...

    用户1148525
  • 医学图像分割--U-Net: Convolutional Networks for Biomedical Image Segmentation

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.n...

    用户1148525
  • 如何使用Key User Tool扩展SAP S/4HANA Fiori UI

    (1) Go to the Fiori UI where you would like to enhance, and enter adaptation mod...

    Jerry Wang
  • SAP AMC call center integration

    Only client-side Integration is supported so you must have a client-side applica...

    Jerry Wang
  • MD2关键帧动画

    逍遥剑客
  • 很火的抖音视频,微信朋友圈动态封面背景的做法

    就是这样的效果嘛,抖音爆出后很多人都觉得挺酷的,那柚子就分享这个方法给大家。(时间关系没有做那么多效果图谅解)

    IT小侠公社
  • WordPress纯代码仿无觅相关文章图文模式功能(增强版)

    之前在《WordPress纯代码高仿 无觅相关文章 图文模式功能》一文中分享的代码有两个缺点:一是文章相关度不够(该代码使用分类进行关联相关文章);二是可能会出...

    Jeff
  • 手机上怎么做电子版证件照

    很多的小伙伴想知道怎么自己制作证件照片,对此比较感兴趣,下面小编就来告诉大家怎么自己制作证件照片,方法也很简单。

    互动20
  • EventBus 源码学习笔记(三)

    EventBus 深入学习三之Guava小结 上一篇讲述了 EventBus 的整个执行流程, 本片则从细节处出发,探讨下设计的精妙 巧妙的利用缓存, 解决重...

    一灰灰blog

扫码关注云+社区

领取腾讯云代金券