图像分割

PixelNet: Representation of the pixels, by the pixels, and for the pixels Code: https://github.com/aayushbansal/PixelNet http://www.cs.cmu.edu/~aayushb/pixelNet/

从低层次的边缘检测到中层次的 surface normal estimation 到高层次的 semantic segmentation，针对广义的像素级别预测问题，我们探索其内在设计原理，提出了一个单网络结构模型解决这些问题。

这里写图片描述

我们的网络结构如下：

这里写图片描述

我们首先使用VGG-16卷积提取卷积特征，对一个采样的像素点，从多个卷积特征图上提取对应的特征，建立 hypercolumn descriptor，然后将该特征输入到一个MLP多层感知器，最后输入分类结果。

这里写图片描述

本文主要的思想在于训练时候的采样策略，加速训练。提出基于像素的 stratified sampling， sparse sampling

这里写图片描述

我们发现从训练图像中采样很少的像素就可以得到很好的结果。

这里写图片描述

实验显示我们的网络模型在 semantic segmentation， surface normal estimation， edge detection 效果都很好。