NVIDIA ECCV18论文:超像素采样网络助力语义分割与光流估计（代码将开源）

计算机视觉中超像素指具有相似纹理、颜色、亮度等特征的相邻像素构成的具有一定视觉意义的不规则像素块。它利用像素之间特征的相似性将像素分组,用少量的超像素代替大量的像素来表达图片特征,可以大幅度降低图像后处理的复杂度，通常作为图像分割算法的预处理步骤。其已经广泛应用于图像分割、姿势估计、目标跟踪、目标识别等计算机视觉应用中。

但传统的超像素分割算法由于其数学上的不可微，使得其无法被集成到现今流行的深度神经网络框架进行端到端训练。

来自NVIDIA的研究人员开发了一种新的可微的超像素采样模型，可以直接使用深度神经网络学习超像素分割。文章已被ECCV2018录用。

文中提出的超像素采样网络（Superpixel Sampling Network (SSN)）可以完全端到端训练，加上灵活的损失函数使其可以进行特定任务的超像素分割,而且相比传统算法速度上也很有优势。 实验证明SSN算法不仅在超像素分割任务上优于传统的分割算法，而且改进了图像语义分割和光流估计。SSNs可以非常容易地集成到downstream类型的神经网络。

以下为该算法官方视频介绍：

Superpixel Sampling Network网络总览

图像首先通过深度网络提取每个像素的特征，然后进入可微的SLIC模型生成超像素。上图展示了两个用于指定任务的超像素分割，即语义分割和光流估计。

Superpixel Sampling Network的关键是可微的SLIC算法，下图展示了分割示例和算法流程

整体网络架

实验 针对单纯的超像素分割任务，在BSDS500数据集上，SSN取得了远超过传统分割方法的性能，如下图

在Cityscapes数据集上语义分割超像素的结果，取得了在与最好结果相匹敌的性能。如下图：

在VOC语义分割数据集和MPI-Sintel光流估计数据集上，相比其他超像素分割算法，同样取得了最好的性能。

不同分割数据集上的图像分割示例：

将SSN集成到DeepLab语义分割算法的bilateral inception(BI)网络，获得了显著的性能提升。

速度比较 在现有超像素的开源实现比较，SSN在GPU上的实现具有明显的竞争力。

作者称代码将开源。

项目主页：

https://varunjampani.github.io/ssn/