计算机视觉中图像分割的经典算法

图像分割的问题定义，以及在实际场景中的应用样例

全卷积网络

双线性上采样

特征金字塔

Mask-RCNN

本文分为两个部分，第一部分是传统视觉的图分割算法，虽然现在很少用，但算法比较优美。第二部分是深度学习算法，会介绍最近几年流行的经典技巧。

Part.1 图像分割法

什么是图像分割？

图像分割就是预测图像中每一个像素所属的类别或者物体。图像分割有两个子问题，一个是只预测类别层面的分割，对每个像素标出一个位置。第二个是区分不同物体的个体。

应用场景，比如自动驾驶，3D 地图重建，美化图片，人脸建模等等。

最常用的数据集

主要介绍三个：Pascal VOC；CityScapes；MSCOCO。

1

Pascal VOC 数据集

这是一个比较老牌的数据集，它提供 20 个类别，包括，人，车等。有 6929 张标注图片，提供了类别层面的标注和个体层面的标注，也就是说既可以做语义分割，只区分是不是车；也可以做个体分割，区分有几辆车，把不同的车标记出来。

2

CityScapes数据集

主要面向道路驾驶场景，它有 30 个精细的类别。其中有 5000 张图片进行了精细标注，精确到像素级别。还有 20000 张图片有粗糙的标注。它也可以提供语义层面分割和个体层面分割。

3

MS COCO数据集

这是目前为止有语义分割的最大数据集，提供的类别有 80 类，有超过 33 万张图片，其中 20 万张有标注，整个数据集中个体的数目超过 150 万个，最新的一些论文都会在 MSCOCO 数据集上做实验，因为它的难度最大，挑战新最高。

传统的图切割

图切割就是移除一些边，使得两个子图不相连；图切割的目标是，找到一个切割，使得移除边的和权重最小。

图切割的优点和缺点

优点是分割效果还不错，并且是一种普适性的框架 ，适合各种特征。缺点是时间复杂度和空间复杂度较高，需要事先选取分割块儿的数目。

图切割的失败案列

为了克服这个失败，有论文提出了 Normalized Cut。它是在图分割中加入权重参数 Volume。Volume(A) 是 A 中所有边的权重之和。这种方法平衡了每一个子图的大小。

Part.2 深度学习算法

第一篇比较成功用神经网络做图像分割的论文是 Fully Convolutional Networks (以下简称为 FCN)。

传统神经网络做分类的步骤是，首先是一个图像进来之后经过多层卷积得到降维之后的特征图，这个特征图经过全连接层变成一个分类器，最后输出一个类别的向量，这就是分类的结果。

而 FCN 是把所有的全连接层换成卷基层，原来只能输出一个类别分类的网络可以在特征图的每一个像素输出一个分类结果。这样就把分类的向量，变成了一个分类的特征图。

为了能让分类的特征图恢复到原图的大小，采用了上采样层。具体细节可观看视频回放。

下面介绍一下怎么进行图片放大操作的。

这里有两个概念，第一个概念叫反卷积层（Deconvolution）；第二个概念叫双线性差值上采样（Bilinear Upsampling）。

这里的「反卷积」其实不是真正的卷积的逆运算，用 Transposed Convolution 代替比较合适，但原论文中用的是 Deconvolution，我们下面还是用这个词，它可以等效于普通卷积。它的主要目的就是实现上采样。

反卷积具体是怎么计算的，详细过程可到AI慕课学院免费观看视频回放。

Padding和Stride

Padding和Stride实际指的是普通卷积，而不是反卷积等效的普通卷积。

双线性上采样差

双线性上采样差值的三个用途：用作初始化反卷积的权重；不用反卷积，使用上卷积+卷积；只使用上采样。

膨胀卷积或带洞卷积（Dilated Convolution ）

它的用途可以使特征图视野变大，但不增加计算量，对于图像分割的好处，更利于提取全局信息，这样就使得分割准确率增加很多。

特征金字塔（Feature Pyramid）

有以下几种特征金字塔

特征金字塔网络

Pyramid Pooling

前面的是在不同的尺度上提取特征，而这个是把特征提取之后pooling到不同的大小。

Mask-RCNN的特点

第一个特点它是多分支输出的。它同时输出物体的类别，bounding box和Mask。

第二个特点是它使用了Binary Mask。之前神经网络都是使用多类Mask，而它只需要判断物体在哪个地方。

最后是RoiAlign层。能比较精确地把物体的位置对应到特征图的位置上。

具体讲解细节请观看免费的直播回放视频。

Rol Pooling 与Roi Align的比较

关键词

计算机视觉、图像分割、深度学习算法、卷积、反卷积、上采样、下采样