语义分割研究党福利来袭，谷歌宣布开源 DeepLabv3+

经过三年左右的发展，目前 DeepLab 具有如下功能：

• DeepLabv1：结合深度卷积神经网络，使用空洞卷积（atrous convolution）进行语义分割
• DeepLabv2：基于 DeepLabv1 的优化，使用空洞空间金字塔池化（atrous spatial pyramid pooling，ASPP）对物体进行有效的分割
• DeepLabv3：采用多比例的带孔卷积级联或并行来捕获多尺度背景，基于图像特征优化 ASPP
• DeepLabv3+ ：对 DeepLabv3 的扩展，包括一个简单而高效的改善分割结果的解码器模块

目前来说，在图像语义分割上，DeepLabv3+ 已是业内顶尖水准。就在近日，谷歌宣布开源 DeepLabv3+，语义分割研究党的福利来啦。

AI 研习社将相关信息编译整理如下：

语义图像分割（Semantic Image Segmentation）是为图像中的每个像素分配一个语义标签（如「路」、「天」、「人」、「狗」）的任务，能应用于新的应用程序中，例如基于 Pixel 2 和 Pixel 2 XL 智能手机肖像模式产生的浅景深效果（http://suo.im/4op1Xn ），手机实时视频分割（http://suo.im/22rO7M ）。分配这些语义标签需要精确定位物体的轮廓，因此比其他视觉实体识别任务（例如图像分类，http://suo.im/28gUWX ，或边框检测，http://suo.im/1A2Zu8 ）有着更严格的定位精度要求。

今天，我们很高兴地宣布将谷歌目前最新的、性能最好的语义图像分割模型——DeepLab-v3 + 开源（在 TensorFlow 中实现）。这一次的发布包含建造在一个强大的卷积神经网络（CNN）主干架构之上的 DeepLab-v3+ 模型，用于服务器端部署。

此外，我们还公开了 Tensorflow 模型训练和评估代码，还有已经在 Pascal VOC 2012 和 Cityscapes 语义分割任务上预训练过的模型。

自从 3 年前研究出 DeepLab 模型，我们不断改进 CNN 的特征提取器，实现更好的对象尺度建模，对上下文信息的进行更好的吸收，改进训练程序，应用越来越强大的硬件和软件，这些使 DeepLab-v2 和 DeepLab-v3 得到不断改进。

在使用 DeepLab-v3 + 时，我们可以通过添加一个简单但有效的解码器模块来扩展 Deeplabv3，从而改善分割结果，特别是用于对象边界检测时。我们进一步将深度可分离的卷积应用于空洞空间金字塔池化（atrous spatial pyramid pooling）和解码器模块，从而形成了一个用于语义分割的更快速、更强大的编——解码器网络。

基于卷积神经网络（CNNs）的现代语义图像分割系统已经达到了精确的水平，这在五年前是难以想象的，这要归功于方法、硬件和数据集的发展。

我们希望与广大的研究社群分享我们的系统，这样一来，学术界和工业界的团体能够更容易地复制和改进现有系统，在新的数据集上训练模型，并为这项技术设想新的应用。

via：Google Research Blog（http://suo.im/4q9HE ）

GitHub 地址：

https://github.com/tensorflow/models/tree/master/research/deeplab

相关论文：

Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation（https://arxiv.org/abs/1802.02611 ）

Xception: Deep Learning with Depthwise Separable Convolutions（https://arxiv.org/abs/1610.02357 ）

Deformable Convolutional Networks — COCO Detection and Segmentation Challenge 2017 Entry（http://suo.im/2wU6Y4 ）

Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs（https://arxiv.org/abs/1412.7062 ）

Deeplab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs（https://arxiv.org/abs/1606.00915 ）

Rethinking Atrous Convolution for Semantic Image Segmentation（https://arxiv.org/abs/1706.05587 ）

AI 研习社编译整理。