语义分割--End-to-End Instance Segmentation with Recurrent Attention

End-to-End Instance Segmentation with Recurrent Attention CVPR2017 https://github.com/renmengye/rec-attend-public

本文针对 Instance Segmentation 使用 recurrent neural network (RNN) architecture 将每个物体依次定位分割出来，使用了 an attention mechanism to model a human-like counting process

2 Recurrent attention model 我们的系统包括四个部分：1） an external memory 用于记录每个分割物体的状态，2）box proposal network 用于定位感兴趣物体，3） segmentation network 对矩形框内物体进行像素级别分割，4） scoring network 用于判断一个物体是否被发现和是否结束分割 整个系统分割实例图：

这里写图片描述

网络结构示意图：

这里写图片描述

Input pre-processing 输入图像预处理 这里我们训练了一个 FCN 作为预处理系统，这个FCN 包括两个部分：1）一个 有 skip connections 的 DeconvNet 用于前景检测，2）第二个模块是参照文献【40】输出每个物体的 an angle map

这里写图片描述

2.1. Part A: External memory 这个模块主要用于在已经分割一部分物体的基础上下一步要分割图像的哪个区域 To decide where to look next based on the already segmented objects, we incorporate an external memory , which provides object boundary details from all previous steps.

2.2. Part B: Box network 定位出下一个要分割的物体，这里使用了 LSTM localizing the next object of interest

2.3. Part C: Segmentation network 这个部分就是基于单个物体的语义分割，使用了 a variant of the DeconvNet [ 29 ] with skip connections

2.4. Part D: Scoring network 用于对已分割物体计数和终止分割流程 To estimate the number of objects in the image, and to terminate our sequential process

2.5. Loss functions 这里主要定义三个损失函数： the segmentation matching IoU loss L-y ; the box IoU loss L-b ; and the score cross-entropy loss L-s

4 Experiments

这里写图片描述

Cityscapes instance-level segmentation results

这里写图片描述

分割效果图

这里写图片描述

这里写图片描述