语义分割--End-to-End Instance Segmentation with Recurrent Attention

End-to-End Instance Segmentation with Recurrent Attention CVPR2017 https://github.com/renmengye/rec-attend-public

本文针对 Instance Segmentation 使用 recurrent neural network (RNN) architecture 将每个物体依次定位分割出来,使用了 an attention mechanism to model a human-like counting process

2 Recurrent attention model 我们的系统包括四个部分:1) an external memory 用于记录每个分割物体的状态,2)box proposal network 用于定位感兴趣物体,3) segmentation network 对矩形框内物体进行像素级别分割,4) scoring network 用于判断一个物体是否被发现和是否结束分割 整个系统分割实例图:

网络结构示意图:

Input pre-processing 输入图像预处理 这里我们训练了一个 FCN 作为预处理系统,这个FCN 包括两个部分:1)一个 有 skip connections 的 DeconvNet 用于前景检测,2)第二个模块是参照文献【40】输出每个物体的 an angle map

2.1. Part A: External memory 这个模块主要用于在已经分割一部分物体的基础上下一步要分割图像的哪个区域 To decide where to look next based on the already segmented objects, we incorporate an external memory , which provides object boundary details from all previous steps.

2.2. Part B: Box network 定位出下一个要分割的物体,这里使用了 LSTM localizing the next object of interest

2.3. Part C: Segmentation network 这个部分就是基于单个物体的语义分割,使用了 a variant of the DeconvNet [ 29 ] with skip connections

2.4. Part D: Scoring network 用于对已分割物体计数和终止分割流程 To estimate the number of objects in the image, and to terminate our sequential process

2.5. Loss functions 这里主要定义三个损失函数: the segmentation matching IoU loss L-y ; the box IoU loss L-b ; and the score cross-entropy loss L-s

4 Experiments

Cityscapes instance-level segmentation results

分割效果图

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云时之间

支持向量机的简单理解

各位小伙伴们大家好,这几天弱弱的看了看老掉牙的支持向量机(Support Vector Machine, SVM)与支持向量回归(Support Vector ...

37911
来自专栏cloudskyme

小白也能懂的手写体识别

手写体识别与Tensorflow 如同所有语言的hello world一样,手写体识别就相当于深度学习里的hello world。 TensorFlow是当前最...

5186
来自专栏深度学习入门与实践

【深度学习系列】卷积神经网络CNN原理详解(一)——基本原理

上篇文章我们给出了用paddlepaddle来做手写数字识别的示例,并对网络结构进行到了调整,提高了识别的精度。有的同学表示不是很理解原理,为什么传统的机器...

1.2K10
来自专栏人工智能LeadAI

零基础入门深度学习 | 第六章:长短时记忆网络(LSTM)

无论即将到来的是大数据时代还是人工智能时代,亦或是传统行业使用人工智能在云上处理大数据的时代,作为一个有理想有追求的程序员,不懂深度学习(Deep Learni...

6845
来自专栏数值分析与有限元编程

子空间迭代法求结构自振频率

在结构模态分析中一般不需要求解结构的所有特征对,而只需要求解部分低阶特征对。子空间迭代算法就是用于求解结构部分低阶特征对。许多著名的商业有限元分析软件都有这种求...

3695
来自专栏刘笑江的专栏

Deep Learning

2313
来自专栏人工智能

深度学习 selectivesearch算法理解

采用selectivesearch算法产生的region proposal Object Detection,即物体检测,是计算机视觉领域中的经典任务之一。给定...

2255
来自专栏人工智能LeadAI

文本分类(下) | 卷积神经网络(CNN)在文本分类上的应用

原先写过两篇文章,分别介绍了传统机器学习方法在文本分类上的应用以及CNN原理,然后本篇文章结合两篇论文展开,主要讲述下CNN在文本分类上的应用。前面两部分内容主...

1512
来自专栏瓜大三哥

matlab GUI基础8

图像处理工具箱 从屋物理和数学角度看,图像时记录物体辐射能量的空间发呢不,这个分布是空间坐标、时间坐标和波长的函数,即i = f(x,y,z,λ,t),这样的图...

2687
来自专栏AI科技大本营的专栏

一文概览主要语义分割网络:FCN,SegNet,U-Net...

图像的语义分割是将输入图像中的每个像素分配一个语义类别,以得到像素化的密集分类。虽然自 2007 年以来,语义分割/场景解析一直是计算机视觉社区的一部分,但与计...

2902

扫码关注云+社区