语义分割--End-to-End Instance Segmentation with Recurrent Attention

End-to-End Instance Segmentation with Recurrent Attention CVPR2017 https://github.com/renmengye/rec-attend-public

本文针对 Instance Segmentation 使用 recurrent neural network (RNN) architecture 将每个物体依次定位分割出来,使用了 an attention mechanism to model a human-like counting process

2 Recurrent attention model 我们的系统包括四个部分:1) an external memory 用于记录每个分割物体的状态,2)box proposal network 用于定位感兴趣物体,3) segmentation network 对矩形框内物体进行像素级别分割,4) scoring network 用于判断一个物体是否被发现和是否结束分割 整个系统分割实例图:

网络结构示意图:

Input pre-processing 输入图像预处理 这里我们训练了一个 FCN 作为预处理系统,这个FCN 包括两个部分:1)一个 有 skip connections 的 DeconvNet 用于前景检测,2)第二个模块是参照文献【40】输出每个物体的 an angle map

2.1. Part A: External memory 这个模块主要用于在已经分割一部分物体的基础上下一步要分割图像的哪个区域 To decide where to look next based on the already segmented objects, we incorporate an external memory , which provides object boundary details from all previous steps.

2.2. Part B: Box network 定位出下一个要分割的物体,这里使用了 LSTM localizing the next object of interest

2.3. Part C: Segmentation network 这个部分就是基于单个物体的语义分割,使用了 a variant of the DeconvNet [ 29 ] with skip connections

2.4. Part D: Scoring network 用于对已分割物体计数和终止分割流程 To estimate the number of objects in the image, and to terminate our sequential process

2.5. Loss functions 这里主要定义三个损失函数: the segmentation matching IoU loss L-y ; the box IoU loss L-b ; and the score cross-entropy loss L-s

4 Experiments

Cityscapes instance-level segmentation results

分割效果图

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏图形学与OpenGL

CG实验2 二维几何变换

请参考教材博客有关WebGL变换文章,具体见:http://blog.csdn.net/wpxu08

642
来自专栏CreateAMind

NVIDIA生成1024分辨率图片效果复现

https://github.com/tkarras/progressive_growing_of_gans

562
来自专栏数据科学与人工智能

Python玩机器学习简易教程

本文介绍利用Python和Python的机器学习库scikit-learn完成一个端到端的机器学习项目。 俗话说,“师傅领进门,修行在个人”。本文就是扮演领进门...

3817
来自专栏万波的专栏

解剖 WebGL & Three.js 工作原理

本文主要通过两方面来解剖 WebGL & Three.js :WebGL背后的工作原理和以Three.js为例,讲述框架在背后扮演什么样的角色,希望对大家学习有...

1.6K2
来自专栏CreateAMind

Deep Learning Book 中文第十二章 大规模应用

大规模深度学习:GPU、分布式、压缩、动态结构等;视觉预处理等;自然语言,推荐系统介绍。

591
来自专栏逍遥剑客的游戏开发

径向模糊效果

1327
来自专栏贾志刚-OpenCV学堂

tensorflow中实现神经网络训练手写数字数据集mnist

基于tensorflow实现一个简单的三层神经网络,并使用它训练mnist数据集,神经网络三层分别为:

972
来自专栏瓜大三哥

face++人脸识别

该系统主要分为: 1.数据库:500万张图片和2000个人,而且删除了LFW中特有的人,其分布如下(网上搜集的图片有一个长尾效应:就是随着图片数量的增加不利于网...

2549
来自专栏杨熹的专栏

了解 Sklearn 的数据集

学习资料:大家可以去莫烦的学习网站学到更多的知识。 学习资料: 相关代码 更多可用数据 网址 ---- ? 今天来看 Sklearn 中的 data s...

3228
来自专栏机器学习原理

深度学习——CNN(4)分析

1624

扫码关注云+社区