语义分割--End-to-End Instance Segmentation with Recurrent Attention

End-to-End Instance Segmentation with Recurrent Attention CVPR2017 https://github.com/renmengye/rec-attend-public

本文针对 Instance Segmentation 使用 recurrent neural network (RNN) architecture 将每个物体依次定位分割出来,使用了 an attention mechanism to model a human-like counting process

2 Recurrent attention model 我们的系统包括四个部分:1) an external memory 用于记录每个分割物体的状态,2)box proposal network 用于定位感兴趣物体,3) segmentation network 对矩形框内物体进行像素级别分割,4) scoring network 用于判断一个物体是否被发现和是否结束分割 整个系统分割实例图:

网络结构示意图:

Input pre-processing 输入图像预处理 这里我们训练了一个 FCN 作为预处理系统,这个FCN 包括两个部分:1)一个 有 skip connections 的 DeconvNet 用于前景检测,2)第二个模块是参照文献【40】输出每个物体的 an angle map

2.1. Part A: External memory 这个模块主要用于在已经分割一部分物体的基础上下一步要分割图像的哪个区域 To decide where to look next based on the already segmented objects, we incorporate an external memory , which provides object boundary details from all previous steps.

2.2. Part B: Box network 定位出下一个要分割的物体,这里使用了 LSTM localizing the next object of interest

2.3. Part C: Segmentation network 这个部分就是基于单个物体的语义分割,使用了 a variant of the DeconvNet [ 29 ] with skip connections

2.4. Part D: Scoring network 用于对已分割物体计数和终止分割流程 To estimate the number of objects in the image, and to terminate our sequential process

2.5. Loss functions 这里主要定义三个损失函数: the segmentation matching IoU loss L-y ; the box IoU loss L-b ; and the score cross-entropy loss L-s

4 Experiments

Cityscapes instance-level segmentation results

分割效果图

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏书山有路勤为径

颜色转换,利用HSV颜色空间检测

绘制出这些通道的灰度版本 以便观察各通道的强度,像素越亮 代表的红色、绿色或蓝色值就越高。我们可以看到 粉色气球的红色值很高 蓝色值也相对比较高,但值大小不一 ...

561
来自专栏CVer

OpenCV实战:人脸关键点检测(FaceMark)

Summary:利用OpenCV中的LBF算法进行人脸关键点检测(Facial Landmark Detection) Author: Amusi Dat...

8547
来自专栏ml

模式识别---图像二值化

要对图像进行识别,首先要做的将图像从多通道颜色分量变为单通道,也就是gray色调中来,常用的方法有目下三种, 第一种  求rgb颜色风量的平均值:       ...

36812
来自专栏一心无二用,本人只专注于基础图像算法的实现与优化。

局部自适应自动色阶/对比度算法在图像增强上的应用。

    在限制对比度自适应直方图均衡化算法原理、实现及效果一文中针对全局直方图均衡化的一些缺点,提出了分块的自适应均衡化技术,很好的克服了全局直方图均衡化的一些...

4179
来自专栏杨熹的专栏

Kaggle 神器 xgboost

在 Kaggle 的很多比赛中,我们可以看到很多 winner 喜欢用 xgboost,而且获得非常好的表现,今天就来看看 xgboost 到底是什么以及如何应...

3814
来自专栏AI启蒙研究院

【通俗理解】协方差

752
来自专栏生信技能树

差异分析得到的结果注释一文就够

通过前面的讲解,我们顺利的了解了GEO数据库以及如何下载其数据,得到我们想要的表达矩阵,也学会了两个常用的套路分析得到的表达矩阵,就是GSEA分析和差异分析。 ...

4455
来自专栏有趣的Python

算法与数据结构(十) 总结

课程总结 过程: ? 过程 线性问题: ? 排序 树形问题: ? 树形问题 图论问题: ? 图论问题 更多算法问题 ? 更多算法问题 算法设计相关: ? 算法设...

3405
来自专栏AIUAI

Caffe2 - (二十六) Detectron 之定制 Python Operators(ops)

5047
来自专栏Python小屋

Python+matplotlib使用雷达图技术绘制五角星

雷达图是一种常用的数据可视化与展示技术,可以把多个维度的信息在同一个图上展示出来,使得各项指标一目了然。本文代码通过绘制五角星演示了polar()函数的用法。

962

扫码关注云+社区