物体分割--Deep Watershed Transform for Instance Segmentation

Deep Watershed Transform for Instance Segmentation CVPR2017 https://github.com/min2209/dwt

本文将传统的 watershed transform 分割算法 结合 CNN网络 实现 物体分割

首先来回顾一下 instance level segmentation 都有哪些方法: 1)Proposal based: 基于候选区域提取的方法,首先提取物体的候选区域,然后再对候选区域进行细化分割 refinement 2)Deep structured models: CNN+ conditional random field (CRF) 3)Template matching: CNN+ template matching scheme 4) Recurrent Networks: CNN+ recurrent neural network (RNN) , ConvLSTM 5) CNN[15]: 只用CNN来完成 6)Proposal + recursion [14]: CNN 候选区域+ recursion

3 A Review on the Watershed Transform 首先来看看分水岭算法的大致思路:我们可以将一幅灰度图像看作一个地形图 topographic surface,我们从地形图的最低点 minima 开始注水,同时我们建造谁把barriers 用于防止两个不同注水的的水融合到一起去。这样我们就可以将地形图分割为若干区域,这里每个区域我们称之为 catchment basins,我们建造的水坝 barriers or watershed lines 表示两物体的边界线。

分水岭算法一个问题就是容易过分割。这里我们使用 CNN 网络来解决这个过分割问题。

4 Deep Watershed Tranform 这里我们希望使用 CNN网络来学习预测 一个 energy landscape,其每个 basin 对应一个物体,如上图的下半部分所示。但是从头开始学习这个 energy landscape 很难。这里我们定义了一个中间任务,就是我们学习 分水岭能量图的下降方向 direction of descent of the watershed energy,然后将这个输入到另一个网络用于学习最终的能量图。我们可以将这个中间结果理解为 学习每个目标内的点到其边界的距离,learning to perform the distance transform of each point within an object instance to the instance’s boundary

我们的整体网络结果如下图所示:

4.1. Direction Network (DN) 这里的输入只关注物体区域, the original RGB image gated by semantic segmentation(PSPNet [34]),非物体区域清零。input image is augmented by adding the semantic segmentation as a fourth channel

这一步主要用于 estimate the direction of descent of the energy at each pixel,对应 Figure 4 中的 f

4.2. Watershed Transform Network (WTN) 基于分水岭能量图的下降方向图,我们来 predict a modified watershed transform energy 对应 Figure 4 中的 g

4.3. Network Training 首先预训练 DN and WTN networks 分别定义了几个损失函数: Direction Network pre-training: mean squared error in the angular domain

Watershed Network pre-training: modified cross-entropy loss

End-to-end fine-tuning:

4.4. Energy Cut and Instance Extraction 得到最终的分割结果

5 Experimental Evaluation Cityscapes

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏瓜大三哥

感知器神经网络

感知器是一种前馈人工神经网络,是人工神经网络中的一种典型结构。感知器具有分层结构,信息从输入层进入网络,逐层向前传递到输出层。根据感知器神经元变换函数、隐层数以...

23810
来自专栏用户2442861的专栏

Python-OpenCV 处理图像(七):图像灰度化处理

灰度数字图像是每个像素只有一个采样颜色的图像,这类图像通常显示为从最暗黑色到最亮的白色的灰度。

1811
来自专栏智能算法

机器学习三人行(系列六)----Logistic和Softmax回归实战剖析(附代码)

本文主要实战Logistic回归和softmax回归在iris数据集上的应用,通过该文章,希望我们能一起掌握该方面的知识。 1. Logistic回归 我们在系...

56910
来自专栏机器学习算法原理与实践

集成学习之Adaboost算法原理小结

    在集成学习原理小结中,我们讲到了集成学习按照个体学习器之间是否存在依赖关系可以分为两类,第一个是个体学习器之间存在强依赖关系,另一类是个体学习器之间不存...

542
来自专栏机器学习算法工程师

干货|(DL~3)deep learning中一些层的介绍

文章来自:https://leonardoaraujosantos.gitbooks.io 原文作者:Leonardo Araujo dos Santos

1283
来自专栏jeremy的技术点滴

机器学习课程_笔记07

3427
来自专栏贾志刚-OpenCV学堂

图像二值化方法汇总介绍

ImageJ中图像二值化方法介绍 概述 二值图像分析在对象识别与模式匹配中有重要作用,同时也在机器人视觉中也是图像处理的关键步骤,选择不同图像二值化方法得到的结...

3685
来自专栏计算机视觉

关于BOW详细介绍

这篇文章属于小笔记类型奥~~ 1 特征提取 使用SIFT或者SURF生成图像特征的描述子 2 构建词典(Vocabulary) 通过上一步所有特征的提取...

2514
来自专栏人工智能

CNN之“物体检测” 篇

北京 上海巡回站 | NVIDIA DLI深度学习培训 2018年1月26/1月12日 ? NVIDIA 深度学习学院 带你快速进入火热的DL领域 正文共344...

23010
来自专栏机器学习、深度学习

人脸检测识别文献阅读总结

1 在人脸检测的时候需要结合人脸特征点对齐来综合考虑人脸检测问题,因为人脸特征点对齐有助于提高人脸检测性能 下面的文献都论证了这个思想: Joint ...

3466

扫码关注云+社区