物体分割--Deep Watershed Transform for Instance Segmentation

Deep Watershed Transform for Instance Segmentation CVPR2017 https://github.com/min2209/dwt

本文将传统的 watershed transform 分割算法 结合 CNN网络 实现 物体分割

首先来回顾一下 instance level segmentation 都有哪些方法: 1)Proposal based: 基于候选区域提取的方法,首先提取物体的候选区域,然后再对候选区域进行细化分割 refinement 2)Deep structured models: CNN+ conditional random field (CRF) 3)Template matching: CNN+ template matching scheme 4) Recurrent Networks: CNN+ recurrent neural network (RNN) , ConvLSTM 5) CNN[15]: 只用CNN来完成 6)Proposal + recursion [14]: CNN 候选区域+ recursion

3 A Review on the Watershed Transform 首先来看看分水岭算法的大致思路:我们可以将一幅灰度图像看作一个地形图 topographic surface,我们从地形图的最低点 minima 开始注水,同时我们建造谁把barriers 用于防止两个不同注水的的水融合到一起去。这样我们就可以将地形图分割为若干区域,这里每个区域我们称之为 catchment basins,我们建造的水坝 barriers or watershed lines 表示两物体的边界线。

分水岭算法一个问题就是容易过分割。这里我们使用 CNN 网络来解决这个过分割问题。

4 Deep Watershed Tranform 这里我们希望使用 CNN网络来学习预测 一个 energy landscape,其每个 basin 对应一个物体,如上图的下半部分所示。但是从头开始学习这个 energy landscape 很难。这里我们定义了一个中间任务,就是我们学习 分水岭能量图的下降方向 direction of descent of the watershed energy,然后将这个输入到另一个网络用于学习最终的能量图。我们可以将这个中间结果理解为 学习每个目标内的点到其边界的距离,learning to perform the distance transform of each point within an object instance to the instance’s boundary

我们的整体网络结果如下图所示:

4.1. Direction Network (DN) 这里的输入只关注物体区域, the original RGB image gated by semantic segmentation(PSPNet [34]),非物体区域清零。input image is augmented by adding the semantic segmentation as a fourth channel

这一步主要用于 estimate the direction of descent of the energy at each pixel,对应 Figure 4 中的 f

4.2. Watershed Transform Network (WTN) 基于分水岭能量图的下降方向图,我们来 predict a modified watershed transform energy 对应 Figure 4 中的 g

4.3. Network Training 首先预训练 DN and WTN networks 分别定义了几个损失函数: Direction Network pre-training: mean squared error in the angular domain

Watershed Network pre-training: modified cross-entropy loss

End-to-end fine-tuning:

4.4. Energy Cut and Instance Extraction 得到最终的分割结果

5 Experimental Evaluation Cityscapes

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏书山有路勤为径

LSTM

Chris Olah's LSTM post Edwin Chen's LSTM post Andrej Karpathy's lecture on RNN...

744
来自专栏机器之心

入门 | 请注意,我们要谈谈神经网络的注意机制和使用方法

26111
来自专栏数据科学学习手札

(数据科学学习手札23)决策树分类原理详解&Python与R实现

  作为机器学习中可解释性非常好的一种算法,决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的...

3767
来自专栏机器学习算法全栈工程师

基于深度学习的图像语义分割算法综述

本文翻译自An overview of semantic image segmentation,原作者保留版权。

551
来自专栏梦里茶室

TensorFlow深度学习笔记 文本与序列的深度模型

Deep Models for Text and Sequence Rare Event 与其他机器学习不同,在文本分析里,陌生的东西(rare event)往...

19710
来自专栏GAN&CV

全面解读Group Normbalization-(吴育昕-何凯明)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_25737169/article/d...

522
来自专栏机器学习算法与理论

基于机器学习的疲劳检测

首先,总结一下检测某一特征的方法: (1)模板匹配计算当前帧与模板相同位置处的灰度值或颜色值的差值,通过特定的距离公式来计算匹配程度。 稳定可靠与光照和姿势无...

47210
来自专栏杨熹的专栏

权重初始化的几个方法

其中第一步 权重的初始化 对模型的训练速度和准确性起着重要的作用,所以需要正确地进行初始化。

652
来自专栏企鹅号快讯

16 Spatial Transformer Networks

Jaderberg M, Simonyan K, Zisserman A, et al. Spatial transformer networks[J]. 20...

2225
来自专栏人工智能LeadAI

文本与序列的深度模型 | 深度学习笔记

Rare Event 与其他机器学习不同,在文本分析里,陌生的东西(rare event)往往是最重要的,而最常见的东西往往是最不重要的。 语法多义性 一个东西...

43210

扫码关注云+社区