物体分割--Deep Watershed Transform for Instance Segmentation

Deep Watershed Transform for Instance Segmentation CVPR2017 https://github.com/min2209/dwt

本文将传统的 watershed transform 分割算法 结合 CNN网络 实现 物体分割

首先来回顾一下 instance level segmentation 都有哪些方法: 1)Proposal based: 基于候选区域提取的方法,首先提取物体的候选区域,然后再对候选区域进行细化分割 refinement 2)Deep structured models: CNN+ conditional random field (CRF) 3)Template matching: CNN+ template matching scheme 4) Recurrent Networks: CNN+ recurrent neural network (RNN) , ConvLSTM 5) CNN[15]: 只用CNN来完成 6)Proposal + recursion [14]: CNN 候选区域+ recursion

3 A Review on the Watershed Transform 首先来看看分水岭算法的大致思路:我们可以将一幅灰度图像看作一个地形图 topographic surface,我们从地形图的最低点 minima 开始注水,同时我们建造谁把barriers 用于防止两个不同注水的的水融合到一起去。这样我们就可以将地形图分割为若干区域,这里每个区域我们称之为 catchment basins,我们建造的水坝 barriers or watershed lines 表示两物体的边界线。

分水岭算法一个问题就是容易过分割。这里我们使用 CNN 网络来解决这个过分割问题。

4 Deep Watershed Tranform 这里我们希望使用 CNN网络来学习预测 一个 energy landscape,其每个 basin 对应一个物体,如上图的下半部分所示。但是从头开始学习这个 energy landscape 很难。这里我们定义了一个中间任务,就是我们学习 分水岭能量图的下降方向 direction of descent of the watershed energy,然后将这个输入到另一个网络用于学习最终的能量图。我们可以将这个中间结果理解为 学习每个目标内的点到其边界的距离,learning to perform the distance transform of each point within an object instance to the instance’s boundary

我们的整体网络结果如下图所示:

4.1. Direction Network (DN) 这里的输入只关注物体区域, the original RGB image gated by semantic segmentation(PSPNet [34]),非物体区域清零。input image is augmented by adding the semantic segmentation as a fourth channel

这一步主要用于 estimate the direction of descent of the energy at each pixel,对应 Figure 4 中的 f

4.2. Watershed Transform Network (WTN) 基于分水岭能量图的下降方向图,我们来 predict a modified watershed transform energy 对应 Figure 4 中的 g

4.3. Network Training 首先预训练 DN and WTN networks 分别定义了几个损失函数: Direction Network pre-training: mean squared error in the angular domain

Watershed Network pre-training: modified cross-entropy loss

End-to-end fine-tuning:

4.4. Energy Cut and Instance Extraction 得到最终的分割结果

5 Experimental Evaluation Cityscapes

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏应用案例

从传统方法到深度学习,人脸关键点检测方法综述

人脸关键点检测是人脸识别和分析领域中的关键一步,它是诸如自动人脸识别、表情分析、三维人脸重建及三维动画等其它人脸相关问题的前提和突破口。近些年来,深度学习方法由...

7888
来自专栏AI科技大本营的专栏

浅谈贝叶斯和MCMC

‍‍Abstract:最近课业内的任务不是很多,又邻近暑假了,就在网上搜了一些有关于机器学习和深度学习的课程进行学习。网上的资料非常繁多,很难甄别,我也是货比三...

933
来自专栏机器学习算法全栈工程师

机器学习损失函数、L1-L2正则化的前世今生

前言: 我们学习一个算法总是要有个指标或者多个指标来衡量一下算的好不好,不同的机器学习问题就有了不同的努力目标,今天我们就来聊一聊回归意义下的损...

4077
来自专栏Y大宽

差异基因检测方法

差异基因的检测方法很多,但生物学家偏好使用的是fold change(FC)和t-test。猜测因为一是它们比较简单,二来好解释。很多研究表明,改进的t-tes...

1003
来自专栏磐创AI技术团队的专栏

深度学习之视频人脸识别系列三:人脸表征

【磐创AI导读】本文是深度学习之视频人脸识别系列的第三篇文章,介绍人脸表征相关算法和论文综述。在本系列第一篇文章里我们介绍了人脸识别领域的一些基本概念,分析了深...

583
来自专栏刘笑江的专栏

GBDT

1504
来自专栏机器之心

AAAI 2018 | 腾讯AI Lab现场陈述论文:训练L1稀疏模型的象限性消极下降算法

2757
来自专栏算法channel

数据降维处理:PCA之特征值分解法例子解析

请点击上面公众号,免费订阅。 《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,...

2827
来自专栏IT派

浅谈贝叶斯和MCMC

‍‍Abstract:最近课业内的任务不是很多,又邻近暑假了,就在网上搜了一些有关于机器学习和深度学习的课程进行学习。网上的资料非常繁多,很难甄别,我也是货比三...

1013
来自专栏机器之心

从传统方法到深度学习,人脸关键点检测方法综述

3655

扫码关注云+社区