视频物体分割--One-Shot Video Object Segmentation

One-Shot Video Object Segmentation CVPR2017 http://www.vision.ee.ethz.ch/~cvlsegmentation/osvos/

One-Shot Video Object Segmentation,基于单帧标记的视频物体分割,对于一个视频中的某一个物体,我们只提供一张训练样本,怎么把视频里所有的该物体分割出来?

上图第一张图像是标记样本,其他的图像是分割的结果。

这里我们使用CNN网络来完成上述任务

One-Shot Video Object Segmentation (OSVOS) 算法总体的思路如下:

先在 ImageNet 训练一个图像分类模型,得到的网络称之为 Base Network,接着我们 在 DAVIS 训练一个分割网络,得到 Parent Network,最后我们在目标视频上微调,得到 Test Network。前两个网络的训练都是 offline, 最后一个网络的训练是 online

这个online 时间越长效果越好

3 One-Shot Deep Learning 对于单张训练样本的问题,人是怎么解决这个问题的了? we leverage strong priors: first “It is an object,” and then “It is this particular object.”我们的算法也是采取这个思路,循序渐进的解决这个问题。

3.1. End-to-end trainable foreground FCN 这里我们采用了一个 语义分割网络,参考文献【30】,基于 VGG模型。就是上图的 foreground branch,对于 这个分割网络的损失函数,我们参考文献【51】的 pixel-wise cross-entropy loss,同时了采取了文献【51】解决 imbalance between the two binary classes 的方法。

这个前景分割主要是判断物体的有无和大致位置,不能给予精确的边界位置信息,这里我们又加入了 contour 信息, 边缘检测CNN网络的训练完全是离线的, train the contour branch only offline

有了边缘信息,我们使用这些边缘信息来得到精确的物体分割, the use of the Fast Bilateral Solver (FBS) [2] to snap the background prediction to the image edges

DAVIS Validation

Qualitative results

Youtube-Objects evaluation

更多的训练样本

Extended version of “One-Shot Video Object Segmentation”, CVPR 2017

Video Object Segmentation Without Temporal Information

extract the semantic instance information from instance-aware semantic segmentation algorithms (we experiment with two top-performing methods: MNC [9] and the most recent FCIS [34]). We modify the algorithm and the network architecture to select and propagate the specific instances we are interested in, and then we adapt the network architecture to include these instance inside the CNN

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张俊红

提升方法-Adaboost算法

总第85篇 01|基本概念: 提升方法的基本思想:对于任何一个复杂任务来说,将多个专家的判断进行适当的综合所得出的判断,要比任何一个专家单独的判断好。 先来看...

2644
来自专栏机器学习算法原理与实践

最小二乘法小结

    最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习,尤其是回归模型中,经常可以看到最小二乘法的身影,这里就对我对最小二乘法的认知做一个小结。

754
来自专栏Duncan's Blog

StatisticLearning

1.泛化误差/期望损失(风险函数):是理论模型f(X)关于联合分布P(X,Y)的平均意义下的损失.

972
来自专栏机器学习算法与Python学习

感知机详解

1.感知机是什么? 一种类型的ANN系统是以被称为感知器(perceptron)的单元为基础的,如图1所示。感知器以一个实数值向量作为输入,计算这些输入的线性组...

3567
来自专栏机器之心

入门 | 了解神经网络,你需要知道的名词都在这里

32913
来自专栏红色石头的机器学习之路

台湾大学林轩田机器学习基石课程学习笔记15 -- Validation

上节课我们主要讲了为了避免overfitting,可以使用regularization方法来解决。在之前的 上加上一个regularizer,生成 ,将其最...

2450
来自专栏鸿的学习笔记

分类问题中的维度诅咒(下)

换句话说,如果可用训练数据的数量是固定的,我们继续添加维度的话,则会发生过拟合。另一方面,如果我们不断增加维度,训练数据的数量需要快速增长以保持相同的覆盖,并避...

771
来自专栏企鹅号快讯

EM算法原理总结

EM算法也称期望最大化(Expectation-Maximum,简称EM)算法,它是一个基础算法,是很多机器学习领域算法的基础,比如隐式马尔科夫算法(HMM),...

2138
来自专栏机器之心

入门 | 一文看懂卷积神经网络

28711
来自专栏SIGAI学习与实践平台

【实验】理解SVM的核函数和参数

支持向量机(SVM)在很多分类问题上曾经取得了当时最好的性能,使用非线性核的支持向量机可以处理线性不可分的问题。仅仅通过一个简单的核函数映射,就能达到如此好的效...

951

扫码关注云+社区