视频物体分割--One-Shot Video Object Segmentation

One-Shot Video Object Segmentation CVPR2017 http://www.vision.ee.ethz.ch/~cvlsegmentation/osvos/

One-Shot Video Object Segmentation,基于单帧标记的视频物体分割,对于一个视频中的某一个物体,我们只提供一张训练样本,怎么把视频里所有的该物体分割出来?

上图第一张图像是标记样本,其他的图像是分割的结果。

这里我们使用CNN网络来完成上述任务

One-Shot Video Object Segmentation (OSVOS) 算法总体的思路如下:

先在 ImageNet 训练一个图像分类模型,得到的网络称之为 Base Network,接着我们 在 DAVIS 训练一个分割网络,得到 Parent Network,最后我们在目标视频上微调,得到 Test Network。前两个网络的训练都是 offline, 最后一个网络的训练是 online

这个online 时间越长效果越好

3 One-Shot Deep Learning 对于单张训练样本的问题,人是怎么解决这个问题的了? we leverage strong priors: first “It is an object,” and then “It is this particular object.”我们的算法也是采取这个思路,循序渐进的解决这个问题。

3.1. End-to-end trainable foreground FCN 这里我们采用了一个 语义分割网络,参考文献【30】,基于 VGG模型。就是上图的 foreground branch,对于 这个分割网络的损失函数,我们参考文献【51】的 pixel-wise cross-entropy loss,同时了采取了文献【51】解决 imbalance between the two binary classes 的方法。

这个前景分割主要是判断物体的有无和大致位置,不能给予精确的边界位置信息,这里我们又加入了 contour 信息, 边缘检测CNN网络的训练完全是离线的, train the contour branch only offline

有了边缘信息,我们使用这些边缘信息来得到精确的物体分割, the use of the Fast Bilateral Solver (FBS) [2] to snap the background prediction to the image edges

DAVIS Validation

Qualitative results

Youtube-Objects evaluation

更多的训练样本

Extended version of “One-Shot Video Object Segmentation”, CVPR 2017

Video Object Segmentation Without Temporal Information

extract the semantic instance information from instance-aware semantic segmentation algorithms (we experiment with two top-performing methods: MNC [9] and the most recent FCIS [34]). We modify the algorithm and the network architecture to select and propagate the specific instances we are interested in, and then we adapt the network architecture to include these instance inside the CNN

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏算法channel

数据降维:特征值分解和奇异值分解的实战分析

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来...

3574
来自专栏一直在跳坑然后爬坑

向量空间相关概念总结-向量

1032
来自专栏AI2ML人工智能to机器学习

变分の美

变分法(Variational method)已经成为微积分后主流的分析工具, 在物理和应用数学有着极大的功能。 变分法的诞生起源于最强大的数学家家族两个兄弟之...

841
来自专栏CreateAMind

变分自编码器

VAE变分自编码器方法是优雅的,理论上令人愉快的,并且易于实现。它也获得了出色的结果,是生成式建模中的最先进方法之一。变分自编码器的一个非常好的特性是,同时训练...

722
来自专栏郭耀华‘s Blog

【机器学习数学基础】线性代数基础

731
来自专栏前端架构

透析矩阵,由浅入深娓娓道来—高数-线性代数-矩阵

线性代数是用来描述状态和变化的,而矩阵是存储状态和变化的信息的媒介,可以分为状态(静态)和变化(动态)信息来看待。

3.7K12
来自专栏和蔼的张星的图像处理专栏

数字图像处理:

冈萨里斯数字图像处理的那本书的一小点点东西,数字图像处理其实是学过了的,这里我只是把这本书完整看一遍,也是略略的看,查漏补缺,前两张略过了,从第三章开始。

1464
来自专栏SnailTyan

Deformable Convolutional Networks论文翻译——中文版

Deformable Convolutional Networks 摘要 卷积神经网络(CNN)由于其构建模块固定的几何结构天然地局限于建模几何变换。在这项工作...

2420
来自专栏机器学习算法全栈工程师

从傅立叶变换到Gabor滤波器

作者:夏 敏 编辑:李文臣 PART 01 gabor介绍 gabor特征 首先我们介绍下Gabor 特征,它是一种可以用来描述图像纹理信息的特征,Gabor ...

4307
来自专栏磐创AI技术团队的专栏

深度学习之视频人脸识别系列二:人脸检测与对齐

人脸检测解决的问题为给定一张图片,输出图片中人脸的位置,即使用方框框住人脸,输出方框的左上角坐标和右下角坐标或者左上角坐标和长宽。算法难点包括:人脸大小差异、人...

1172

扫码关注云+社区