视频物体分割--One-Shot Video Object Segmentation

One-Shot Video Object Segmentation CVPR2017 http://www.vision.ee.ethz.ch/~cvlsegmentation/osvos/

One-Shot Video Object Segmentation,基于单帧标记的视频物体分割,对于一个视频中的某一个物体,我们只提供一张训练样本,怎么把视频里所有的该物体分割出来?

上图第一张图像是标记样本,其他的图像是分割的结果。

这里我们使用CNN网络来完成上述任务

One-Shot Video Object Segmentation (OSVOS) 算法总体的思路如下:

先在 ImageNet 训练一个图像分类模型,得到的网络称之为 Base Network,接着我们 在 DAVIS 训练一个分割网络,得到 Parent Network,最后我们在目标视频上微调,得到 Test Network。前两个网络的训练都是 offline, 最后一个网络的训练是 online

这个online 时间越长效果越好

3 One-Shot Deep Learning 对于单张训练样本的问题,人是怎么解决这个问题的了? we leverage strong priors: first “It is an object,” and then “It is this particular object.”我们的算法也是采取这个思路,循序渐进的解决这个问题。

3.1. End-to-end trainable foreground FCN 这里我们采用了一个 语义分割网络,参考文献【30】,基于 VGG模型。就是上图的 foreground branch,对于 这个分割网络的损失函数,我们参考文献【51】的 pixel-wise cross-entropy loss,同时了采取了文献【51】解决 imbalance between the two binary classes 的方法。

这个前景分割主要是判断物体的有无和大致位置,不能给予精确的边界位置信息,这里我们又加入了 contour 信息, 边缘检测CNN网络的训练完全是离线的, train the contour branch only offline

有了边缘信息,我们使用这些边缘信息来得到精确的物体分割, the use of the Fast Bilateral Solver (FBS) [2] to snap the background prediction to the image edges

DAVIS Validation

Qualitative results

Youtube-Objects evaluation

更多的训练样本

Extended version of “One-Shot Video Object Segmentation”, CVPR 2017

Video Object Segmentation Without Temporal Information

extract the semantic instance information from instance-aware semantic segmentation algorithms (we experiment with two top-performing methods: MNC [9] and the most recent FCIS [34]). We modify the algorithm and the network architecture to select and propagate the specific instances we are interested in, and then we adapt the network architecture to include these instance inside the CNN

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张宏顺的专栏

对 HEVC CU深度快速选择方法的思考和实践

本文主要讲解了HEVC中CU深度的快速选择方法,分析了当前编码中存在的问题,提出解决方案,并给出了具体的实践流程,及得到的收益。

5412
来自专栏机器学习原理

机器学习(11)——非线性SVM

前言: 上一篇介绍了线性SVM还有一些尾巴没有处理,就是异常值的问题。 软间隔 线性可分SVM中要求数据必须是线性可分的,才可以找到分类的超平面,但是有的时候...

3305
来自专栏琦小虾的Binary

学习July博文总结——支持向量机(SVM)的深入理解(上)

前言 本文是参照CSDN的July大神的热门博文《支持向量机通俗导论(理解SVM的三层境界》)写的。目的是因为July大神文中说,SVM理论的理解,需要一遍一遍...

2718
来自专栏Echo is learning

支持向量机2

1223
来自专栏深度学习自然语言处理

经典分类算法之最大熵模型

最大熵模型(maximum entropy model, MaxEnt)也是很典型的分类算法了,它和逻辑回归类似,都是属于对数线性分类模型。在损失函数优化的过程...

682
来自专栏AI科技评论

深度 | 用于大规模行人重识别的行人对齐网络

1.Motivation 近年来,对行人重识别(person re-ID)问题的研究也越来越多了。类比于自然语言处理(nlp)的话,大家或者集中于语义层面的设计...

3468
来自专栏轮子工厂

神经网络的相关概念

感知机是由科学家Frank Rosenblatt发明于1950至1960年代,它受到了Warren McCulloch 和Walter Pitts的更早工作的启...

763
来自专栏SnailTyan

Single Shot MultiBox Detector论文翻译——中文版

SSD: Single Shot MultiBox Detector 摘要 我们提出了一种使用单个深度神经网络来检测图像中的目标的方法。我们的方法命名为SSD,...

2360
来自专栏机器学习算法与Python学习

机器学习(18)之支持向量机原理(三)线性不可分支持向量机与核函数

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 前言 在(机器学习(15)之支持向量...

3527
来自专栏计算机视觉战队

CNN的全面解析(带你简单轻松入门)

亲爱的关注者您好!真的是好久不见,上次与您相见还是8月18日的晚上,不知道35天的时间不见,你们都有了哪些成果?有了哪些成就?有了哪些offer?但是,本平台的...

3027

扫码关注云+社区