视频中的运动特征--Learning Motion Patterns in Videos

Learning Motion Patterns in Videos CVPR2017 Torch code: http://thoth.inrialpes.fr/research/mpnet

本文要解决的问题是 determining whether an object is in motion, irrespective of camera motion, 注意这里的相机是可以运动的,如果相机不动,则问题比较简单。相机运动则问题就比较复杂了。

示意图如下:

人工合成的 FlyingThings3D dataset

相邻两帧图像,相机是运动的,有几个运动的物体,我们希望可以将运动的物体分割出来

3 Learning Motion Patterns

Our MP-Net takes the optical flow field corresponding to two consecutive frames of a video sequence as input, and produces per-pixel motion labels. 本文使用一个 CNN网络,输入相邻两帧图像的 光流场,输出每个像素的运动与否标签

In other words, we treat each video as a sequence of frame pairs, and compute the labels independently for each pair. 我们每个图像对的计算是独立,将视频看作由每个图像对组成

3.1. Network architecture 我们的任务是将光流场中具有不同的运动模式区分出来,使用CNN网络完成。这需要一个大的感受野,输出的尺寸需要和输入的图像尺寸一样大小。一个大的感受野对于将 context 信息包含进模型中是至关重要的。小的感受野没法区分是物体的运动还是相机的运动。

网络的结果和语义分割中的结构还是很相似的,本质上是一样的。

3.2. Training with synthetic data 我们使用合成的数据库 FlyingThings3D dataset 来训练CNN网络

4.2. Refining the segmentation We use a fully-connected CRF 后续处理分割结果

不同的输入信息

不同的组合

DAVIS上的比拼

BMS-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法原理与实践

异常点检测算法小结

    异常点检测,有时也叫离群点检测,英文一般叫做Novelty Detection或者Outlier Detection,是比较常见的一类非监督学习算法,这...

933
来自专栏大数据挖掘DT机器学习

详细介绍tensorflow 神经网络分类模型构建全过程:以文本分类为例

许多开发者向新手建议:如果你想要入门机器学习,就必须先了解一些关键算法的工作原理,然后再开始动手实践。但我不这么认为。 我觉得实践高于理论,新手首先要做的是了解...

4877
来自专栏AI研习社

手把手教你如何用 TensorFlow 实现基于 DNN 的文本分类

编者按:本文源自一位数据科学开发者的个人博客,主要面对初学者用户,AI 研习社编译。另外,关于 TensorFlow 和 DNN 的更多深度内容,欢迎大家在文末...

3339
来自专栏人工智能LeadAI

译文 | 与TensorFlow的第一次接触第二篇:线性回归

本章中,将会利用TensorFlow实现一个简单的模型:线性回归。通过本示例,我会分析一些代码基础及说明如何在学习过程中调用各种重要组件,比如cost func...

2874
来自专栏用户2442861的专栏

Logistic回归与梯度下降法

http://blog.csdn.net/acdreamers/article/details/44657979

631
来自专栏生信小驿站

R 集成算法③ 随机森林

按这种算法得到的随机森林中的每一棵都是很弱的,但是大家组合起来就很厉害了。我觉得可以这样比喻随机森林算法:每一棵决策树就是一个精通于某一个窄领域的专家,这样在随...

1144
来自专栏烂笔头

曲线点抽稀算法-Python实现

目录[-] 何为抽稀 在处理矢量化数据时,记录中往往会有很多重复数据,对进一步数据处理带来诸多不便。多余的数据一方面浪费了较多的存储空间,另一方面造成所要...

3866
来自专栏Hadoop数据仓库

HAWQ + MADlib 玩转数据挖掘之(十二)——模型评估之交叉验证

一、交叉验证概述         机器学习技术在应用之前使用“训练+检验”的模式,通常被称作“交叉验证”,如图1所示。 ? 图1 1. 预测模型的稳定性    ...

1.7K7
来自专栏海天一树

某公司自然语言处理算法笔试题

1 请列出几种文本特征提取算法 答:文档频率、信息增益、互信息、X^2统计、TF-IDF 2 简述几种自然语言处理开源工具包 答:LingPipe、FudanN...

2627
来自专栏IT派

TensorFlow实现流行机器学习算法的教程汇总(2/3)

接下来的示例来自TFLearn,这是一个为 TensorFlow 提供了简化的接口的库。里面有很多示例和预构建的运算和层。

1130

扫码关注云+社区