视频中的运动特征--Learning Motion Patterns in Videos

Learning Motion Patterns in Videos CVPR2017 Torch code: http://thoth.inrialpes.fr/research/mpnet

本文要解决的问题是 determining whether an object is in motion, irrespective of camera motion, 注意这里的相机是可以运动的,如果相机不动,则问题比较简单。相机运动则问题就比较复杂了。

示意图如下:

人工合成的 FlyingThings3D dataset

相邻两帧图像,相机是运动的,有几个运动的物体,我们希望可以将运动的物体分割出来

3 Learning Motion Patterns

Our MP-Net takes the optical flow field corresponding to two consecutive frames of a video sequence as input, and produces per-pixel motion labels. 本文使用一个 CNN网络,输入相邻两帧图像的 光流场,输出每个像素的运动与否标签

In other words, we treat each video as a sequence of frame pairs, and compute the labels independently for each pair. 我们每个图像对的计算是独立,将视频看作由每个图像对组成

3.1. Network architecture 我们的任务是将光流场中具有不同的运动模式区分出来,使用CNN网络完成。这需要一个大的感受野,输出的尺寸需要和输入的图像尺寸一样大小。一个大的感受野对于将 context 信息包含进模型中是至关重要的。小的感受野没法区分是物体的运动还是相机的运动。

网络的结果和语义分割中的结构还是很相似的,本质上是一样的。

3.2. Training with synthetic data 我们使用合成的数据库 FlyingThings3D dataset 来训练CNN网络

4.2. Refining the segmentation We use a fully-connected CRF 后续处理分割结果

不同的输入信息

不同的组合

DAVIS上的比拼

BMS-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据派THU

详解AI Lab 21篇CVPR 2018论文(附论文)

1944
来自专栏量子位

CVPR 2018论文出炉:腾讯AI Lab 21篇入选(附详解)

End-to-End Learning of Motion Representation for Video Understanding

752
来自专栏机器之心

用AI让静图变动图:CVPR热文提出动态纹理合成新方法

选自arXiv 作者:Matthew Tesfaldet等 机器之心编译 参与:路、李泽南 图画总是只能表现事物瞬间的形象,而动画则需要逐帧手绘,费时费力,人工...

3106
来自专栏机器之心

前沿 | 新研究发现深度学习和量子物理的共同点,或可用物理学打开深度学习黑箱

选自arXiv 作者:Yoav Levine等 机器之心编译 参与:吴攀 深度学习和量子物理是两个看似关联很小的领域,但研究者还是找到了它们之间的共同之处。近日...

2516
来自专栏新智元

【干货】计算机视觉视频理解领域的经典方法和最新成果

4422
来自专栏量子位

自编码器是什么?有什么用?这里有一份入门指南(附代码)

? 自编码器(Autoencoder,AE),是一种利用反向传播算法使得输出值等于输入值的神经网络,它先将输入压缩成潜在空间表征,然后通过这种表征来重构输出。...

3146
来自专栏目标检测和深度学习

学界 | 牛津大学提出神经网络新训练法:用低秩结构增强网络压缩和对抗稳健性

作者:Amartya Sanyal、Varun Kanade、Philip H.S. Torr

603
来自专栏机器之心

学界 | Facebook新论文提出通用目标分割框架Mask R-CNN:更简单更灵活表现更好

选自arXiv.org 作者:Kaiming He等 机器之心编译 参与:黄小天、吴攀 ? 近日,Facebook 人工智能研究部门(FAIR)发布了一篇题为《...

2818
来自专栏机器之心

专栏 | CVPR 2017论文解读:基于视频的无监督深度和车辆运动估计

机器之心专栏 作者:单乐 本届 CVPR 2017大会上出现了很多值得关注的精彩论文,国内自动驾驶创业公司 Momenta 联合机器之心推出 CVPR 2017...

2593
来自专栏PaddlePaddle

“端到端”思想

深度学习基础理论-CNN篇 “端到端”思想 ? 深度学习的一个重要思想即“端到端”的学习方式(end-to-end manner),属表示学习(repres...

2907

扫码关注云+社区