视频中的运动特征--Learning Motion Patterns in Videos

Learning Motion Patterns in Videos CVPR2017 Torch code: http://thoth.inrialpes.fr/research/mpnet

本文要解决的问题是 determining whether an object is in motion, irrespective of camera motion, 注意这里的相机是可以运动的,如果相机不动,则问题比较简单。相机运动则问题就比较复杂了。

示意图如下:

人工合成的 FlyingThings3D dataset

相邻两帧图像,相机是运动的,有几个运动的物体,我们希望可以将运动的物体分割出来

3 Learning Motion Patterns

Our MP-Net takes the optical flow field corresponding to two consecutive frames of a video sequence as input, and produces per-pixel motion labels. 本文使用一个 CNN网络,输入相邻两帧图像的 光流场,输出每个像素的运动与否标签

In other words, we treat each video as a sequence of frame pairs, and compute the labels independently for each pair. 我们每个图像对的计算是独立,将视频看作由每个图像对组成

3.1. Network architecture 我们的任务是将光流场中具有不同的运动模式区分出来,使用CNN网络完成。这需要一个大的感受野,输出的尺寸需要和输入的图像尺寸一样大小。一个大的感受野对于将 context 信息包含进模型中是至关重要的。小的感受野没法区分是物体的运动还是相机的运动。

网络的结果和语义分割中的结构还是很相似的,本质上是一样的。

3.2. Training with synthetic data 我们使用合成的数据库 FlyingThings3D dataset 来训练CNN网络

4.2. Refining the segmentation We use a fully-connected CRF 后续处理分割结果

不同的输入信息

不同的组合

DAVIS上的比拼

BMS-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏个人分享

行为统计学第二章知识总结(未完)

如何将数据组织成某些可理解的形式,使得他可以比较容易地发现数据的趋势,并与其他人交流,这就是描述性统计的任务:简化结构并整理组织数据。整理一组数据的最常用过程是...

511
来自专栏我是攻城师

计算机图形处理的一些知识

32411
来自专栏大数据文摘

小白学数据神经网络第二弹:Google可视化体验平台Tensorflow Playground

1814
来自专栏SimpleAI

【DL碎片5】一只蚊子告诉你,什么是正则化(Regularization)

从【DL笔记1】到【DL笔记N】以及【DL碎片】系列,是我学习深度学习一路上的点点滴滴的记录,是从Coursera网课、各大博客、论文的学习以及自己的实践中总结...

1232
来自专栏媒矿工厂

HDR关键技术:色调映射(一)

HDR技术近年来发展迅猛,在未来将会成为图像与视频领域的主流。如何让HDR图像与视频也能够同时兼容地在现有的LDR显示设备上显示,是非常重要的技术挑战。色调映射...

3024
来自专栏专知

CNN神经网络内部知识表达的“黑”与“白“

来源:知乎-Qs.Zhang张拳石 https://zhuanlan.zhihu.com/p/31365150 ▌前言 ---- 关于神经网络内部的知识表达,深...

3288
来自专栏ATYUN订阅号

谷歌大脑团队新尝试 用奇异向量典型相关分析解释深度神经网络

深度神经网络(DNNs)在视觉、语言理解和语音识别等领域取得了前所未有的进展。但这些成功也带来了新的挑战。与许多以前的机器学习方法不同的是,深度神经网络可以很容...

3638
来自专栏ml

双边过滤算法

     双边过滤算法作为一种改进的高斯过滤算法,在图像去噪,和均匀模糊(又称为磨皮),去锯齿效应上有不错的效果.双边过滤是采用Raised cosines函数...

36314
来自专栏null的专栏

简单易学的机器学习算法——极限学习机(ELM)

一、极限学习机的概念        极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解单隐层神经网络的算法。 EL...

5267
来自专栏WD学习记录

K-means中K值的选取

以下博文转自:https://blog.csdn.net/qq_15738501/article/details/79036255  感谢

1842

扫码关注云+社区