Foreground-Constrained Eulerian Video Magnification

1前言

10个月前,我写了一篇解读欧拉影像放大技术的文章 Eulerian Video Magnification,这篇文章自发布以来,点击率超过了1300次,评论数达到了29篇。如果你在 baidu 上搜索“Eulerian Video Magnification”,我的文章排在第二名(第一名是原论文的链接)。而如果你在 google 或 baidu 上搜索 “欧拉影像放大” ,那么第一名的位置就是我的文章。

一个促使我写出这篇博文的原因是因为我的毕业课题就和 EVM 算法有关。当时想着既然一直在钻研这个算法,不如干脆写成博文,一来帮助自己思考,二来也能够通过与其他人交流,加深自己对这个算法的理解。我的论文的想法也很简单,EVM 对于存在大幅度移动物体的细微变化的放大效果并不理想,于是我想到通过与拉格朗日视角的框架相结合,先对感兴趣区域进行跟踪(拉格朗日视角),然后对跟踪结果进行局部的欧拉视角的动作放大,最后再进行多分辨率混合。整个算法框架我称之为“前景约束的欧拉影像放大算法”(Foreground-Constrained Eulerian Video Magnification, FCEVM)。

在做这篇论文的时候,我就做好了把论文在博客上公布并开源 LaTeX 源码的打算。一方面是为了激励自己:既然要在网上发布,那起码文章得拿得出手才行。另一方面也是为了给使用我的论文 LaTeX 模板 SCNUThesis 的学弟学妹们一个真正的模板范例,让他们尽快学会使用 LaTeX 排版论文,免去 Word 的痛苦。

论文的 LaTeX 源码在最后给出,包含了论文、演示课件的 LaTeX 源码,使用 Docear 绘制的思维导图,以及我一边做研究一边整理出来的文献库,相信也能对正在研究欧拉影像动作放大算法的朋友起到帮助。

如果我的论文、插图或 SCNUThesis 对你的研究有所帮助的话,请在文章中引用或者在致谢中说明。

摘要

中文摘要

影像动作放大技术是一种用于改变影像中感兴趣信号的变化幅度的技术。这类技术可以将生活中原本裸眼无法感知的微弱变化放大到裸眼可以感知的幅度,从而挖掘出有价值的信息。

根据视角的不同,影像动作放大技术分为拉格朗日视角和欧拉视角两种视角。其中,拉格朗日视角的方法通过跟踪和改变粒子的运动轨迹来放大变化,但容易受到遮挡的影响,且需要在后期对背景进行填充;欧拉视角的方法则通过分析和增强图像的像素点的灰度值随时间的变化来放大变化,但对于已存在大幅度变化的场景,使用该方法会造成明显的“鬼影”现象。

本文提出了一种结合了拉格朗日视角和欧拉视角的优点的影像动作放大方法,该方法在欧拉影像动作放大技术的基础上,通过使用目标跟踪技术,将放大区域限制在由用户选定的感兴趣区域上。同时,通过使用前景分割技术,将经过放大的动作与感兴趣区域的前景部分进行多分辨率混合。

实验结果表明,该方法应用在当前存在大幅度变化的场景时可以有效的避免“鬼影”问题。此外,将放大的区域限制在感兴趣的区域,可以减少场景中的其他部分对该区域的干扰,有利于对放大结果的后续分析。

关键词: 欧拉影像放大技术 目标跟踪 Mean-shift GrabCut 多分辨率混合

Abstract

Video motion magnification is a kind of techniques for changing the motion amplitude of signal of interest from videos. With such techniques we are able to reveal subtle changes in the world that are originally invisible to naked eyes, so as to exploit valuable information.

Video motion magnification techniques follow two different perspectives i.e. Lagrangian perspective or Eulerian perspective. On one hand, methods following Lagrangian perspective amplify motions by tracking and modifying the trajectory of particles, but it is easy to introduce artifacts especially at region of occlusion boundaries and may require image-inpainting as post-processing. On the other hand, methods following Eulerian perspective amplify motions by analyzing and enhancing the variation of pixel values that evolve over time. However, if the input video contains large motions, the magnified video will suffer from artifacts that known as ghosting effect.

This thesis presents a method that takes the advantages of both two perspectives. Based on eulerian video magnification, we perform object tracking to constrain the amplifying area to a region of interest that is selected by the user. At the same time, our method relies on a foreground segmentation for multi-resolution blending the amplified motion with the foreground part of the original region.

The experimental results show that the approach can obviously eliminate ghosting effect when processing videos with large motions. Besides, by constraining the amplifying area to a region of interest, it can significantly reduce interference from other parts of the scene, which is beneficial to further studies on the amplified results.

Keywords: eulerian video magnification object tracking Mean-shift GrabCut multi-resolution blending

演示视频

引用

@mastersthesis{weizhou2014master,
  author = {潘伟洲},
  title = {前景约束的欧拉影像动作放大技术},
  school = {华南师范大学},
  year = {2014},
  address = {广东省广州市}
}
@mastersthesis{weizhou2014master_en,
  author = {Weizhou Pan},
  title = {Foreground-Constrained Eulerian Video Magnification},
  school = {South China Normal University},
  year = {2014},
  address = {Guangdong, China}
}

下载

Thesis (40.0 MB)

Slides(full) (37.3 MB)

Slides(short) (6.9 MB)

LaTeX Source Code

Source Code for Demo new

原文发布于微信公众号 - HaHack(gh_12d2fe363c80)

原文发表时间:2015-01-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据派THU

独家 | 一文读懂自然语言处理NLP(附学习资料)

前言 自然语言处理是文本挖掘的研究领域之一,是人工智能和语言学领域的分支学科。在此领域中探讨如何处理及运用自然语言。 对于自然语言处理的发展历程,可以从哲学中的...

92710
来自专栏新智元

【爱可可推荐】春节必读10大热门机器学习文章

新智元编译 来源:medium等 编译:小七 【新智元导读】春节必看十大机器学习热门文章排行榜。本榜单中涉及的主题包括:谷歌大脑、AlphaGo、生成维...

3669
来自专栏人工智能头条

6月机器学习热文TOP10,精选自1400篇文章

751
来自专栏数据科学与人工智能

【算法】推荐算法--协同过滤

协同过滤推荐(Collaborative Filtering recommendation)是在信息过滤和信息系统中正迅速成为一项很受欢迎的技术。与传统的基于内...

1211
来自专栏量子位

Top10机器学习开源项目发布,历时一个月评出 | 附GitHub地址

从将近250个机器学习开源项目中,综合各种条件进行打分排序,最终Mybridge团队评选出十大最新、最棒的机器学习开源项目。 这份Top10名单中包括对象检测、...

3468
来自专栏加米谷大数据

技术分享 | 数据可视化5种方法

数据可视化是指以饼状图等图形的方式展示数据,可以帮助用户理解数据,一直是热门方向。 图表是”数据可视化”的常用手段,其中又以基本图表—-柱状图、折线图、饼图等等...

2947
来自专栏PPV课数据科学社区

不可不知 | 有关文本挖掘的14个概念

版权声明 作者:杜尔森·德伦(Dursun Delen) 来源:《大数据掘金 挖掘商业世界中的数据价值》,中国人民大学出版社出版 本文由数据之王(ID:shuj...

3438
来自专栏机器之心

学界 | DeepMind论文三连发:如何在仿真环境中生成灵活行为

选自DeepMind 机器之心编译 参与:smith、黄小天、路雪 一只猴子在树林之间敏捷而灵活地跳跃穿梭,或者一名足球运动员快速带球过人、劲射得分,这些表现皆...

3276
来自专栏量子位

这里是强化学习入门,的入门 | 绝对新手友好

强化学习是机器学习里面非常重要的一个派别。智能体 (agent) 会不断执行一些操作,通过结果来学习,在不同的环境中分别应该采取怎样的行动。

1062
来自专栏新智元

【重磅】谷歌发布Open Images图片数据集,包含9百万标注图片

AI World 2016世界人工智能大会 ❶ 业界领袖回溯60年AI历史,全球对话人工智能未来挑战,权威发布2016世界人工智能名人堂及中国人工智能产业发展报...

3685

扫码关注云+社区