Foreground-Constrained Eulerian Video Magnification

1前言

10个月前,我写了一篇解读欧拉影像放大技术的文章 Eulerian Video Magnification,这篇文章自发布以来,点击率超过了1300次,评论数达到了29篇。如果你在 baidu 上搜索“Eulerian Video Magnification”,我的文章排在第二名(第一名是原论文的链接)。而如果你在 google 或 baidu 上搜索 “欧拉影像放大” ,那么第一名的位置就是我的文章。

一个促使我写出这篇博文的原因是因为我的毕业课题就和 EVM 算法有关。当时想着既然一直在钻研这个算法,不如干脆写成博文,一来帮助自己思考,二来也能够通过与其他人交流,加深自己对这个算法的理解。我的论文的想法也很简单,EVM 对于存在大幅度移动物体的细微变化的放大效果并不理想,于是我想到通过与拉格朗日视角的框架相结合,先对感兴趣区域进行跟踪(拉格朗日视角),然后对跟踪结果进行局部的欧拉视角的动作放大,最后再进行多分辨率混合。整个算法框架我称之为“前景约束的欧拉影像放大算法”(Foreground-Constrained Eulerian Video Magnification, FCEVM)。

在做这篇论文的时候,我就做好了把论文在博客上公布并开源 LaTeX 源码的打算。一方面是为了激励自己:既然要在网上发布,那起码文章得拿得出手才行。另一方面也是为了给使用我的论文 LaTeX 模板 SCNUThesis 的学弟学妹们一个真正的模板范例,让他们尽快学会使用 LaTeX 排版论文,免去 Word 的痛苦。

论文的 LaTeX 源码在最后给出,包含了论文、演示课件的 LaTeX 源码,使用 Docear 绘制的思维导图,以及我一边做研究一边整理出来的文献库,相信也能对正在研究欧拉影像动作放大算法的朋友起到帮助。

如果我的论文、插图或 SCNUThesis 对你的研究有所帮助的话,请在文章中引用或者在致谢中说明。

摘要

中文摘要

影像动作放大技术是一种用于改变影像中感兴趣信号的变化幅度的技术。这类技术可以将生活中原本裸眼无法感知的微弱变化放大到裸眼可以感知的幅度,从而挖掘出有价值的信息。

根据视角的不同,影像动作放大技术分为拉格朗日视角和欧拉视角两种视角。其中,拉格朗日视角的方法通过跟踪和改变粒子的运动轨迹来放大变化,但容易受到遮挡的影响,且需要在后期对背景进行填充;欧拉视角的方法则通过分析和增强图像的像素点的灰度值随时间的变化来放大变化,但对于已存在大幅度变化的场景,使用该方法会造成明显的“鬼影”现象。

本文提出了一种结合了拉格朗日视角和欧拉视角的优点的影像动作放大方法,该方法在欧拉影像动作放大技术的基础上,通过使用目标跟踪技术,将放大区域限制在由用户选定的感兴趣区域上。同时,通过使用前景分割技术,将经过放大的动作与感兴趣区域的前景部分进行多分辨率混合。

实验结果表明,该方法应用在当前存在大幅度变化的场景时可以有效的避免“鬼影”问题。此外,将放大的区域限制在感兴趣的区域,可以减少场景中的其他部分对该区域的干扰,有利于对放大结果的后续分析。

关键词: 欧拉影像放大技术 目标跟踪 Mean-shift GrabCut 多分辨率混合

Abstract

Video motion magnification is a kind of techniques for changing the motion amplitude of signal of interest from videos. With such techniques we are able to reveal subtle changes in the world that are originally invisible to naked eyes, so as to exploit valuable information.

Video motion magnification techniques follow two different perspectives i.e. Lagrangian perspective or Eulerian perspective. On one hand, methods following Lagrangian perspective amplify motions by tracking and modifying the trajectory of particles, but it is easy to introduce artifacts especially at region of occlusion boundaries and may require image-inpainting as post-processing. On the other hand, methods following Eulerian perspective amplify motions by analyzing and enhancing the variation of pixel values that evolve over time. However, if the input video contains large motions, the magnified video will suffer from artifacts that known as ghosting effect.

This thesis presents a method that takes the advantages of both two perspectives. Based on eulerian video magnification, we perform object tracking to constrain the amplifying area to a region of interest that is selected by the user. At the same time, our method relies on a foreground segmentation for multi-resolution blending the amplified motion with the foreground part of the original region.

The experimental results show that the approach can obviously eliminate ghosting effect when processing videos with large motions. Besides, by constraining the amplifying area to a region of interest, it can significantly reduce interference from other parts of the scene, which is beneficial to further studies on the amplified results.

Keywords: eulerian video magnification object tracking Mean-shift GrabCut multi-resolution blending

演示视频

引用

@mastersthesis{weizhou2014master,
  author = {潘伟洲},
  title = {前景约束的欧拉影像动作放大技术},
  school = {华南师范大学},
  year = {2014},
  address = {广东省广州市}
}
@mastersthesis{weizhou2014master_en,
  author = {Weizhou Pan},
  title = {Foreground-Constrained Eulerian Video Magnification},
  school = {South China Normal University},
  year = {2014},
  address = {Guangdong, China}
}

下载

Thesis (40.0 MB)

Slides(full) (37.3 MB)

Slides(short) (6.9 MB)

LaTeX Source Code

Source Code for Demo new

原文发布于微信公众号 - HaHack(gh_12d2fe363c80)

原文发表时间:2015-01-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏菩提树下的杨过

遍历文件夹所有文件(示例)

//要引用 using System.Collections.Specialized; public StringCollection GetAllFile...

2159
来自专栏吴小龙同學

时间工具类TimeUtil

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30...

3066
来自专栏吴伟祥

Java Calendar 类的时间操作 原

Calendar 的 month 从 0 开始,也就是全年 12 个月由 0 ~ 11 进行表示。

783
来自专栏海说

Java应用中常见的JDBC连接字符串(SQLite、MySQL、Oracle、Sybase、SQLServer、DB2)

Java应用中常见的JDBC连接字符串 Java应用中连接数据库是不可或缺的,于是便整理一些可能用到的JDBC的jar包及其相匹配的URL,以备日后查阅。 1)...

2750
来自专栏跟着阿笨一起玩NET

[C#]工具类—FTP上传下载

  不错的文章:http://www.cnblogs.com/greatverve/archive/2012/03/03/csharp-ftp.html

1241
来自专栏积累沉淀

Hive2.0.0操作HBase 1.2.1报错解决

首先看错  org.apache.hive.service.cli.HiveSQLException: Failed to open new session: ...

2369
来自专栏c#开发者

C# : row-clickable GridView and get and set gridview rows using JavaScript

Complete C# code: ---------------- using System; using System.ComponentModel; ...

3006
来自专栏xingoo, 一个梦想做发明家的程序员

windows程序设计-第四章 system1.c

/*---------------------------------------------------- SYSMETS1.C -- System M...

24010
来自专栏我和未来有约会

silverlight向服务器post数据类

using System; using System.Net; using System.Windows; using System.Windows.Co...

1995
来自专栏码匠的流水账

聊聊EurekaRibbonClientConfiguration

spring-cloud-netflix-eureka-client-2.0.0.RELEASE-sources.jar!/org/springframewor...

1171

扫码关注云+社区