Foreground-Constrained Eulerian Video Magnification

1前言

10个月前,我写了一篇解读欧拉影像放大技术的文章 Eulerian Video Magnification,这篇文章自发布以来,点击率超过了1300次,评论数达到了29篇。如果你在 baidu 上搜索“Eulerian Video Magnification”,我的文章排在第二名(第一名是原论文的链接)。而如果你在 google 或 baidu 上搜索 “欧拉影像放大” ,那么第一名的位置就是我的文章。

一个促使我写出这篇博文的原因是因为我的毕业课题就和 EVM 算法有关。当时想着既然一直在钻研这个算法,不如干脆写成博文,一来帮助自己思考,二来也能够通过与其他人交流,加深自己对这个算法的理解。我的论文的想法也很简单,EVM 对于存在大幅度移动物体的细微变化的放大效果并不理想,于是我想到通过与拉格朗日视角的框架相结合,先对感兴趣区域进行跟踪(拉格朗日视角),然后对跟踪结果进行局部的欧拉视角的动作放大,最后再进行多分辨率混合。整个算法框架我称之为“前景约束的欧拉影像放大算法”(Foreground-Constrained Eulerian Video Magnification, FCEVM)。

在做这篇论文的时候,我就做好了把论文在博客上公布并开源 LaTeX 源码的打算。一方面是为了激励自己:既然要在网上发布,那起码文章得拿得出手才行。另一方面也是为了给使用我的论文 LaTeX 模板 SCNUThesis 的学弟学妹们一个真正的模板范例,让他们尽快学会使用 LaTeX 排版论文,免去 Word 的痛苦。

论文的 LaTeX 源码在最后给出,包含了论文、演示课件的 LaTeX 源码,使用 Docear 绘制的思维导图,以及我一边做研究一边整理出来的文献库,相信也能对正在研究欧拉影像动作放大算法的朋友起到帮助。

如果我的论文、插图或 SCNUThesis 对你的研究有所帮助的话,请在文章中引用或者在致谢中说明。

摘要

中文摘要

影像动作放大技术是一种用于改变影像中感兴趣信号的变化幅度的技术。这类技术可以将生活中原本裸眼无法感知的微弱变化放大到裸眼可以感知的幅度,从而挖掘出有价值的信息。

根据视角的不同,影像动作放大技术分为拉格朗日视角和欧拉视角两种视角。其中,拉格朗日视角的方法通过跟踪和改变粒子的运动轨迹来放大变化,但容易受到遮挡的影响,且需要在后期对背景进行填充;欧拉视角的方法则通过分析和增强图像的像素点的灰度值随时间的变化来放大变化,但对于已存在大幅度变化的场景,使用该方法会造成明显的“鬼影”现象。

本文提出了一种结合了拉格朗日视角和欧拉视角的优点的影像动作放大方法,该方法在欧拉影像动作放大技术的基础上,通过使用目标跟踪技术,将放大区域限制在由用户选定的感兴趣区域上。同时,通过使用前景分割技术,将经过放大的动作与感兴趣区域的前景部分进行多分辨率混合。

实验结果表明,该方法应用在当前存在大幅度变化的场景时可以有效的避免“鬼影”问题。此外,将放大的区域限制在感兴趣的区域,可以减少场景中的其他部分对该区域的干扰,有利于对放大结果的后续分析。

关键词: 欧拉影像放大技术 目标跟踪 Mean-shift GrabCut 多分辨率混合

Abstract

Video motion magnification is a kind of techniques for changing the motion amplitude of signal of interest from videos. With such techniques we are able to reveal subtle changes in the world that are originally invisible to naked eyes, so as to exploit valuable information.

Video motion magnification techniques follow two different perspectives i.e. Lagrangian perspective or Eulerian perspective. On one hand, methods following Lagrangian perspective amplify motions by tracking and modifying the trajectory of particles, but it is easy to introduce artifacts especially at region of occlusion boundaries and may require image-inpainting as post-processing. On the other hand, methods following Eulerian perspective amplify motions by analyzing and enhancing the variation of pixel values that evolve over time. However, if the input video contains large motions, the magnified video will suffer from artifacts that known as ghosting effect.

This thesis presents a method that takes the advantages of both two perspectives. Based on eulerian video magnification, we perform object tracking to constrain the amplifying area to a region of interest that is selected by the user. At the same time, our method relies on a foreground segmentation for multi-resolution blending the amplified motion with the foreground part of the original region.

The experimental results show that the approach can obviously eliminate ghosting effect when processing videos with large motions. Besides, by constraining the amplifying area to a region of interest, it can significantly reduce interference from other parts of the scene, which is beneficial to further studies on the amplified results.

Keywords: eulerian video magnification object tracking Mean-shift GrabCut multi-resolution blending

演示视频

引用

@mastersthesis{weizhou2014master,
  author = {潘伟洲},
  title = {前景约束的欧拉影像动作放大技术},
  school = {华南师范大学},
  year = {2014},
  address = {广东省广州市}
}
@mastersthesis{weizhou2014master_en,
  author = {Weizhou Pan},
  title = {Foreground-Constrained Eulerian Video Magnification},
  school = {South China Normal University},
  year = {2014},
  address = {Guangdong, China}
}

下载

Thesis (40.0 MB)

Slides(full) (37.3 MB)

Slides(short) (6.9 MB)

LaTeX Source Code

Source Code for Demo new

原文发布于微信公众号 - HaHack(gh_12d2fe363c80)

原文发表时间:2015-01-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

AI大事件 | WaveNet推出了谷歌助手,苹果发布CoreML转换器

1733
来自专栏ATYUN订阅号

MIT语义软分割实现精细“抠图”,有助于打造逼真的电影特效

随着电影越来越注重CGI,电影制作人必须越来越擅长“合成”,即合并前景和背景图像,例如将演员放置在飞机或行星的顶部,或者放入《黑豹》的Wakanda这样的虚构世...

3207
来自专栏人工智能头条

6月机器学习热文TOP10,精选自1400篇文章

841
来自专栏量子位

Google Pixel 2拍照黑科技:单摄搞定背景虚化+内部潜伏神秘芯片

安妮 夏乙 发自 凹非寺 量子位 出品 | 公众号 QbitAI ? Google最新亲儿子Google Pixel 2系列一发布,拍照效果的好评就已铺天盖地。...

4134
来自专栏数据科学与人工智能

【算法】推荐算法--协同过滤

协同过滤推荐(Collaborative Filtering recommendation)是在信息过滤和信息系统中正迅速成为一项很受欢迎的技术。与传统的基于内...

1541
来自专栏人工智能头条

深度学习成长的烦恼

1121
来自专栏AI科技大本营的专栏

Fast.ai 最实战深度学习在线课程 Lesson1

AI100 上周二推送了 Fast.ai 的 Lesson 0,很受同学们的欢迎。今天,我们将推出 Lesson1,本节课将在你“完全”不懂数学模型的前提下,教...

4575
来自专栏AI研习社

用验证机制加强神经网络的能力:研究者提出机器学习防御措施 | 2分钟读论文

来源 / Two Minute Papers 翻译 / 洪振亚 校对 / 囧囧 整理 / 雷锋字幕组 本期论文 Reluplex: An Efficient S...

3605
来自专栏新智元

【重磅】谷歌发布Open Images图片数据集,包含9百万标注图片

AI World 2016世界人工智能大会 ❶ 业界领袖回溯60年AI历史,全球对话人工智能未来挑战,权威发布2016世界人工智能名人堂及中国人工智能产业发展报...

3835
来自专栏PPV课数据科学社区

不可不知 | 有关文本挖掘的14个概念

版权声明 作者:杜尔森·德伦(Dursun Delen) 来源:《大数据掘金 挖掘商业世界中的数据价值》,中国人民大学出版社出版 本文由数据之王(ID:shuj...

3608

扫码关注云+社区

领取腾讯云代金券