Foreground-Constrained Eulerian Video Magnification

1前言

10个月前,我写了一篇解读欧拉影像放大技术的文章 Eulerian Video Magnification,这篇文章自发布以来,点击率超过了1300次,评论数达到了29篇。如果你在 baidu 上搜索“Eulerian Video Magnification”,我的文章排在第二名(第一名是原论文的链接)。而如果你在 google 或 baidu 上搜索 “欧拉影像放大” ,那么第一名的位置就是我的文章。

一个促使我写出这篇博文的原因是因为我的毕业课题就和 EVM 算法有关。当时想着既然一直在钻研这个算法,不如干脆写成博文,一来帮助自己思考,二来也能够通过与其他人交流,加深自己对这个算法的理解。我的论文的想法也很简单,EVM 对于存在大幅度移动物体的细微变化的放大效果并不理想,于是我想到通过与拉格朗日视角的框架相结合,先对感兴趣区域进行跟踪(拉格朗日视角),然后对跟踪结果进行局部的欧拉视角的动作放大,最后再进行多分辨率混合。整个算法框架我称之为“前景约束的欧拉影像放大算法”(Foreground-Constrained Eulerian Video Magnification, FCEVM)。

在做这篇论文的时候,我就做好了把论文在博客上公布并开源 LaTeX 源码的打算。一方面是为了激励自己:既然要在网上发布,那起码文章得拿得出手才行。另一方面也是为了给使用我的论文 LaTeX 模板 SCNUThesis 的学弟学妹们一个真正的模板范例,让他们尽快学会使用 LaTeX 排版论文,免去 Word 的痛苦。

论文的 LaTeX 源码在最后给出,包含了论文、演示课件的 LaTeX 源码,使用 Docear 绘制的思维导图,以及我一边做研究一边整理出来的文献库,相信也能对正在研究欧拉影像动作放大算法的朋友起到帮助。

如果我的论文、插图或 SCNUThesis 对你的研究有所帮助的话,请在文章中引用或者在致谢中说明。

摘要

中文摘要

影像动作放大技术是一种用于改变影像中感兴趣信号的变化幅度的技术。这类技术可以将生活中原本裸眼无法感知的微弱变化放大到裸眼可以感知的幅度,从而挖掘出有价值的信息。

根据视角的不同,影像动作放大技术分为拉格朗日视角和欧拉视角两种视角。其中,拉格朗日视角的方法通过跟踪和改变粒子的运动轨迹来放大变化,但容易受到遮挡的影响,且需要在后期对背景进行填充;欧拉视角的方法则通过分析和增强图像的像素点的灰度值随时间的变化来放大变化,但对于已存在大幅度变化的场景,使用该方法会造成明显的“鬼影”现象。

本文提出了一种结合了拉格朗日视角和欧拉视角的优点的影像动作放大方法,该方法在欧拉影像动作放大技术的基础上,通过使用目标跟踪技术,将放大区域限制在由用户选定的感兴趣区域上。同时,通过使用前景分割技术,将经过放大的动作与感兴趣区域的前景部分进行多分辨率混合。

实验结果表明,该方法应用在当前存在大幅度变化的场景时可以有效的避免“鬼影”问题。此外,将放大的区域限制在感兴趣的区域,可以减少场景中的其他部分对该区域的干扰,有利于对放大结果的后续分析。

关键词: 欧拉影像放大技术 目标跟踪 Mean-shift GrabCut 多分辨率混合

Abstract

Video motion magnification is a kind of techniques for changing the motion amplitude of signal of interest from videos. With such techniques we are able to reveal subtle changes in the world that are originally invisible to naked eyes, so as to exploit valuable information.

Video motion magnification techniques follow two different perspectives i.e. Lagrangian perspective or Eulerian perspective. On one hand, methods following Lagrangian perspective amplify motions by tracking and modifying the trajectory of particles, but it is easy to introduce artifacts especially at region of occlusion boundaries and may require image-inpainting as post-processing. On the other hand, methods following Eulerian perspective amplify motions by analyzing and enhancing the variation of pixel values that evolve over time. However, if the input video contains large motions, the magnified video will suffer from artifacts that known as ghosting effect.

This thesis presents a method that takes the advantages of both two perspectives. Based on eulerian video magnification, we perform object tracking to constrain the amplifying area to a region of interest that is selected by the user. At the same time, our method relies on a foreground segmentation for multi-resolution blending the amplified motion with the foreground part of the original region.

The experimental results show that the approach can obviously eliminate ghosting effect when processing videos with large motions. Besides, by constraining the amplifying area to a region of interest, it can significantly reduce interference from other parts of the scene, which is beneficial to further studies on the amplified results.

Keywords: eulerian video magnification object tracking Mean-shift GrabCut multi-resolution blending

演示视频

引用

@mastersthesis{weizhou2014master,
  author = {潘伟洲},
  title = {前景约束的欧拉影像动作放大技术},
  school = {华南师范大学},
  year = {2014},
  address = {广东省广州市}
}
@mastersthesis{weizhou2014master_en,
  author = {Weizhou Pan},
  title = {Foreground-Constrained Eulerian Video Magnification},
  school = {South China Normal University},
  year = {2014},
  address = {Guangdong, China}
}

下载

Thesis (40.0 MB)

Slides(full) (37.3 MB)

Slides(short) (6.9 MB)

LaTeX Source Code

Source Code for Demo new

原文发布于微信公众号 - HaHack(gh_12d2fe363c80)

原文发表时间:2015-01-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

DeepMind 让 AI 拥有一双人类的眼睛,阴影、遮挡统统难不倒它

这是一篇关于神经渲染的DeepMind论文,这种基于学习的技术为了使机器以人类的方式看事物。它充分理解关于几何,视点,阴影,遮挡,甚至是自阴影和自遮挡等等许多复...

772
来自专栏量子位

资源丨用PyTorch实现Mask R-CNN

FACEBOOK人工智能实验室何恺明博士领衔的Mask R-CNN喜提ICCV 2017最佳论文后,吸引了大量业内研究者的兴趣。

580
来自专栏CreateAMind

巨量奇幻炫酷照片来袭 - 人工智能艺术照片赏析

神经网络在计算机视觉取得了巨大的发展,让我们在图片效果上面的想象力有了更好的展示方式,想象力从图片效果扩展开来,人类的想象力有了更好的表达。从场景到人物,从游戏...

782
来自专栏大数据文摘

AI不仅能画画,还能编和弦了:谷歌这几年取得了哪些艺术成就?

1474
来自专栏AI研习社

旷视发布基准数据集 CrowdHuman,用于人群中的人类检测

雷锋网 AI 研习社按,近期,旷视发布了一个叫做 CrowdHuman 的基准数据集,该数据集可用于人群中的人类检测。

982
来自专栏华章科技

从1维到6维,一文读懂多维数据可视化策略

本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载

664
来自专栏杨熹的专栏

5分钟构建一个自己的无人驾驶车

心情不够振奋,学个新技术吧! 翻译来源: https://www.youtube.com/watch?v=hBedCdzCoWM 发现了一个特逗儿的小伙儿,有...

3276
来自专栏量子位

AlphaZero完胜三大世界冠军棋类程序:5000个TPU、自学一天

Root 编译整理 量子位 出品 | 公众号 QbitAI 昨天,DeepMind团队又在arXiv上扔了个重磅炸弹,新一代AlphaZero在用了强劲的计算资...

3265
来自专栏量子位

强化学习新路径:基于自监督预测的好奇心驱动探索(Paper+Code)

王小新 编译整理 量子位 报道 | 公众号 QbitAI ? 最近,来自加州大学伯克利分校的Deepak Pathak、Pulkit Agrawal、Alexe...

35311
来自专栏量子位

真实到可怕!英伟达MIT造出马良的神笔

拿到神笔的马良,可以画物品、画动物、画食物,而且,这些画作都可以一秒钟从画面上出来,变成真实世界中存在的东西。

613

扫码关注云+社区