SkyAR 天空之城：实时替换天空

摘要

本文提出了一种基于视觉的视频天空置换与调和方法，可以自动生成风格可控的逼真而富有戏剧性的视频天空背景。不同于以往的天空编辑方法，本文的方法是纯粹基于视觉的，对拍摄设备没有任何要求，可以很好地应用于在线或在线处理场景。本文的方法是实时运行的，不需要用户交互。本文将这一艺术创作过程分解为几个子任务，包括天空蒙版、运动估计和图像混合。实验是在手持智能手机和行车记录仪在野外拍摄的视频上进行的，结果显示出高清晰度和良好的视觉效果。实验表明，本文的方法在视觉质量和光照/运动动态方面的出色的泛化能力。

「code」: https://github.com/jiupinjia/SkyAR

「官网」: https://jiupinjia.github.io/skyar

论文后台回复「skyar」获取。

主要贡献

• 本文提出了一个新的框架，用于户外视频中的天空增强。以往的方法仅仅关注静态图像的天空增强/编辑，很少考虑动态视频。
• 与往的户外增强现实方法不同的是，本文提出了一个纯视觉的解决方案，适用于在线和户外的应用场景，它需要来自IMU的实时摄像机姿态信号。

方法概述

如下图所示，本文提出的方法包括3个部分：一个用于天空蒙版预测的网络，一个用于背景运动估计的运动估计器，以及一个用于将用户指定的天空模板混合到视频帧中的skybox。

主要结果

视频天空增强

本文的方法可以产生生动的混合结果，具有高度的真实性和视觉动态性。在使用一块NVIDIA Titan XP GPU卡的情况下，本文方法在输出分辨率为640×320的情况下达到了实时处理速度（24 fps），在854×480的情况下达到了接近实时的处理速度（15 fps）。下面给出了我们在户外视频上的几组混合结果（浮空城堡、火云、超级月亮和银河之夜）。

(微信公众号GIF失真了，推荐请前往官网查看)

天气/光线转换

作为副产品，本文的方法也可以用于图像天气和照明转换。本文方法的一个潜在应用是数据增强。样本有限的数据集与复杂的现实世界之间的领域差距，给数据驱动的计算机视觉方法带来了巨大的挑战。例如，自动驾驶中对领域敏感的视觉感知模型可能会在夜间或雨天面临问题，因为训练数据中的例子有限。我们认为我们的方法在各种计算机视觉任务中，如检测、分割、跟踪等，对提高深度学习模型的泛化能力有很大的潜力。这也是我们未来的工作之一。

(微信公众号GIF失真了，推荐请前往官网查看)

总结

本文研究了计算机视觉中的一个新问题：天空视频增强，即用纯视觉的方法在视频中自动替换和协调天空。本文将这一问题分解为三个子任务：天空蒙版、运动估计和天空混合。本文的方法不依赖于摄像设备上集成的惯性测量单元，也不需要用户交互。使用本文的方法，用户可以轻松地实时生成高度逼真和酷炫的天空动画。作为副产品，我们的方法还可以用于图像天气转换，希望它可以作为一种新的数据增强方法，以增强深度学习模型在计算机视觉任务中的泛化能力。

Abstract

We propose a vision-based method for video sky replacement and harmonization, which can automatically generate realistic and dramatic sky backgrounds in videos with controllable styles. Different from previous sky editing methods that either focus on static photos or require inertial measurement units integrated in smartphones on shooting videos, our method is purely vision-based, without any requirements on the capturing devices, and can be well applied to either online or offline processing scenarios. Our method runs in real-time and is free of user interactions. We decompose this artistic creation process into a couple of proxy tasks including sky matting, motion estimation, and image blending. Experiments are conducted on videos diversely captured in the wild by handheld smartphones and dash cameras, and show high fidelity and good generalization of our method in both visual quality and lighting/motion dynamics.