AI 编辑视频！这特效太逆天了！代码开源 SIGGRAPH Asia 2021

AI算法与图像处理

发布于 2022-02-10 10:29:19

1.7K0

发布于 2022-02-10 10:29:19

大家好，我是阿潘，今天给大家分享一篇最新的成果《Layered Neural Atlases for Consistent Video Editing》，可以用于视频编辑，从demo来看，可以实现的效果包括删除视频中的物体、可以对视频内的物体进行编辑、风格化迁移等等，效果非常的惊艳。

论文标题：

Layered Neural Atlases for Consistent Video Editing

【上次分享论文】NeROIC: Neural Object Capture and Rendering from Online Image Collections

论文、代码和主页链接：

https://arxiv.org/abs/2109.11418

https://github.com/ykasten/layered-neural-atlases

https://layered-neural-atlases.github.io/

效果：

上面是一些视频编辑的应用示例。

从上往下分别实现的效果是：

第一行：对冲浪者脚下的水花添加特效

第二行：对河面上的鸭子（可能是鸭子吧）添加特效

第三行：对骑车男孩周围的环境施加特效

第四行：对狗做标记

(a) 各种编辑效果直接应用于我们的输出图集（顶部 4）或给定的视频帧（底部）；这些效果包括风格化前景对象 (Blackswan) 或背景 (Bicycle)、转移纹理元素 (Kite-surf、Libby) 或将静止图像转移到移动背景 (Boat)。在所有情况下，编辑都会自动且一致地映射到原始视频帧。有关这些编辑的视频示例，请参阅补充材料。

摘要

我们提出了一种将输入视频分解或“展开”为一组分层 2D 图集的方法，每个图集都提供了视频上对象（或背景）外观的统一表示。对于视频中的每个像素，我们的方法会在每个图集中估计其对应的 2D 坐标，从而为我们提供一致的视频参数化以及相关的 alpha（不透明度）值。重要的是，我们将地图集设计为可解释和语义化的，这有助于在地图集域中轻松直观地进行编辑，而所需的手动工作最少。应用于单个 2D 图集（或输入视频帧）的编辑会自动且一致地映射回原始视频帧，同时保留遮挡、变形和其他复杂的场景效果，例如阴影和反射。我们的方法采用基于坐标的多层感知器 (MLP) 表示，用于映射、图谱和 alpha，它们在每个视频的基础上联合优化，使用视频重建和正则化损失的组合。通过纯粹在 2D 中操作，我们的方法不需要任何关于场景几何或相机姿势的先验 3D 知识，并且可以处理复杂的动态现实世界视频。我们演示了各种视频编辑应用程序，包括纹理映射、视频风格传输、图像到视频纹理传输和分割/标签传播，所有这些都是通过编辑单个 2D 图集图像自动生成的。

整体思路

框架图：

图 2. 我们的两个图集的管道示意图：视频 𝑝 中的每个像素位置被输入到两个映射 MLP，M𝑏，M𝑓，它们预测每个图集中 𝑝 的相应 2D（𝑢，𝑣）坐标。然后将这些坐标输入到图集 MLP A 中，该图集在该位置输出 RGB 颜色（前景图集和背景图集被映射到 2D 图集空间中的两个不同区域）。𝑝 在每个图集中的可见性由 alpha MLP M𝑎 确定，它以 𝑝 作为输入并预测不透明度值。然后可以通过对预测的图集点进行 alpha 混合来重建 𝑝 处的 RGB 颜色。所有网络都是端到端训练的，主要损失是原始输入视频的自监督重建损失。对于可视化建议，我们在视频中显示给定帧的预测映射和 alpha 映射，并将图集渲染为 RGB 图像。