【视频修复】百度--首个自动视频修复算法，在自动驾驶中获得清晰的街景和逼真的仿真！

论文地址： https://arxiv.org/pdf/2007.08854.pdf

代码：

来源： 百度

论文名称：DVI : Depth Guided Video Inpainting for Autonomous Driving

原文作者：Miao Liao

内容提要

为了在自动驾驶过程中获得清晰的街景和逼真的仿真效果，本文提出了一种基于深度/点云引导的自动视频修复算法，该算法可以去除视频中删除移动的物体，合成缺失区域。通过拼接点云构建密集的3D地图，视频内的帧通过这个3D地图进行几何关联。通过将像素从其他帧转换到当前帧被遮挡的位置，从而填充帧中的目标修补区域。此外，我们通过3D点云配准来融合多个视频，使用多个源视频修复目标视频，从而解决长时间遮挡的问题，也就是遮挡区域在整个视频中都不可见。据我们所知，百度是最早将多个视频融合在一起进行视频修复工作的。为了验证我们的方法的有效性，我们在真实的城市道路环境中建立了一个大的视频修复数据集，其中包括同步图像和激光雷达数据，包括许多具有挑战性的场景，如长时间遮挡。实验结果表明，该方法在所有条件下的性能SOTA，特别是均方根误差降低了约13%！

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请加上文微信联系删除。