CVPR2022 | 港城大&微软新算法！让老电影重获新生！效果惊艳！

大家好，我是 阿潘～

不知道大家小时候有没有看过村里投影到墙壁的胶片电影，那时候的太快乐了。如今大家的条件都好起来，看似荷包鼓了，却买不到太多纯粹的快乐了。

今天跟大家分享一个来自CVPR2022的工作，能够让以前的老电影恢复成高清的画质并且还能够进行上色，效果非常的惊艳！

更多CVPR2022工作整理：

https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo

https://space.bilibili.com/288489574

主页：http://raywzy.com/Old_Film/

论文：https://arxiv.org/pdf/2203.17276.pdf

标题：Bringing Old Films Back to Life

先看效果：

摘要：

本文提出了一个基于学习的框架，即循环transformer网络 (RTN)，以恢复严重退化的旧电影。我们的方法不是执行逐帧恢复，而是基于从相邻帧中学习到的隐藏知识，这些知识包含大量关于遮挡的信息，这有利于恢复每个帧的具有挑战性的伪影，同时确保时间一致性。此外，对比当前帧的表示和隐藏的知识，可以以无监督的方式推断划痕位置，并且这种缺陷定位很好地推广到了现实世界的退化。为了更好地解决混合退化并补偿帧对齐期间的流量估计误差，我们建议利用更具表现力的transformer块进行空间恢复。对合成数据集和真实世界老电影的实验证明了所提出的 RTN 相对于现有解决方案的显着优势。此外，相同的框架可以有效地将颜色从关键帧传播到整个视频，最终产生引人注目的修复电影。

整体框架：

在这项工作中，我们寻求将整个电影修复任务与我们进行时空修复的单一框架统一起来。关键的见解是，旧电影中的大多数退化，尤其是结构化缺陷，都是随时间变化的，即在一帧中被遮挡的结构化缺陷可能会在连续帧中揭示其内容。因此，我们建议通过利用时空上下文而不是依赖幻觉来修复退化。具体来说，提出了一个双向循环网络（图 2），它聚合了相邻帧之间的场景知识，有效地减少了电影闪烁。循环模块的隐藏状态嵌入了场景内容的表示。对齐后，特定帧的恢复融合了这种隐藏的表示，因为它提供了有关缺陷背后的电影内容的有用知识。这样的循环计划带来了三倍的好处。首先，只要信息在其他帧中保存完好，无论多么严重，都可以完全恢复胶片退化。其次，隐藏知识的显式维护确保了帧的恢复在很长一段时间内是时间一致的。更重要的是，结构化缺陷可以以无监督的方式定位，因为这些区域在当前帧的表示和隐藏状态之间显示出更大的差异。与需要缺陷分割网络的 不同，这种缺陷定位更适用于现实世界的旧薄膜退化

更多细节请参考原文！