ECCV 2022 | 改进GAN的逆映射，做域外的图像编辑

论文：https://arxiv.org/abs/2207.08134

https://github.com/HaoruiSong622/Editing-Out-of-Domain

Editing Out-of-domain GAN Inversion via Differential Activations

尽管在预训练GAN 模型的潜在空间中展示了强大的编辑能力，但逆映射真实世界的图像（到潜在空间）仍不简单，即重建不能忠实于原始输入。造成这种情况的主要原因是训练数据和真实世界数据之间的分布错位，正因为如此，GAN 逆映射对于真实图像编辑来说是不稳定的。

本文提出一种新的基于 GAN 先验的编辑框架，以使用组合分解范式解决域外的逆映射问题。特别是，在生成阶段，引入了一个差分激活模块，用于从全局角度检测语义变化，即编辑和未编辑图像特征之间的相对差距。借助生成的 Diff-CAM 掩码，可以直观地通过配对的原始图像和编辑图像合成粗略重建。

即使这样，与属性无关的区域几乎可以全部保留下来，而这种中间结果的质量仍然受到不可避免的重影效应的限制。因此，在分解阶段，进一步提出了一个基于 GAN 先验的去重影网络，用于将最终的精细编辑图像与粗略重建分离。

在定性和定量评估方面，广泛的实验显示出本方法优于最先进方法的优势。方法的鲁棒性和灵活性也在单属性和多属性操作的两种情况下得到验证。