10,HistoGAN: Controlling Colors of GAN-Generated and Real Images via Color Histograms
虽然生成对抗网络 (GAN) 可以成功生成高质量的图像,但生成内容难以控制。简化基于 GAN 的图像生成对于它们在平面设计和艺术作品中的采用至关重要。这一目标引起了人们对可以直观地控制 GAN 生成的图像外观的方法的极大兴趣。本文提出HistoGAN,一种基于颜色直方图的方法,用于控制 GAN 生成图像的颜色。
专注于颜色直方图,是因为它提供一种直观的方式来描述图像颜色。具体来说,对StyleGAN 架构修改,由目标颜色直方图特征指定的颜色GAN生成图像。实验表明,这种基于直方图的方法提供了一种更好的方法来控制 GAN 生成图像的颜色。https://github.com/mahmoudnafifi/HistoGAN HistoGAN
19,Linear Semantics in Generative Adversarial Networks
生成对抗网络 (GAN) 能够生成高质量的图像,但仍难明确指定合成图像的语义。这项工作旨在更好地理解 GAN 的语义表示,从而实现语义控制。
本文发现训练好的GAN以一种非常简单的方式在其内部特征图中编码图像语义:特征图的线性变换足以提取生成的图像语义。为了验证这种简单性,对各种 GAN 和数据集进行了大量实验;并且由于这种简单性,能从少量(例如 8 个)标记图像中为经过训练的 GAN 学习语义分割模型。最后利用这种发现,提出少样本图像编辑方法。代码https://github.com/AtlantixJJ/LinearGAN
20,DeFLOCNet: Deep Image Editing via Flexible Low-level Controls
24、When Age-Invariant Face Recognition Meets Face Age Synthesis: A Multi-Task Learning Framework
为了最大程度地减少年龄变化对人脸识别的影响,先前的工作有两种方案:一是通过最小化身份特征和年龄特征之间的相关性来提取与身份相关的辨识性特征(称为年龄不变的人脸识别age-invariant face recognition,AIFR);二是通过转换不同年龄组的人脸到同一年龄组,称为人脸年龄生成(face age synthesis,FAS);但是,前者缺乏用于模型解释的视觉结果,而后者则的生成效果可能有影响下游识别的伪影。
方法基于GAN生成逼真图像,展示了如何解码 GAN 潜码以生成图像语义分割图。训练解码器只需要几个带标签的例子就可以推广到其余的潜在空间,从而产生无限的带标签的数据集生成器!
十八、单样本训练
40,Learning to Generate Novel Scene Compositions from Single Images and Videos
在少量训练数据情况下,训练 GAN 仍是一个挑战,通常会有过拟合问题。
这项工作引入One-Shot GAN,它可以学习从一张图像或一个视频的训练集中生成样本。提出了一个两分支鉴别器,其内容和布局分支旨在分别从场景布局真实感中判断内部内容。这就可以合成具有不同内容和布局的视觉上合理的、新颖的场景组合,同时保留原始样本的上下文。与之前的单图像 GAN 模型相比,One-Shot GAN 实现了更好的多样性和合成质量。它也适用单个视频的学习。
41,IMAGINE: Image Synthesis by Image-Guided Model Inversion
本文提出了一种新的 GAN 变体,即Posterior Promoted GAN(P2GAN),它使用判别器产生的后验分布中的真实信息来提升生成器。与 GAN 的其他变体不同,判别器将图像映射到多元高斯分布并提取真实信息;生成器使用 AdaIN 后的真实信息和潜码。实验结果表明,P2GAN 在无监督图像合成方面取得了与GAN最先进的变体相当的结果。
在不影响全模糊图像/全清晰图像的判断的情况下,可以任意粘贴散焦模糊区域/对焦清晰区域到给定的真实全模糊图像/全清晰图像。具体来说,以对抗双重判别器 Dc 和 Db 的对抗方式训练生成器 G。G 学习生成 DBD 掩码,通过将聚焦区域和未聚焦区域从相应的源图像复制到另一个完整清晰图像和完整模糊图像,从而生成复合清晰图像和复合模糊图像。
https://github.com/shangcai1/SG
三十一、图像恢复、超分
72,GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution
预训练的生成对抗网络 (GAN),例如StyleGAN,可以用作潜码库来提高图像超分辨率 (SR) 的恢复质量。虽然大多数现有的 SR 方法都试图通过对抗性损失的学习来生成逼真的纹理,但本文方法Generative LatEnt bANk (GLEAN) 通过直接利用封装在预训练 GAN 中的丰富多样的先验超越了现有方法。与流行的 GAN 逆映射方法需要在运行时进行昂贵的图像特定优化不同,方法只需一次前向即可生成放大图像。
73,GAN Prior Embedded Network for Blind Face Restoration in the Wild
严重退化的人脸图像中恢复清晰(Blind face restoration ,BFR)极具挑战。现有的基于生成对抗网络 (GAN) 的方法往往会过度平滑。