最新ICCV2021 | GAN少样本（26）实例可控（27）视图合成（28）细粒度生成（29）细粒度检索（30）生成对抗GAN

二十六、少样本生成

72、LoFGAN: Fusing Local Representations for Few-shot Image Generation

• 给定新的、训练未知的类别里的少数可用图像，少样本图像生成，旨在为该类别生成更多数据。以前工作试图通过使用可调整的加权系数来融合这些图像。然而从全局角度来看，不同图像之间存在严重的语义错位，使得生成质量和多样性较差。
• 为此提出 LocalFusion Generative Adversarial Network (LoFGAN)，将这些可用的图像作为一个整体来使用，而是首先将它们随机分成一个基本图像和几个参考图像。接下来，LoFGAN 基于语义相似性匹配基础图像和参考图像之间的局部表示，并用最接近的相关局部特征替换局部特征。这样，LoFGAN 可以在更细粒度的水平上产生更逼真、更多样化的图像，同时享受语义对齐的特性。此外，还提出了一种局部重建损失，可以提供更好的训练稳定性和生成质量。对三个数据集进行了广泛的实验，这成功地证明了方法在数据有限的情况下用于少量图像生成和下游视觉应用的有效性。

二十七、实例可控生成

73、Multi-Class Multi-Instance Count Conditioned Adversarial Image Generation

• 本文提出一种条件生成对抗网络（GAN），它可以从给定的类中生成指定数量目标对象的图像。这需要两个基本能力：（1）能够在给定复杂约束的情况下生成高质量图像；（2）能够计算给定图像中每个类别的对象实例。
• 提出的模型通过基于计数的条件以及回归子网络对StyleGAN2 架构进行了模块化扩展，以计算训练期间每个类生成的对象数量。在对三个不同数据集的实验中，表明即使在复杂背景存在的情况下，所提出的模型也能根据给定的多类计数条件学习生成图像。
• 特别是，提出了一个新的数据集 CityCount，它源自 Cityscapes 街景数据集，以在具有挑战性且实际相关的场景中评估方法。

二十八、视图合成

74、Infifinite Nature: Perpetual View Generation of Natural Scenes from a Single Image

• 在给定单个图像的情况下，对应于任意长的相机轨迹新视图生成。这极具挑战，远超出了当前视图合成方法的能力。视频生成方法生成长序列的能力也有限。
• 本文将几何和图像合成集成在一个迭代的“渲染、细化和重复”框架中，允许在数百帧后覆盖更 long-range 的生成。方法可以从一组单目视频序列中训练出来。还提出了一个沿海场景的航拍镜头数据集，并将方法与最近的视图合成和条件视频生成基线进行比较，表明所提方法的优越性。
• https://infinite-nature.github.io/

二十九、细粒度生成

75、Semi-Supervised Single-Stage Controllable GANs for Conditional Fine-Grained Image Generation

• 当前效果较好的深度生成模型，通过设计多层级的模型结构、多个阶段的合成来提高细粒度图像的生成质量。
• 为减轻模型设计和训练的复杂程度，提出一种单阶段可控 GAN (SSCGAN)，用于在半监督的情形中进行条件细粒度的图像合成。细粒度的对象类别可能具有细微的区别和共享属性，考虑三个变化因素：类无关的内容、跨类的属性和类别语义信息，并将它们与不同的变量相关联。为确保变量间的解耦，最大化类无关变量和合成图像之间的互信息，将真实数据映射到生成器的潜在空间以执行跨类属性的一致性正则化，并将基于类语义的正则化合并到判别器的特征空间。
• SSC-GAN 在多个细粒度数据集上实现了最先进的半监督图像合成结果。

三十、细粒度检索

76、Retrieve in Style: Unsupervised Facial Feature Transfer and Retrieval

• 本文提出风格检索（RIS，Retrieve in Style），一种用于在真实图像上进行人脸特征迁移和检索的无监督框架。
• 最近的一些工作显示了通过利用 StyleGAN 潜在空间的解耦特性，可以完成局部的人脸特征迁移。RIS做以下改进：1) 引入更有效的特征解耦。2）免去对每幅图像超参数调整的需要。3）使用分离的人脸特征（例如眼睛）实现细粒度的人脸检索。
• 本文声称这是第一个在如此精细级别上展开检索人脸图像的工作。
• https://github.com/mchong6/RetrieveInStyle

77、Face Image Retrieval with Attribute Manipulation

• 本文介绍一种新的人脸图像检索框架，通过指定对人脸属性期望修改的调整向量和为不同属性分配不同重要性级别的偏好向量来对输入查询进行增强。例如，用户可以要求检索与查询图像相似但具有不同头发颜色的图像，并且在结果中可选是否需要佩戴眼镜。
• 为了实现这一点，提出通过在 StyleGAN 的潜在空间中学习一组稀疏和正交的基向量来解耦各种属性相对应的语义。然后根据属性之间的差异来分解人脸图像之间的差异，为属性分配偏好，并调整查询中的属性。方法的有效性，已通过在人脸图像检索任务中实现最先进的结果来得到了验证。