3月已半，GAN最近都在整些啥？

最近，有一些同学在后台问，“ 做GAN没有想法、还有什么坑可做吗？” 都会建议多去了解一些最新的论文吧~ 这次就做个3月来arxiv上几篇GAN论文的速递【注：仅作参考，编者未细读paper，故此文并无推荐意】

1、诗歌创作

MixPoet: Diverse Poetry Generation via Learning Controllable Mixed Latent Space

https://arxiv.xilesou.top/pdf/2003.06094.pdf

作为实现计算机创造力的重要一环，近年来诗歌自动生成越来越受到关注。尽管最近的神经模型在某些衡量诗歌质量的标准上取得了重要进展，但仍然存在多样性差等问题。相关研究表明，不同的因素，如生活经历、历史背景等，都会影响诗人的行文风格，也可以极大地促进诗人创作的多元化。受此启发提出了MixPoet，一种新颖的模型，可以吸收多种因素来创建各种样式，从而促进多样性生成。基于半监督变分自编码器，模型将潜在空间分解为一些子空间，每个子空间都通过对抗训练来确定一个影响因素。通过这种方式，模型学习了可控的潜在变量，以捕获和融合更广泛的、相关的特征属性。不同的因素混合可以生成不同的风格，因此使得生成的诗歌更具区分度。关于中国诗歌数据集的实验表明，MixPoet可以在多样性和质量上同时优于三种先进模型。

2、域的泛化

Deep Domain-Adversarial Image Generation for Domain Generalisation

https://arxiv.xilesou.top/pdf/2003.06054.pdf

机器学习模型通常受domain shift问题困扰，即在源数据集上进行训练和评估时样本数据分布有隔阂。为了克服这个问题，domain generalisation（DG）方法旨在利用来自多个源领域的数据，来使得训练好的模型可以泛化到看不见的domain域。本文中提出了一个基于深度域对抗式图像生成（DDAIG）的新颖DG方法。具体来说，DDAIG由三个组件即label分类器、domain分类器和domain转换网络（DoTNet）组成。DoTNet的目的是将源训练数据映射到看不见的domain。通过学习目标函数来确保生成的数据可以被标签分类器正确分类，而同时能欺骗域分类器。通过生成的未知域的数据，可对源域扩展，而使标签分类器对未知域更具鲁棒性。

例如下图，源域只有卡通、自然图像、草图三类数据，通过域转换网络得到类标签不变但域标签已经改变的合成数据，合成数据对源数据扩充后再训练分类器，可以泛化到未知域（如艺术？）的正确分类。

3、图像转换

Unpaired Image-to-Image Translation using Adversarial Consistency Loss

https://arxiv.xilesou.top/pdf/2003.04858.pdf

不成对的图像转换是这么一类视觉问题：仅在未配对的训练数据下，找到不同图像域之间的映射表达。循环一致性损失作为一种约束条件被广泛使用于这些问题。但是，由于严格的像素级限制，它无法执行几何更改、移除大物体或忽略无关的纹理。本文提出了一种新的对抗一致性损失：它不需要转换后的图像一定要映射到源数据某一特定图像，而只需保留重要特征即可。这样可以克服了循环一致性损失的缺点。方法在以下三个转换任务达到了SOTA：摘下眼镜，性别转换以及自拍到动画。

4、虚拟换衣

GarmentGAN: Photo-realistic Adversarial Fashion Transfer

https://arxiv.xilesou.top/pdf/2003.01894.pdf

服装转移问题包括两个任务：学习如何将一个人的身体（姿势，身材，肤色）与他们的衣服（服装类型，形状，样式）分开，生成新的穿着任意服装的同一个人。本文提出GarmentGAN：仅需要两个输入图像，即要穿的时装图像和穿衣人图像；输出是合成图像。为了使生成的图像逼真，采用新颖的方法生成对抗技术。提出的算法在训练过程中结合分割信息和人体关键点信息。与现有方法比，方法改进了生成图像真实性并解决了与遮挡有关的一些问题。

5 时序、图

Learn to Generate Time Series Conditioned Graphs with Generative Adversarial

https://arxiv.xilesou.top/pdf/2003.01436.pdf

基于深度学习的方法已被利用建模并生成不同分布下的图graph。但它们通常是基于无监督学习、无条件生成模型，或者仅仅是基于graph-level的上下文，它们不具有丰富的语义node-level的上下文。本文对一个新的时间序列条件图生成问题展开研究：给定多时间序列，去推断一个目标关系图，它对每个时间序列之间的潜在相互关系进行建模（每个时间序列对应一节点）。提出了一种新颖的时间序列条件图生成生成对抗网络（TSGG-GAN）。在合成和真实基因调控网络数据集的实验上证明了TSGGGAN的有效性。

6 新GAN模型

A U-Net Based Discriminatorfor Generative Adversarial Networks

https://arxiv.xilesou.top/pdf/2002.12655.pdf

生成对抗网络（GAN）仍然存在的挑战是：如何生成与真实世界无法区分的、拥有在物体形状上全局和局部自然一致的纹理细节的图像。为此提出一种基于U-Net的鉴别器架构，借鉴了分割领域的想法。所提方法提供全局图像反馈来保持合成图像的全局一致性，也为生成器提供更精细的像素级别反馈。借助鉴别器的像素级反馈，进一步提出一种基于CutMix数据增强方法的、逐像素一致性正则化技术，鼓励U-Net鉴别器将更多精力放在真实和伪造图像之间的语义和结构变化，可进一步增强生成样本的质量。与BigGAN等基准相比，该方法在FFHQ，CelebA和新引入的COCO-Animals数据集达到SOTA水准。