有点夸张、有点扭曲！速览这些GAN如何夸张漫画化人脸！

这次整理的是，用GAN将人脸夸张漫画化的方向！

1 (2018-07-24) Unpaired Photo-to-Caricature Translation on Faces in the Wild

https://arxiv.xilesou.top/pdf/1711.10735.pdf

条件生成对抗网络（cGAN）使得图像间的转换取得了很大的进步。一些基于循环一致性损失的、无需配对训练数集的方法，例如DualGAN，CycleGAN和DiscoGAN确实很受欢迎。但是，对于需要高级视觉信息转换的翻译任务来说，例如从普通照片到极具讽刺、夸张和艺术形变性的漫画的转换仍然是非常具有挑战性的。

本文提出了一种基于学习的方法来解决此类问题。为了在转换时，兼顾局部统计量和全局结构，设计了一个带有粗区分和一个细区分判别器的双路模型。对于生成器，使用了感知损失，对抗损失和一致性损失，以实现两个不同领域的表示学习。另外，可以通过辅助噪音输入来了解风格。

2 (2018-11-1) CariGANs Unpaired Photo-to-Caricature Translation

https://arxiv.xilesou.top/pdf/1811.00222.pdf

人脸漫画化是一种传达夸张、幽默或讽刺意味的艺术表示形式。本文提出了一个无需成对训练数据集的照片到漫画转换的生成对抗网络（GAN）：CariGAN。

使用两个模块来显式地建模几何夸大和外观风格化：一个是CariGeoGAN，仅对几何形变上进行建模，即从面部照片到漫画的几何转换；另一个是CariStyGAN，在风格的外观层面上将漫画风格转移到面部照片。这样，一个困难的跨域转换问题被分解为两个更简单的任务。

与先进的方法相比，CariGAN生成的漫画更接近于手绘，同时更好地保持原有人脸的个性特征。此外，还允许用户控制形状的夸张程度和变化，或给出示例漫画来生成相应的风格。

3 (2018-11-20) CariGAN Caricature Generation through Weakly Paired Adversarial Learning

https://arxiv.xilesou.top/pdf/1811.00445.pdf

传统的漫画生成方法主要使用low-level的几何变换（例如图像扭曲）来生成夸张的漫画图像，这些图像在内容和风格方面缺乏丰富性和多样性。尽管生成对抗网络（GAN）使得图像间的转换成为可能，但由于漫画这种图像数据分布的巨大差异，导致基于GAN的模型应用于此任务上的效果不尽人意。

本文将漫画生成建模为一个只需要弱配对训练数据集的图像转换任务，提出CariGAN来解决问题。具体地，为了强制进行合理的夸张和面部变形，采用面部特征点作为附加条件来约束所生成的图像，并设计了一种图像融合机制来鼓励模型将注意力集中在面部关键部位上，以便可以在这些区域中生成更生动的细节。同时，提出了一种多样性损失，以鼓励产生多样化的结果，以帮助减轻常规基于GAN的模型的“模式崩溃”问题。在大规模“ WebCaricature”数据集上的实验表明，与最新模型相比，CariGAN可以生成更多具有更多样性的漫画。

在模型中，随机噪声控制着图像的颜色和样式等。但实际上，提出的模型可能会 “模式崩溃”，即输入噪声可能不会影响最终结果。为解决“模式崩溃”问题，提出了一种多样性损失，以迫使模型生成具有更大多样性的图像。基本思想是：假设由两种不同噪声（但具有相同的输入面部和脸部mask）生成的两种漫画图像之间的差异，是这两种噪声之间的差异的线性函数。

例如为生成器提供了一个人脸图像x和一个二进制mask，但具有两个不同的噪声z1和z2。生成器针对这两个输入分别输出两漫画，即xˆ1和xˆ2。有：xˆ1 = G（x，p，z1），xˆ2 = G（x，p，z2）。而鉴别器D的最后一个卷积层中提取这两个漫画的特征。将提取的特征表示为f1 = D（xˆ1，p），f2 = D（xˆ2，p）。

提取的特征实际上暗含生成图像的身份，姿势和样式等信息。但由于这两个特征是从具有相同人脸的两个假漫画中提取的，因此将这两个特征之间的差异视为风格和其他不重要属性之间的差异是合理的。从而将两个特征之间的差异强制为两个输入噪声之间的差异的线性函数。如此一来，生成的的多样性可以通过输入噪声明确控制：

4 (2019-04-16) WarpGAN Automatic Caricature Generation

https://arxiv.xilesou.top/pdf/1811.10100.pdf

本文提出WarpGAN，一种全自动网络，可在输入面部照片的情况下生成漫画。除了能够迁移丰富的纹理风格外，WarpGAN还学会自动预测一组控制点，这些控制点可以将照片扭曲成漫画，同时保留人脸身份信息。

本文引入了一种保持身份信息的对抗性损失，以帮助判别器区分不同的个人。此外，WarpGAN可通过控制夸张程度和视觉风格来定制生成的漫画类型。在公共领域数据集WebCaricature上的实验结果表明，WarpGAN能够生成漫画，这些漫画不仅保留身份，而且为每张输入的照片输出一组多样化的漫画。经过五位漫画专家认为，WarpGAN产生的漫画在视觉上与手绘漫画相当逼近。

与前面几种方法的比较：

5 (2020-01-07) MW-GAN: Multi-Warping GAN for Caricature Generation with Multi-Style Geometric Exaggeration

https://arxiv.xilesou.top/pdf/2001.01870.pdf

本文提出Multi-Warping GAN（MW-GAN），包括分别用于进行风格转换和几何夸张形变的网络。通过双向设计去架起图像风格、脸部特征点与相应的潜码空间之间的“桥梁”，生成具有任意风格和几何夸张程度的漫画。此外，将保留身份的损失同时应用于图像空间和脸部特征点空间，从而极大地提高了所生成漫画的质量。实验表明，与现有方法相比，MW-GAN生成的漫画具有更好的质量。