GAN肖像线条画生成 | 清华开源

2022

论文链接：https://doi.org/10.1109/TPAMI.2022.3147570 代码链接：https://github.com/yiranran/QMUPD

2021

论文链接：https://doi.org/10.1109/TPAMI.2020.2987931 代码链接：https://github.com/yiranran/APDrawingGAN2

2020

论文链接：https://doi.org/10.1109/CVPR42600.2020.00824

代码链接：https://github.com/yiranran/Unpaired-Portrait-Drawing

2019

论文链接：https://doi.org/10.1109/CVPR.2019.01100

代码链接：https://github.com/yiranran/APDrawingGAN

实现方法

肖像线条画是一种高度抽象、具有表现力的艺术形式，将人物肖像中的丰富信息进行高度压缩，仅用稀疏的图形元素（如线条）表示。精致的肖像线条画需要艺术家精心绘制，十分耗费时间。一些现有方法使用成对训练数据生成肖像画，但是收集数据的过程是昂贵且耗时的。

论文提出一种基于非成对数据的从人脸照片生成肖像线条画的方法，该方法可以（1）使用单个网络生成多种风格的高质量肖像线条画，以及（2）生成训练数据中未出现的「新风格」肖像画。

论文提出一种从人类感知数据中学习肖像线条画质量指标（quality metric）的方法。首先使用现有方法生成许多肖像线条画，并与艺术家的画作混合，收集的样本如下图所示。

通过用户实验收集人类对这些肖像线条画的偏好，由此计算得到每个肖像线条画的质量分数（quality score）。然后用这些数据训练一个回归网络，其输入为一幅肖像线条画，输出为该肖像线条画的质量分数。

该回归网络从人类评估数据中学习，因此其预测的分数可以帮助引导肖像画生成器生成更高质量的结果。

为训练质量度量模型收集的肖像线条画样本，包括生成的与艺术家绘制的肖像画。从上至下肖像画质量逐渐下降。

在网络模型的结构方面：

（1）该模型基于非对称循环映射结构和截断损失，以解决非成对训练场景下已有方法常出现的信息隐藏和重要特征缺失问题。

（2）提出基于上述质量度量模型的质量损失（quality loss），以引导生成网络生成「更好看」的肖像画。

（3）通过在生成器部分引入风格特征及风格分类鉴别器，进一步使得单个模型能实现多种风格的肖像线条画的生成。

网络结构示意图

论文进一步提出生成训练数据中未出现的「新风格」肖像线条画的方法。在模型的多风格生成场景下，不同的风格特征会导致不同的风格输出，三种目标风格分别对应于向量[1,0,0],[0,1,0]和[0,0,1]。

给定一个「新」风格的肖像线条画参考图，论文提出使用训练好的生成器，在风格特征空间中搜索一个最优的风格特征，使其生成的肖像线条画在风格上与参考图最相似。最佳的风格特征向量通过优化该向量引导生成的肖像画与目标之间的风格距离得到。

「新」风格生成示例

给定（a）中的目标「新」风格肖像画（即在训练数据中看不到的风格），我们通过优化风格损失，找到合适的风格特征向量，生成与目标相似的肖像画。优化过程如（c）所示，最终生成的结果如（d）所示。优化过程中风格损失的变化如（e）所示。

论文对生成模型进行了特征图可视化，并将其与人脸语义图进行比较，以进一步分析生成网络。实验结果验证了生成器在生成过程中学习了人脸的语义信息。大量实验表明，论文所提出的模型优于目前最先进的方法。

下图给出了所提出的方法与多种风格迁移、图像到图像转换方法的对比结果。论文所提出方法生成了比现有方法更高质量的结果，既保留了人脸结构，又具有良好的图像和线条质量。

与最新方法的比较

(a)输入人脸照片；(b-c)风格迁移方法：Gatys和线性风格转换方法；（f)单模态的图像到图像的转换方法：DualGAN，CycleGAN，UNIT；（d）多模态的图像到图像的转换方法MUNIT；(e)论文的方法去除质量损失，输出的三种风格；（i）使用成对训练数据的肖像生成方法APDrawingGAN++方法；(j)论文方法生成的三种风格。

更多实验对比

(a)输入人脸照片；(b)DualGAN方法结果；(c)CycleGAN结果；(d)UNIT结果；(e-g)论文方法的结果。