人工智能素描生成人脸用于草图到照片合成的无监督面部几何学习

摘要：人脸素描 - 照片合成是执法和数字娱乐行业的一个重要应用，其目标是学习人脸素描图像与其相应的照片般逼真的图像之间的映射。然而，有限数量的配对草图 - 照片训练数据通常会阻止当前框架学习草图的几何形状与其匹配的照片般逼真的图像之间的稳健映射。因此，在这项工作中，我们提出了一种学习如何以无人监督的方式从脸部草图合成照片般逼真的图像的方法。与当前无监督的图像到图像转换技术相比，我们的框架利用新颖的感知鉴别器来学习人脸的几何形状。学习面部先验信息使网络能够去除面部草图中的几何伪影。我们证明了面部光生成器网络的同时优化，采用所提出的感知鉴别器结合纹理方式鉴别器，导致合成照片的质量和识别率的显着改善。我们通过对多个基线草图照片数据集进行大量实验来评估所提出的网络。

关键词：素描 - 照片合成，生成对抗网络（GAN），无监督学习，面部几何学习。

1简介

自动面部素描 - 照片合成和识别因其在执法和数字娱乐行业的应用而备受关注[Wa14]。在执法方面，在许多情况下，警方数据库中没有嫌犯的照片。因此，由警察绘制或由软件创建的法医或复合草图是识别嫌疑人的唯一证据。然而，使用面部草图识别嫌疑人比面部照片要困难得多，因为两种模态之间存在显着差异，例如纹理和几何不匹配，以及人类识别能力对面部特征扭曲的敏感性。因此，从他们的法医草图生成嫌疑人的照片般逼真的面部图像将显着增加识别他们的机会。

基于草图的照片合成的想法至少可以追溯到Liu等人。 [LTL07]，在输入输出训练图像对上采用概率草图 - 照片生成模型。从那时起，已经提出了几种技术来解决这个问题，包括稀疏表示[Ga12]，支持向量回归[Zh11]，贝叶斯张量推断[WT09]，嵌入式隐马尔可夫模型[Wa13]，马尔可夫随机场模型[Pe16]。

最近，深度学习方法已广泛应用于许多领域[TND18，Bo17]，特别是计算机视觉领域。随着卷积神经网络（DCNN）成为各种计算机视觉问题背后的常见工具，社区已经采取了重要的步骤来完成图像转换任务，如草图照片和照片草图合成[Gu¨16，Ka18，GEB16]。彭等人。 [Pe17]提出了基于超像素的面部sketchaphoto合成，它可以通过图像分割来估计固有的面部结构[ZKK18]。张等人。 [Zh15]使用六层卷积神经网络（CNN）从照片生成草图。在[Zh15]中，以联合生成判别最小化的形式利用新的优化目标函数来保持人的身份。为了在任意图像之间传输图像样式，在[GEB16]中提出了基于CNN的框架，该框架学习了通用的特征表示。

DCNN在图像生成任务中的成功真正取决于它们被要求最小化的目标函数。一种天真的方法是要求DCNN最小化生成的图像与其地面实况像素之间的欧几里德距离，这往往会产生模糊的结果[ZIE16]。最近，Generative Adversarial Networks（GANs）[Go14]通过选择新的损失函数来生成更清晰逼真的图像，从而在图像生成任务中取得了令人瞩目的成果[Is17，Sa17，Ul16]。 GAN成功的关键是采用对抗性损失的想法，鼓励生成的图像与真实图像无法区分。

由于收集用于许多图形任务的输入 - 输出对（例如，草图 - 照片合成）通常是费力的过程，因此若干工作也解决了未配对设置中的图像生成问题[Zh17，LBK17，Ka18]。在草图 - 照片合成问题中，以监督方式训练网络甚至更加困难，这需要来自源（草图）和目标（照片真实图像）域的相应图像对。那里造成这种困难的主要原因有两个：首先，由于每个艺术家或软件都有独特的绘画风格，因此网络通常需要对非常有限数量的看不见的草图样式进行微调。其次，由于草图与地面实况照片之间的几何不匹配，几乎不可能学习两个域之间的单一映射。因此，在这项工作中，我们的目标是设计一个可以在不成对的环境中进行训练的框架。虽然我们的工作是基于CycleGAN [Zh17]，这是最成功的未经验证的图像到图像转换框架之一，但它不同从中有两种有效的方式。首先，类似于其他无监督的GAN框架，CycleGAN基于循环一致性约束，这表明我们应该能够从合成照片重建输入图像。该约束被定义为输入的像素与其重建之间的欧几里德距离。然而，当我们处理不同模态的图像时，例如草图 - 照片合成问题，这个定义会降低网络的灵活性，甚至会阻止它的收敛[Ka18]。这个问题是由于网络上过大的力量导致信息保持在像素级别。为了克服这个问题，我们建议使用感知损失[JAFF16]作为循环一致性的替代定义。使用感知损失，网络需要仅保留重建照片中的高级面部特征，这在面部识别方面是重要的。

我们的框架和CycleGAN之间的第二个也是主要区别是采用一种新的鉴别器（称为几何鉴别器）来学习面部几何学。 Isola等。 [Is17]确认CycleGAN的鉴别器，即Patch-GAN [Is17]，仅捕获诸如纹理信息的本地信息。从统计的角度来看，GAN学习了目标域的分布，说到我们的应用，PatchGAN只能迫使网络先学习面部纹理。然后利用学习的纹理先验将输入面部草图转换成照片真实面部，同时保持输入草图的精确面部几何形状。相比之下，在这项工作中，我们的目标是先学习面部几何，这有助于网络学习生成在面部纹理和几何形状方面逼真的照片。为此，上述几何鉴别器被训练为通过其高级面部特征来区分真实和合成照片。实验结果显示了学习面部几何有助于网络生成逼真的面部照片。

我们在表1中的23个样本的测试集上显示了在深特征空间中生成的输出图像及其地面实况图像的平均距离。结果清楚地证实了所提出的技术显着提高了合成图像的语义准确性。忠实于输入草图。由于草图合成的主要原因是将真实合成图像分发给公众以进行可疑识别，我们进行了另外两个实验，即基于人类判断的视觉真实感和使用预训练面部验证器的面部验证准确性。对于视觉真实感测试，我们依次以随机顺序向多个主体显示真实和生成的图像，每个1秒，并要求他们识别假，然后我们计算“愚弄”率。表1还报告了三种方法的愚弄率。

最后，为了研究面部几何学习对面部验证准确性的影响，我们使用了在CMU Multi-PIE数据集[Gr10]上预训练的VGG16面部验证器。对于每个草图，不同方法的结果用于针对整个测试图库的面部验证。接下来，计算每种方法的验证准确度并在表1中报告。请注意，我们在照片库中使用了所有123个身份。通过随机选择的训练和测试集重复评估过程10次。验证准确性证实了学习面部几何形状以消除伪影和识别性能改进的有效性。生成清晰的图像并将它们与CycleGAN进行比较可能也有助于我们的框架具有更高的准确性。

结论：本文的定性和定量结果表明，使用高级感知特征的循环一致性和辨别力是用于改善面部纹理和几何形状的翻译图像质量的有前途的方法。这些特征是从预先训练的面部验证器网络中提取的，该网络允许在小型数据集上训练草图 - 照片合成框架。

原文标题：Unsupervised Facial Geometry Learning for Sketch to Photo Synthesis

嘿~摘下月亮送给你，摘下太阳送给你，你想要的我都给你，各位看官大人，看到这儿了麻烦给小编个大大的赞呗！！ \(^o^)/关注点个赞，是对小编最大的鼓励！！嗯~，360度各种姿势来求赞求关注！！ \(^o^)/动一动您发财滴小手指头，举手之劳└(^o^)┘劳驾各位看官们！！ 大家如果有什么各自的看法和观点欢迎各位看官们在文章的下方留言和评论、关注点赞以及转发和探讨哈！！！祝各位看官们生意发发发，学业事业成成成，身体康康康！！！ 注：文章内容图片来源于网络， 如有雷同纯属巧合，如有侵权请联系删除，谢谢大家的支持鼓励！！小编在这里感谢各位看官们了！ \(^o^)/