朋友圈变美靠AI：新型美颜技术实现细粒度颜值提升

选自arXiv

作者：Xudong Liu等

机器之心编译

参与：Panda W

爱美之心，人皆有之。使用美颜软件提升颜值已经成为很多人发布自拍照之前的常规操作。近日，ObEN 公司和西弗吉尼亚大学的一项研究提出了一种新型人脸美化技术，能够基于参照图像（通常是明星照片）的特征提升输入人脸（比如你的自拍）的颜值，从而让你也能变得与明星一样美。

图 1：表述为多对多图像转译问题的人脸美化：新提出的方法将基于风格的美颜表征与颜值预测模型整合到了一起，并能实现细粒度的控制。

在我们的社会生活中，人脸外观具有非常重要的作用。面孔迷人的人在他们的社会活动（比如约会和投票）中具有很多优势。研究已经发现，迷人的人成功约会的几率更高，而且相比于与不那么迷人的人约会，他们的伴侣更可能获得满足。研究还发现，人脸可以影响雇佣决策和投票行为。由于社会对美貌的狂热，面部不够迷人的女性可能遭受社交孤立、沮丧甚至心理疾病问题。由此造成的后果是，在物理世界（比如面部化妆和整形手术）和虚拟世界（比如美颜相机和滤镜）中，人们对人脸美化都有强烈的需求。

哲学家、心理学家和整形外科医生已经对人脸美化问题进行过广泛的研究。成像技术和社交媒体的快速发展极大加速了数字照片（尤其是自拍）在我们的日常生活中的普及。近期，计算机视觉社区也已经开发出了基于美妆应用或妆容迁移思想的虚拟人脸美化技术，其中包括 PairedCycleGAN、BeautyGAN、BeautyGlow。尽管这些已有的工作已经取得了出色的成果，但仅基于妆容迁移的人脸美化还存在一些根本性的局限性。这无法改变某些重要的人脸属性（比如形状和雀斑），通过图像到图像转译实现的妆容改变的应用只能在一定程度上提升颜值（beauty score）。

这篇论文的作者认为，要创造一种更加灵活和更有前景的框架，可通过一到多转译（one-to-many translation）来描述人脸美化的过程，其中可以使用很多不同的方式来定义目标。一方面，可通过根据给定的参照（具有较高的颜值）逐渐迁移所学习到的基于风格的美颜表征（beauty representation），以得到颜值单调增长的输出图像为目标。另一方面，还可通过学习一系列参照（比如有不同美颜风格的明星）得到多种不同的个性化美化结果。使用这种框架的人脸美化技术可以做得更加灵活——比如可以迁移参照图像的美颜风格，从而达到指定的颜值；这是妆容迁移技术无法实现的能力。

为了实现这一目标，研究者在这篇论文中提出了一种全新的生成对抗网络（GAN）架构。基于近期在基于风格的合成（比如 styleGAN）和基于数据的人脸颜值理解方面的最新进展，研究者提出将基于风格的美颜表征（提取自参照人脸）和颜值预测（在 SCUT-FBP 数据库训练得到）整合进人脸美化的过程中。更具体来说，基于风格的美颜表征将通过轻量卷积神经网络（LightCNN）从待美化和参照图像中提取，然后其会被用于引导风格迁移过程（实际的美化过程）。然后，研究者构建了一个整合了重建损失、美颜损失和身份损失函数的专用的基于 GAN 的架构。为了对美化过程有细粒度的控制，研究者还发明了一种简单但有效的重新加权策略，可逐渐提升合成图像的颜值，直到其达到目标水平（由参照图像指定）。

论文地址：https://arxiv.org/abs/1912.03630

这篇论文主要有以下贡献：

• 给出了对虚拟人脸美化的一种前瞻性看法，并提出了一种超越妆容迁移方法（比如 BeautyGAN 和 BeautyGlow）的整体式的基于风格的方法。研究者认为人脸颜值能为引导人脸美化过程提供一种定量的解决方案。
• 基于 LightCNN 的微调训练了一种人脸颜值预测网络，并将其整合进了新提出的基于风格的人脸美化网络中。这个预测模块能为合成模型提供很有价值的反馈，从而接近所需的颜值。
• 提出了一种搭载式的技巧，可同时从经过微调的 LightCNN 提取身份和美颜特征；另外还设计了多种损失函数，能够反映身份信息保留和人脸美化之间的权衡。
• 这是首个能得到有细粒度控制的人脸美化结果的研究成果（即能通过一系列人脸图像使颜值单调递增地接近参照图像）。
• 研究者也进行了全面的实验评估，结果表明：相比于 CycleGAN、MUNIT 和 DRIT 等当前最佳的图像到图像转译技术，新提出的方法表现更优。

新方法

人脸吸引力理论

人脸吸引力为什么很重要？从进化角度看，一个可信的有效假设是：灵长类动物对吸引力的判断的底层心理机制源自长期的进化和适应。更具体来说，人脸吸引力有利于选择配偶，进而促进基因传播。在最基本的层面上，人脸吸引力也可能反映了个体身体健康的信息。据此，在人脸吸引力研究方面的古典看法聚焦于一些直观浅显的属性，比如人脸对称性和潜在生物指标上的平均性。在现代文明历史中，评估人脸吸引力的社会惯例一直在不断变化，而且不同地区也各不相同（比如西方文化和东方文化之间就存在显著差别）。

尤其值得一提的是，年轻女性的人脸吸引力是一个趣味盎然的主题，长期以来广受欢迎的选美比赛就能说明这一点。实际上，之前已有科学家专门研究过女性人脸特征和男性的响应之间的关系（参考文献 [6]）。基于男性受试者给出的吸引力评分，该研究发现有两类人脸特征与吸引力分数正相关，比如大眼睛、小鼻子、小下巴以及突起的颧骨和较窄的脸颊。该研究还发现，人脸特征也可以预测人的个性和利他倾向。

本研究仅关注女性的人脸美化。

问题描述和动机

给定一张目标人脸（颜值普通）和一张参照人脸（通常是颜值高的明星的脸），我们可以如何迁移参照图像的相关信息来实现对目标人脸的美化。这样的人脸美化问题可以表述为两个子问题：风格迁移和颜值预测。另外，研究者还引入了另一个重要的新见解，即将人脸美化过程视为一个序列过程，其中目标人脸的颜值可通过连续的风格迁移步骤来逐步提升。随着细粒度的风格迁移的进行，被美化的目标人脸的颜值会单调递增，向参照人脸的颜值靠拢。

风格迁移是一个已被广泛研究的问题。近些年来，人们越来越关注提取基于风格的表征的思想（风格代码）。需要注意，妆容迁移只是风格迁移的一种特例，其中描述风格的只有局部特征而已（比如眼影和唇彩）。本研究提出了一种更通用的解决方案，可同时迁移参照图像的全局和局部风格代码。风格代码的提取将基于其颜值预测问题的解决方案。通过这样的方式在风格迁移和颜值预测之间共享所学习到的特征，让研究者实现了对美化过程的细粒度控制。

架构设计

如图 2 所示，A 和 B 分别表示目标人脸（低吸引力）和参照人脸（高吸引力）。美化的目标是将图像 A 转译为一张新图像 AB，其颜值与 B 的颜值相近百分之 Q（Q 是 0-100 之间的一个整数，指定了美颜迁移的细粒度）。假设图像 A 和 B 都可分解为包含风格与内容的两部分表征。也就是说，这两张图像都可通过两个编码器进行编码：内容（身份）编码器 E_c 和风格（美颜）编码器 E_s。为了将参照人脸 B 的美颜风格迁移到目标 A，很自然的做法是将基于内容（身份）的表征 C_a 和基于风格（美颜）的表征 S_b 连接起来；然后通过下式定义的专用解码器 G 重建美化后的图像 AB：

图 2 中的架构的其余部分主要包含两个组分：一个负责风格迁移的基于 GAN 的模块（G 搭档 D）和一个负责颜值预测的美颜和身份损失模块（参见图 3）。

图 2：新提出的网络架构的概况

其中 GAN 模块包含两个编码器、一个解码器和一个判别器；其作用是提取参照图像的美颜/风格表征，然后将其嵌入到目标图像中，以便执行美化。颜值预测模块则基于对现有的 LightCNN 的微调，见图 3。

图 3：用于颜值预测的微调网络

细粒度的美颜调整

为了对美化过程实现细粒度的控制，研究者提出了一个加权式美化方程：

其中 w_1 + w_2 = 1 且 0 ≤ w_1, w_2 ≤ 1.

图 4：细粒度美化调整的测试阶段

图 5 展示了新提出的细粒度美颜调整的效果。

总损失是这些损失的加权和。

图 5：通过控制美颜表征实现的美颜程度调整（最左一列是原始输入，从左至右：美化程度逐级提升）

损失函数

该方法使用了多种损失：图像重建损失、对抗损失、身份保留损失、美颜损失、感知损失。总损失是这些损失的加权和。

实验

表 1：对美化后图像的用户研究偏好

表 2：美化处理后的平均颜值

图 6：与基准模型的不同参照美化比较。最上面的图像是原始输入，最左边的是 5 张参照人脸，注意 CycleGAN 的输出都是一样的，没有参照图像的影响。

图 7：与基准模型的同样参照（图 6 中的参照 1）的美化比较

用户研究和颜值评估都表明了新提出的模型的优越性。而且新提出的模型也能稳健地处理存在模糊和高难度光照条件的低质量图像。但是，研究者也注意到当输入存在较大遮挡和姿势差异时，模型往往会产生一些可见的伪影。主要原因是对齐不好，即参照图像基本都是正脸图像，而较大遮挡和姿势差异会导致无法很好对齐。