深度学习的应用——快速变脸的实现

　　深度学习的各种应用如火如荼的展开中，那么在人脸上还有什么好玩的项目和事情，本文推荐一个快速变脸的应用。

论文：使用卷积神经网络的快速变脸 　　《Fast Face-swap Using Convolutional Neural Networks》 论文下载：https://arxiv.org/abs/1611.09577

题记

　　所谓变脸，我们大家都不陌生，在ps中也是经常应用的小技巧。你以为的谁再也不是谁了，如下图所示：

这里写图片描述

这里写图片描述

　　接下来就是详细阐述该论文如何实现的快速变脸。

摘要

　　图像中面部交换的问题是当输入身份被转换为目标身份的同时需要保持姿势，面部表情和光照等因素。 为了执行这种变换，作者使用卷积神经网络训练来捕获来自他/她的照片的非结构化集合的目标身份的外观。 这种方法通过在样式转换方面构建面部交换问题来实现，其目标是以另一种风格呈现图像。 在这一领域的最新进展的基础上，作者设计了一个新的损失函数使得网络产生高度像素级的结果。 通过将神经网络与简单的预处理和后处理步骤相结合，最终的目标是即使没有用户的输入也可以达到实时的变脸的任务。

这里写图片描述

方法

　　本文中使用patch-based style损失来训练前馈神经网络以实现高水平的变脸图像。 与之前的样式转换不同的是，本文的方法使用多种样式图像，近似描述合成的样式。系统流程如下图所示：

这里写图片描述

　　摘要中提到的预处理和后处理步骤在上图中可以得知，首先针对输入图像有一个预处理——对齐的操作，人脸对齐也是人脸识别等相关任务中的重要的环节；其次通过神经网络来针对输入图像进行修正；然后进行后处理操作——再次人脸对齐； 　　其中顶行展示了用于定义对准和重新对准步骤的仿射变换的面部关键点，以及用于拼接图像的皮肤分割任务。 　　本文方法的两个额外的部分就是人脸对齐和背景分割部分。从给定图像中标定68个面部关键点为参考关键点。人脸特征点使用《D. E. King. Dlib-ml: A Machine Learning Toolkit. 》的方法来提取，分割部分使用神经网络中相关的分割方法。 　　最关键的卷积神经网络的架构使用《Texture networks: Feed-forward synthesis of textures and stylized images.》中的网络结构。

这里写图片描述

　　网络的最后一个分支以1Ｘ1卷积和3颜色通道结束。

实验结果

这里写图片描述

　　第一行为原始图像； 　　第二行为使用Nicolas Cage（尼古拉斯·凯奇）的变脸结果； 　　第三行为使用Taylor Swift（泰勒斯威夫特）的变脸结果。

这里写图片描述

　　当然也有一些不好的结果。 左和中：面部阻塞，在这种情况下原输入图像中的眼镜不会保存。 中间：闭合的眼睛不能正确交换，因为数据集中没有此图像的表达。 右：由于不好识别的姿势，表情和发型导致生成的变脸图像质量差。