Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis
https://www.arxiv.org/abs/1704.04086
本文主要解决的问题是把一张侧脸照片变成正脸照片,可以用这种照片进行人脸特征分析如人脸识别。 生成的图像效果相当不错。
效果如下图所示:
其实已经有相关文献使用深度学习将侧脸照片变成正脸照片,但是效果不是很好。我们这里使用了对抗网络提升了性能。
对抗网络:Generative Adversarial Network (GAN) GAN 在深度学习和计算机视觉中的影响很大,它主要可以估计目标分布,产生新的图像样本。estimate target distribution and generate novel image samples
Network Architecture
这里采用双通道网络,Two Pathway Generator,一个是 local pathway,另一个是 global pathway. local pathway 用于解决人脸的细节问题,输入侧脸的四个特征图像块:分别是 两个眼睛、鼻子、嘴巴。输出正脸的对应四个图像块。 global pathway 用于生产人脸大的结构,缺少细节,输入完整的侧脸图像输出完整的模糊的正脸图像
这里我们主要定义了四个损失函数 Synthesis Loss Function
3.2.1 Pixel-wise Loss facilitate multi-scale image content consistency。 图像内容的一致性 对哪里进行Pixel-wise Loss了? output of global , the landmark located patch network ,their final fused output
3.2.2 Symmetry Loss 人脸的对称性
3.2.3 Adversarial Loss 防止生产的图像模糊
3.2.4 Identity Preserving Loss 保证生产的图像是同一个人的,这样生产的图像可以用于人脸识别。
结果:
如果公安同志只有一张侧脸照片,可以通过这个得到一张正脸照片了。