GAN人脸修复--Generative Face Completion

Generative Face Completion CVPR 2017 https://arxiv.org/abs/1704.05838

Code: https://github.com/Yijunmaverick/GenerativeFaceCompletion

首先来直观的认识一下人脸修复是什么？ 输入一个有缺失的人脸图像，得到完整的人脸图像

这里写图片描述

本文算法训练流程图如下：

这里写图片描述

主要由三个模块构成：Generator，Discriminator，Parsing network 3.1. Generator 这里的 Generator 被设计为一个 autoencoder，输入不完整的图像，输出修复后的图像。这里我们使用了 VGG19的前半部分网络结构，外加2个卷积层，一个池化层，一个全链接层。decoder 和 encoder 是对称的，使用了 unpooling 层 用于放大特征图尺寸

3.2. Discriminator 这里使用了两个 Discriminator，一个 local Discriminator, 一个 global Discriminator local Discriminator 是针对 缺失图像区域的 global Discriminator 是针对整个图像区域的

3.3. Semantic Regularization 这里的 Parsing network 主要用于进一步完善缺失区域的生成图像的真实性。

这里写图片描述

不同损失函数下修复的结果：

这里写图片描述

有无 Parsing network 的对比：

这里写图片描述

修复结果：

这里写图片描述

这里写图片描述

Model limitations

这里写图片描述