基于TP-GAN的侧脸人像恢复

中科院自动化所（CASIA），中科院大学和南昌大学的一项合作研究，提出了双路径 GAN（TP-GAN），通过单一侧面照片合成正面人脸图像，取得了当前较好的结果。研究人员提出了一个像人类一样能够考虑整体和局部信息的 GAN 结构，合成的图像非常逼真且很好地保留了身份特征，并且可以处理大量不同姿势的照片。研究人员指出，这些合成的图像有可能用于人脸分析的任务。

他们受人类视觉识别过程启发，结合对抗生成网络（GAN）的强大性能，提出了一个双路径 GAN（TP-GAN），能够在关注整体结构的同时，处理人脸面部细节，在不同的角度、光照条件都取得了很好的结果。不仅如此，这种方法还能够处理大量不同姿势的照片。

他们的这项工作主要贡献在于三个方面：

1）提出了一个像人类一样能够考虑整体和局部信息的 GAN 结构，能够根据单一的图像合成正面人脸视图，合成的图像非常逼真且很好地保留了身份特征，而且可以应对大量不同的姿势。

2）将从数据分布（对抗训练）得来的先验知识，和人脸领域知识（对称性、身份保留损失）结合起来，将从三维物体投射到二维图像空间时固有的缺失信息较精确地恢复了出来。

3）展示了一个“通过生成进行识别”（recognition via generation）的框架的可能性，并且在大量不同姿势下取得了目前较好的识别结果。

受此启发，作者提出了一个有两条路径的深度架构（TP-GAN），用于正面人脸图像合成。这两条路径，一条专注于推理全局结构，另一条则推理局部的纹理，分别得到两个特征地图。这两个特征图会融合在一起，用于接下来的最终合成。

TP-GAN总结构示意图。生成器包含两个路径，一个处理全局信息，一个处理局部变换。判别器在合成的正面（SF）视图和真实相片（GT）。

不仅如此，作者还将正面人脸分布的信息并入了一个生成对抗网络（GAN），由此对恢复过程进行了很好的约束。

GAN 在二维数据分布建模方面的卓越性能（capacity）极大地改善了很多不合理的低级视觉问题，比如超分辨率和修复（inpainting）。

组合多种Loss，合成缺失部分，保留面部突出特征。

根据人脸是对称结构这一点，提出了一个对称性损失（symmetry loss），用于补全被遮挡住的部分。

困难场景。面部特征，包括胡须、眼镜，TP-GAN 都保留了下来。最右边一栏，上面那张图将脸颊恢复了出来，下面那张图则是侧面看不见额头，但 TP-GAN 成功地将额头恢复了出来。

为了忠实地保留一个人脸部最突出的特征，作者在压缩特征空间中除了像素级别的L1 loss，还使用了一个感知损失（perceptual loss）。

最后，关键一环，将身份保留损失（identity preserving loss）整合进来，实现忠实的正面脸部合成，图像质量得到大幅提升。

TP-GAN 根据不同姿势合成的结果。从左到右：90°、75°、45°、60°、30°和 15°。最后一栏是真实相片。

使用单一脸部图像合成逼真的正面脸部视图在人脸识别领域中有着广泛的应用。尽管此前有研究试图从大量面部数据中寻求解决方案，也即数据驱动的深度学习方法，但这个问题仍然具有挑战性，因为它本质上是个不合理的问题（ill-posed）。