专栏首页机器学习算法与理论基于TP-GAN的侧脸人像恢复

基于TP-GAN的侧脸人像恢复

中科院自动化所(CASIA),中科院大学和南昌大学的一项合作研究,提出了双路径 GAN(TP-GAN),通过单一侧面照片合成正面人脸图像,取得了当前较好的结果。研究人员提出了一个像人类一样能够考虑整体和局部信息的 GAN 结构,合成的图像非常逼真且很好地保留了身份特征,并且可以处理大量不同姿势的照片。研究人员指出,这些合成的图像有可能用于人脸分析的任务。

他们受人类视觉识别过程启发,结合对抗生成网络(GAN)的强大性能,提出了一个双路径 GAN(TP-GAN),能够在关注整体结构的同时,处理人脸面部细节,在不同的角度、光照条件都取得了很好的结果。不仅如此,这种方法还能够处理大量不同姿势的照片。

他们的这项工作主要贡献在于三个方面:

1)提出了一个像人类一样能够考虑整体和局部信息的 GAN 结构,能够根据单一的图像合成正面人脸视图,合成的图像非常逼真且很好地保留了身份特征,而且可以应对大量不同的姿势。

2)将从数据分布(对抗训练)得来的先验知识,和人脸领域知识(对称性、身份保留损失)结合起来,将从三维物体投射到二维图像空间时固有的缺失信息较精确地恢复了出来。

3)展示了一个“通过生成进行识别”(recognition via generation)的框架的可能性,并且在大量不同姿势下取得了目前较好的识别结果。

受此启发,作者提出了一个有两条路径的深度架构(TP-GAN),用于正面人脸图像合成。这两条路径,一条专注于推理全局结构,另一条则推理局部的纹理,分别得到两个特征地图。这两个特征图会融合在一起,用于接下来的最终合成。

TP-GAN总结构示意图。生成器包含两个路径,一个处理全局信息,一个处理局部变换。判别器在合成的正面(SF)视图和真实相片(GT)。

不仅如此,作者还将正面人脸分布的信息并入了一个生成对抗网络(GAN),由此对恢复过程进行了很好的约束。

GAN 在二维数据分布建模方面的卓越性能(capacity)极大地改善了很多不合理的低级视觉问题,比如超分辨率和修复(inpainting)。

组合多种Loss,合成缺失部分,保留面部突出特征。

根据人脸是对称结构这一点,提出了一个对称性损失(symmetry loss),用于补全被遮挡住的部分。

困难场景。面部特征,包括胡须、眼镜,TP-GAN 都保留了下来。最右边一栏,上面那张图将脸颊恢复了出来,下面那张图则是侧面看不见额头,但 TP-GAN 成功地将额头恢复了出来。

为了忠实地保留一个人脸部最突出的特征,作者在压缩特征空间中除了像素级别的L1 loss,还使用了一个感知损失(perceptual loss)。

最后,关键一环,将身份保留损失(identity preserving loss)整合进来,实现忠实的正面脸部合成,图像质量得到大幅提升。

TP-GAN 根据不同姿势合成的结果。从左到右:90°、75°、45°、60°、30°和 15°。最后一栏是真实相片。

使用单一脸部图像合成逼真的正面脸部视图在人脸识别领域中有着广泛的应用。尽管此前有研究试图从大量面部数据中寻求解决方案,也即数据驱动的深度学习方法,但这个问题仍然具有挑战性,因为它本质上是个不合理的问题(ill-posed)。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 树回归分析

    树回归:可以对复杂和非线性的数据进行建模;适用数值型和标称型数据。 1、 CART:classification and regression trees(...

    微风、掠过
  • Tensorflow 之RNNinputs: shape = (batch_size, time_steps, input_size)cell: RNNCellinitial_state: shape

    output = np.reshape(aa, [-1,5]) -1表示一个占位符,分为5列。

    微风、掠过
  • 《白话深度学习与Tensorflow》学习笔记(6)生成式对抗网络(GAN)

    生成对抗网络(generative adversarial networks): G:生成式模型 用于生成新的结果;D:判别式模型:将G生成的结果输入到D进行判...

    微风、掠过
  • GAN系列学习(2)——前生今世

    作者:刘威威 编辑:李文臣 本文是GAN系列学习--前世今生第二篇,在第一篇中主要介绍了GAN的原理部分,在此篇文章中,主要总结了常用的GAN包括...

    机器学习算法工程师
  • DCGAN、WGAN、WGAN-GP、LSGAN、BEGAN原理总结及对比

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_25737169/article/d...

    DoubleV
  • GAN最新进展:8大技巧提高稳定性

    生成对抗网络 (GAN) 是一类功能强大的神经网络,具有广泛的应用前景。GAN 本质上是由两个神经网络组成的系统——生成器 (Generator) 和鉴别器 (...

    新智元
  • MIT与IBM开发AI系统,可快速调整视觉效果,同时帮助识别虚假图像

    智能手机通常使用AI来帮助我们拍摄更清晰的照片。但是,如果可以使用这些AI工具从头开始创建整个场景呢?

    AiTechYun
  • BEGAN解读

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_25737169/article/d...

    DoubleV
  • python 标准库 sqlite3 介绍(一)

    SQLite,是一款轻型的数据库,是遵守ACID的关系型数据库管理系统,它包含在一个相对小的C库中。它的功能特点有:

    用户6021899
  • Jquery获取DOM绑定事件

    就只是小茗

扫码关注云+社区

领取腾讯云代金券