基于TP-GAN的侧脸人像恢复

中科院自动化所(CASIA),中科院大学和南昌大学的一项合作研究,提出了双路径 GAN(TP-GAN),通过单一侧面照片合成正面人脸图像,取得了当前较好的结果。研究人员提出了一个像人类一样能够考虑整体和局部信息的 GAN 结构,合成的图像非常逼真且很好地保留了身份特征,并且可以处理大量不同姿势的照片。研究人员指出,这些合成的图像有可能用于人脸分析的任务。

他们受人类视觉识别过程启发,结合对抗生成网络(GAN)的强大性能,提出了一个双路径 GAN(TP-GAN),能够在关注整体结构的同时,处理人脸面部细节,在不同的角度、光照条件都取得了很好的结果。不仅如此,这种方法还能够处理大量不同姿势的照片。

他们的这项工作主要贡献在于三个方面:

1)提出了一个像人类一样能够考虑整体和局部信息的 GAN 结构,能够根据单一的图像合成正面人脸视图,合成的图像非常逼真且很好地保留了身份特征,而且可以应对大量不同的姿势。

2)将从数据分布(对抗训练)得来的先验知识,和人脸领域知识(对称性、身份保留损失)结合起来,将从三维物体投射到二维图像空间时固有的缺失信息较精确地恢复了出来。

3)展示了一个“通过生成进行识别”(recognition via generation)的框架的可能性,并且在大量不同姿势下取得了目前较好的识别结果。

受此启发,作者提出了一个有两条路径的深度架构(TP-GAN),用于正面人脸图像合成。这两条路径,一条专注于推理全局结构,另一条则推理局部的纹理,分别得到两个特征地图。这两个特征图会融合在一起,用于接下来的最终合成。

TP-GAN总结构示意图。生成器包含两个路径,一个处理全局信息,一个处理局部变换。判别器在合成的正面(SF)视图和真实相片(GT)。

不仅如此,作者还将正面人脸分布的信息并入了一个生成对抗网络(GAN),由此对恢复过程进行了很好的约束。

GAN 在二维数据分布建模方面的卓越性能(capacity)极大地改善了很多不合理的低级视觉问题,比如超分辨率和修复(inpainting)。

组合多种Loss,合成缺失部分,保留面部突出特征。

根据人脸是对称结构这一点,提出了一个对称性损失(symmetry loss),用于补全被遮挡住的部分。

困难场景。面部特征,包括胡须、眼镜,TP-GAN 都保留了下来。最右边一栏,上面那张图将脸颊恢复了出来,下面那张图则是侧面看不见额头,但 TP-GAN 成功地将额头恢复了出来。

为了忠实地保留一个人脸部最突出的特征,作者在压缩特征空间中除了像素级别的L1 loss,还使用了一个感知损失(perceptual loss)。

最后,关键一环,将身份保留损失(identity preserving loss)整合进来,实现忠实的正面脸部合成,图像质量得到大幅提升。

TP-GAN 根据不同姿势合成的结果。从左到右:90°、75°、45°、60°、30°和 15°。最后一栏是真实相片。

使用单一脸部图像合成逼真的正面脸部视图在人脸识别领域中有着广泛的应用。尽管此前有研究试图从大量面部数据中寻求解决方案,也即数据驱动的深度学习方法,但这个问题仍然具有挑战性,因为它本质上是个不合理的问题(ill-posed)。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

学界 | François Chollet谈深度学习的局限性和未来(上)

AI 科技评论按:本文来自 Keras 作者 François Chollet,同时也是根据他撰写的《Deeping Learning with Python》...

1023
来自专栏PPV课数据科学社区

机器学习、数据挖掘、人工智能、统计模型这么多概念有何差异?

在各种各样的数据科学论坛上这样一个问题经常被问到——机器学习和统计模型的差别是什么? 这确实是一个难以回答的问题。考虑到机器学习和统计模型解决问题的相似性,两者...

3657
来自专栏社区的朋友们

《 NEXT 技术快报》:计算机视觉篇(上)

图像生成是计算机视觉中非常重要的一类问题,也有着很长的研究历史。同时这一类问题也和动画制作有着紧密的关联。广义的说来,凡是生成新的图像内容的相关问题都可以归为图...

3900
来自专栏新智元

【谷歌大脑团队GAN生态权威报告】6种优化GAN模型对比,最优秀的仍是原始版本

来源:arXiv 编译:刘小芹 【新智元导读】谷歌大脑团队的研究者发表题为《Are GANs Created Equal? A Large-Scale Stud...

36910
来自专栏机器之心

观点 | 深度学习:简单而有局限性的求解方式

选自Keras Blog 作者:Francois Chollet 机器之心编译 参与:路雪、李泽南 在人工智能,特别是深度学习破解了一个又一个难题,在很多任务上...

3146
来自专栏人工智能LeadAI

大数据和机器学习相关概念

01 大数据的定义 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发...

3577
来自专栏CSDN技术头条

机器学习和统计模型的差异

在各种各样的数据科学论坛上这样一个问题经常被问到——机器学习和统计模型的差别是什么? 这确实是一个难以回答的问题。考虑到机器学习和统计模型解决问题的相似性,两者...

2148
来自专栏人工智能头条

机器学习和统计模型的差异

1902
来自专栏AI科技评论

学界 | 北京大学王立威教授:机器学习理论的回顾与展望(下)

AI科技评论按:本文根据王立威教授在中国人工智能学会AIDL第二期人工智能前沿讲习班*机器学习前沿所作报告《机器学习理论:回顾与展望》编辑整理而来,AI科技评论...

42713
来自专栏数据派THU

谷歌与CMU联合发文:审视数据对深度学习的重要性(附论文)

来源:机器人圈 作者:Chen Sun、Abhinav Shrivastava、Saurabh Singh、Abhinav Gupta 本文长度为1800字,建...

20810

扫码关注云+社区