专栏首页人工智能前沿讲习GAN对人脸图像算法产生了哪些影响?

GAN对人脸图像算法产生了哪些影响?

人脸图像是整个图像领域里面研究人员最多,应用最广的一个方向。GAN作为时下最新兴的深度学习模型,在人脸图像领域里已经颇有建树,今天咱们就聊聊GAN对人脸图像算法的一些主要影响。

文/编辑 | 言有三

人脸检测是一个古老的课题了,从传统算法发展到深度学习算法,已经非常的成熟,不过这并不是意味着完美。GAN在人脸检测领域中的贡献主要体现在小脸的超分辨上。

以文[1]为代表,生成器使用了一个超分辨率网络(super-resolution network)和一个改进网络(refinement network)对模糊的小脸进行上采样,能够提高wider face难测试集(Hard subset)的结果。

[1] Bai Y, Zhang Y, Ding M, et al. Finding tiny faces in the wild with generative adversarial network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 21-30.

遮挡人脸恢复与姿态仿真

人脸识别算法发展了很久也已经在工业界大规模应用,但是它的难题仍然是很明显的,遮挡就是其中一个大问题,GAN可以被应用于遮挡人脸的恢复。

另一方面,姿态对人脸识别等算法的影响非常大,也会造成上述的遮挡问题,将GAN用于姿态仿真,比如正脸化,将非常有助于人脸识别等模型的性能提升。FF-GAN[2]是其中的代表性模型,它是一个基于3DMM模型的条件GAN。

[2] Yin X, Yu X, Sohn K, et al. Towards large-pose face frontalization in the wild[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 3990-3999.

年龄与表情仿真

跨年龄的人脸识别和验证是一个非常具有挑战性的问题,如果能对年龄进行归一化,去除年龄因素的干扰,将大大提升跨年龄人脸识别的精度。

表情与年龄一样,也会对人脸识别算法构成一定挑战,年龄和表情编辑同时还是一个兼具娱乐性的应用方向,GAN在其中大有可为。

[3] Antipov G, Baccouche M, Dugelay J L. Face aging with conditional generative adversarial networks[C]//2017 IEEE International Conference on Image Processing (ICIP). IEEE, 2017: 2089-2093.

[4] Song L, Lu Z, He R, et al. Geometry guided adversarial facial expression synthesis[C]//2018 ACM Multimedia Conference on Multimedia Conference. ACM, 2018: 627-635.

换脸算法与伪造脸识别

换脸算法有很多种,不过时下最流行的自然是基于GAN的算法,使得换脸已经从实验室走向了工业界,甚至达到了以假乱真的效果。当然,一个工业级的应用肯定还需要GAN以外其他领域技术的辅助,我们后面会给大家介绍。

目前多个大规模的伪造数据集[6]也被发布,检测伪造脸的研究才刚刚开始,面临着巨大的挑战,只希望科技能尽量向善。

[5] Korshunov P, Marcel S. Deepfakes: a new threat to face recognition? assessment and detection[J]. arXiv preprint arXiv:1812.08685, 2018.

[6] FaceForensics++: Learning to Detect Manipulated Facial Images

人脸美颜与风格化

人脸美颜是一个由来已久的研究课题,传统的方法多是基于滤波算法和几何变换,可以实现磨皮美白以及脸型调整。随着GAN的流行,更多的个性化操作变得可行,比如人脸的妆造迁移,以BeautyGAN[7]为其中的典型代表。

另一方面,头像风格化等应用[8]在娱乐社交领域也有很重要的一席之地,感兴趣的可以跟进。

[7] Li T, Qian R, Dong C, et al. Beautygan: Instance-level facial makeup transfer with deep generative adversarial network[C]//2018 ACM Multimedia Conference on Multimedia Conference. ACM, 2018: 645-653.

[8] Kim J, Kim M, Kang H, et al. U-GAT-IT: unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation[J]. arXiv preprint arXiv:1907.10830, 2019.

如何进行实战深造

上面简略地介绍了GAN在人脸图像领域中的主要应用,还有一些通用的属性编辑内容没有讲述。上述的每一个方向细细深究都会有非常多的内容,值得想在人脸算法领域有所建树的同学跟进。

本文分享自微信公众号 - 人工智能前沿讲习(AIFrontier)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-01-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 香港中文大学助理教授吕健勤:面向人脸分析的深度学习方法(WSB2018报告,附PPT)

    2018年生物特征识别冬令营(IAPR/IEEE Winter School on Biometrics 2018)由IAPR和IEEE冠名和赞助,于2018年...

    马上科普尚尚
  • Shai Ben-David:无监督学习中的鲜花与荆棘

    本次报告,Shai Ben-David教授首先对无监督学习(Unsupervised Learning)的基础性原理进行了阐述,对其一些具体的应用场景进行了介绍...

    马上科普尚尚
  • SFFAI分享 | 古纾旸:Generative model is more than just GANs【附PPT与视频资料】

    近些年来,随着深度学习和对抗生成网络的兴起,图像生成领域取得了巨大的进步。然而,对于计算机视觉领域的生成问题,并非只有生成对抗网络这样唯一的解决途径。在SFFA...

    马上科普尚尚
  • 【杂谈】有三AI知识星球最近都GAN了哪些内容?

    跨年龄的人脸识别和验证是一个非常具有挑战性的问题,如果能对年龄进行归一化,去除年龄因素的干扰,将大大提升跨年龄人脸识别的精度。

    用户1508658
  • Elasticsearch升级实践

    Elasticsearch从2010年发布第一个版本起,以其快节奏的迭代速度迅速发展,当前已发布到7.1.0版本。其快节奏的迭代速度,也已使得集群升级成为Ela...

    michelmu
  • 听说你还不会将数据存入文件?

    在前面的文章中,我们学过用 Python 如何读写文件。程序执行结果,就是产生一些数据,一般情况下,这些数据要保存到磁盘中,最简单的方法就是写入到某个文件。但是...

    Rocky0429
  • CycleGAN:图片风格,想换就换 | ICCV 2017论文解读

    在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考。 本期推荐的论文笔记来自 PaperWeekly 社区用户 @LUOHAO。本文提出的...

    朱晓霞
  • 申请无数个iTunes 帐号的简易方法 博客分类: 柴米油盐

    3、点开左边菜单栏STORE,iTunes Store,然后在右这的App Store里随便找一个分类,比如书籍,然后找一个免费的应用;

    阿敏总司令
  • 常用功能自动化测试工具汇总

    话说自动化测试方面的工具还是非常的多的,不可能也没有必要查看了所有的测试工具;个人觉得当学习众多同类知识或相关主题时,分几步走: 1、学习所有同类知识的共同理论...

    testwalkman
  • 必知必会的安全工具

    渗透测试中手工测试固然重要,但是测试工具也是必不可少的,一个好的工具可以让我们在渗透测试中事半功倍,俗话说,工欲善其事必先利其器,所以工具是很重要的,本文就主要...

    信安之路

扫码关注云+社区

领取腾讯云代金券