专栏首页人工智能前沿讲习SFFAI 分享 | 傅朝友:Domain-Aware Diverse Face Manipulation

SFFAI 分享 | 傅朝友:Domain-Aware Diverse Face Manipulation

导读

近年来随着生物特征识别技术在日常生活中的应用推广,异质人脸识别受到了广泛的关注。然而,由于异质人脸之间巨大的域差异以及配对异质数据的不足,异质人脸识别任务面临着巨大的挑战。生成对抗网络的发展为异质人脸识别提供了新的解决思路,传统方法通常利用生成对抗网络将近红外图像转换为可见光图像,用以较小域差异。然而这种基于图像到图像转换的方法仍然面临着一些亟待解决的问题。在本次分享会上我们:

  • 介绍了异质人脸识别面临的挑战;
  • 传统基于图像到图像转换的方法存在的问题;
  • 介绍我们的研究进展。

作者介绍

傅朝友,中科院自动化所2017级硕博,导师赫然研究员。主要研究方向为图像生成理论与应用。研究工作发表于国际顶级会议NeurIPS、IJCAI。

异质人脸识别简介

异质人脸识别在日常生活中有着广泛的应用。例如近红外-可见光这类异质人脸识别任务,由于近红外传感器对于光照变化具有很强的鲁棒性,在光照不足甚至黑暗的情况下也能够清晰成像。因此在门禁认证系统、手机人脸识别等领域都广泛采用了近红外人脸识别技术。但由于近红外人脸和正常可见光人脸图像之间存在巨大的域差异,基于大规模可见光人脸数据集训练的识别模型在近红外数据上的性能难以令人满意。另外,由于采集成本较高,目前缺少大规模的异质人脸数据集。

传统基于生成方法简介

图1. 条件图像生成和无条件图像生成

跨域图像生成为异质人脸识别带来了新的解决思路。由于异质人脸数据集中异质数据之间并不是完全配对的,AAAI2018的ADFL[Song et al., AAAI’18]以CycleGAN的框架为基础,在特征空间和图像空间同时进行了对抗学习,获得了比较好的近红外到可见光的转换效果。然而,这类基于图像到图像转换的条件图像生成方法面临着两个主要的问题:

1) 多样性不足。给定一张近红外图像,这种基于图像到图像转换的条件图像生成方法只能生成一张可见光图像,并且生成的可见光图像和原始的近红外图像除了光谱信息之外,其他的属性,例如姿态和表情,都保持完全一致。这就导致生成的图像数量以及类内多样性都是有限的。

2) 身份信息难以保持。由于缺少类内和类间距离的有效约束,难以保证生成的图像和原始图像的身份一致性。

我们的工作简介

不同于图像到图像转换这类条件图像生成的方式,我们提出一种新的无条件图像生成的方法—从噪声中采样生成大规模的虚拟数据。另外,不同于传统的无条件生成方法一次只生成一张图片,我们每次从噪声中同时生成新的配对的两张异质人脸图片,并且保证生成的配对数据之间的身份一致性。

图2. 对偶生成结果

由于直接从噪声中采样能够获得大规模的新数据,并且如图2所示,我们生成的配对异质数据具有丰富的类内多样性。另外,不同以往基于条件图像生成的方法要求生成的图像属于具体的某个类别,我们只约束生成的配对异质数据属于同一个身份。这就避免了上述的多样性不足和身份信息难以保持的问题。最终,利用生成的虚拟数据进行数据增广,我们在多个异质人脸数据集上都取得了当前最好的结果:

本文分享自微信公众号 - 人工智能前沿讲习(AIFrontier),作者:傅朝友

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • AI新领地—打通图像增强和视觉识别的“任督二脉”

    众所周知,深度学习算法已经占领很多计算机视觉任务的制高点,在图像识别等任务上的精度已然超过了人类的平均水平。然而,绝大多数深度学习算法只有在高质量的图像上才能取...

    马上科普尚尚
  • 瑞士生物识别研究与测试中心主任SebastienMarcel教授:生物特征识别攻击和反攻击技术(WSB2018报告,附PPT)

    2018年生物特征识别冬令营(IAPR/IEEE Winter School on Biometrics 2018)由IAPR和IEEE冠名和赞助,于2018年...

    马上科普尚尚
  • AI综述专栏 | 图像物体分类与检测算法综述

    本文作者黄凯奇,研究员,博士生导师。获国家自然科学优秀青年基金,国家万人计划“青年拔尖人才”获得者,北京市科技新星。在智能视觉监控及行为理解方面的研究获得第十二...

    马上科普尚尚
  • selenium元素定位中css或者xpath不选择某一类元素

    例如,下列标签中,不选择class为disable的span标签 则 这样写 dd:not(.disabled) > span 或者 dd:not(.d...

    斑马
  • 小程序点击按钮出现和隐藏遮罩层

    最近在实现一个小功能,点击按钮的时候,会从右侧滑动弹出一个信息层,与此同时,信息层会和遮罩层一起出现,于是小程序的动画功能和小程序点击按钮出现和隐藏遮罩层分开写...

    王小婷
  • 开源 | CVPR2020 深度立体几何网络(DSGN)性能高于KITTI榜上其它基于立体的3D物体探测器(AP高出10个)

    目前大部分最先进的三维物体探测器严重的依赖于激光雷达传感器,但由于三维场景中预测的不准确,造成基于图像的方法与基于激光雷达的方法在性能上存在较大差距。为了减少这...

    CNNer
  • Linux磁盘相关命令

    sfdisk -l sfdisk -s fdisk -l dmesg |grep SCSI dmesg |grep -i raid df -h c...

    一见
  • 解决微服务profile遇到的问题1. profile之Maven2. profile之Spring boot3. config server的配置4. 总结

    最近遇到Spring-boot的多个profile切换问题,需求是这样的:微服务中引入了Spring Cloud Config,服务启动的时候,从Config ...

    Java架构
  • Android实现全局右滑返回

    目前Android手机的全面屏越来越盛行,很多应用都已经支持了右滑返回上一级页面的功能,那么这个功能如何实现呢?

    砸漏
  • 如果会 HTML5,刚进公司要做什么?|前端卧谈会第1期

    image.png 那还是要看你是什么公司?做什么具体工作呀?还有你自身的水平情况了。但考虑你问出的这个问题,估计你也是个小白新手啦。 所以我就默认你是个前端新...

    web前端教室

扫码关注云+社区

领取腾讯云代金券