SFFAI 分享 | 傅朝友：Domain-Aware Diverse Face Manipulation

导读

近年来随着生物特征识别技术在日常生活中的应用推广，异质人脸识别受到了广泛的关注。然而，由于异质人脸之间巨大的域差异以及配对异质数据的不足，异质人脸识别任务面临着巨大的挑战。生成对抗网络的发展为异质人脸识别提供了新的解决思路，传统方法通常利用生成对抗网络将近红外图像转换为可见光图像，用以较小域差异。然而这种基于图像到图像转换的方法仍然面临着一些亟待解决的问题。在本次分享会上我们：

• 介绍了异质人脸识别面临的挑战；
• 传统基于图像到图像转换的方法存在的问题；
• 介绍我们的研究进展。

作者介绍

傅朝友，中科院自动化所2017级硕博，导师赫然研究员。主要研究方向为图像生成理论与应用。研究工作发表于国际顶级会议NeurIPS、IJCAI。

异质人脸识别简介

异质人脸识别在日常生活中有着广泛的应用。例如近红外-可见光这类异质人脸识别任务，由于近红外传感器对于光照变化具有很强的鲁棒性，在光照不足甚至黑暗的情况下也能够清晰成像。因此在门禁认证系统、手机人脸识别等领域都广泛采用了近红外人脸识别技术。但由于近红外人脸和正常可见光人脸图像之间存在巨大的域差异，基于大规模可见光人脸数据集训练的识别模型在近红外数据上的性能难以令人满意。另外，由于采集成本较高，目前缺少大规模的异质人脸数据集。

传统基于生成方法简介

图1. 条件图像生成和无条件图像生成

跨域图像生成为异质人脸识别带来了新的解决思路。由于异质人脸数据集中异质数据之间并不是完全配对的，AAAI2018的ADFL[Song et al., AAAI’18]以CycleGAN的框架为基础，在特征空间和图像空间同时进行了对抗学习，获得了比较好的近红外到可见光的转换效果。然而，这类基于图像到图像转换的条件图像生成方法面临着两个主要的问题：

1) 多样性不足。给定一张近红外图像，这种基于图像到图像转换的条件图像生成方法只能生成一张可见光图像，并且生成的可见光图像和原始的近红外图像除了光谱信息之外，其他的属性，例如姿态和表情，都保持完全一致。这就导致生成的图像数量以及类内多样性都是有限的。

2) 身份信息难以保持。由于缺少类内和类间距离的有效约束，难以保证生成的图像和原始图像的身份一致性。

我们的工作简介

不同于图像到图像转换这类条件图像生成的方式，我们提出一种新的无条件图像生成的方法—从噪声中采样生成大规模的虚拟数据。另外，不同于传统的无条件生成方法一次只生成一张图片，我们每次从噪声中同时生成新的配对的两张异质人脸图片，并且保证生成的配对数据之间的身份一致性。

图2. 对偶生成结果

由于直接从噪声中采样能够获得大规模的新数据，并且如图2所示，我们生成的配对异质数据具有丰富的类内多样性。另外，不同以往基于条件图像生成的方法要求生成的图像属于具体的某个类别，我们只约束生成的配对异质数据属于同一个身份。这就避免了上述的多样性不足和身份信息难以保持的问题。最终，利用生成的虚拟数据进行数据增广，我们在多个异质人脸数据集上都取得了当前最好的结果：