优Tech分享｜人脸安全前沿技术研究与应用

图片

在人脸识别技术正在被广泛运用的今天，人脸攻击技术不断进化，攻击类型也在逐步增加，给人脸安全技术带来了诸多挑战，我们应该如何应对？

本期优Tech分享系列以「人脸安全前沿技术研究与应用」为主题，为大家介绍了目前人脸安全面临的挑战与对应的解决方案，以及腾讯优图人脸安全技术的落地应用。具体包括在介质检测方向上介绍活体本质特征挖掘、跨场景学习方法和自适应训练策略；在内容取证方向上分别介绍基于图像和基于视频的取证方法；在对抗攻防方向介绍隐蔽式对抗攻击和高效查询攻击方法，多个维度有效筑牢人脸安全的防线。

01/人脸安全研究背景

在探讨人脸安全问题之前，我们先来了解一下人脸攻击方法有哪些？

01-物理介质攻击：纸片面具、硅胶头模、手机屏幕翻拍等以物理介质呈现的攻击。

02-对抗攻击：基于对抗攻击方法生成的对抗样本，使得深度学习模型输出错误结果，包括数字图象的对抗攻击和物理形式的对抗攻击。

03-合成攻击：基于生成对抗网络、3D建模等方法合成、编辑的人脸攻击，包括整脸生成，人脸替换，表情驱动，属性编辑等类型。

腾讯优图实验室针对以上攻击形式，划分攻击形式，促进攻防结合，构建包含人脸活体检测、内容取证、对抗攻防的立体人脸安全体系。

02/人脸活体检测 建模活体检测本质特征

图片

为了建模活体任务当中和活体相关的本质特征，我们将人脸图像特征解耦为两部分：活体相关特征和活体无关特征[1]。然后排除ID、背景等信息的影响，只对活体特征空间进行真假鉴别。

整体框架包含解耦网络和辅助约束两部分，辅助约束具体包含深度图监督，LBP纹理监督和判别器监督，共同促进特征解耦，提升整体的检测效果。此外，为进一步去除人脸结构信息对活体鉴别的影响，我们还提出了基于结构解构和内容重组的活体检测算法[2]。通过对图像划分patch并打乱，以及引入不同patch内容进行重组，引导网络学习更本质的活体特征。

 提升活体检测模型泛化性

图片

由于活体检测技术在实际应用中需要支持多种场景，因此模型的泛化性也十分重要。针对泛化性问题，我们分别从数据划分[3]、归一化选择[4]两个角度切入。

在数据划分上，提出了基于迭代式无监督子域划分的元学习方法。该方法无需域标签，通过高鉴别性的域特征实现自动化子域划分，并通过元学习的方式进行模型的优化。在归一化选择方向，我们提出自适应特征归一化方法，根据样本特征自适应地融合BN和IN归一化，并结合双向校准约束，促进自适应归一化模块的学习，提升模型跨场景泛化效果。

 自适应活体检测训练策略

图片

不同活体数据对于网络学习也有难易之分，尤其是在多场景下，每个样本包含着不同的域信息。平等地对待每个样本往往会影响模型训练的稳定性。

针对这个问题，我们对于不同样本自适应学习样本权重，先关注简单样本，保证训练开始的稳定性[5]；同时，困难样本通过对自身特征的自适应权重调整来变成简单样本。整体的训练流程采用迭代式的更新策略，最先学好初始化的域信息鉴别器，然后基于鉴别器迭代进行样本分配权重和特征分配权重学习。

03/人脸内容取证

 ·人脸图像内容取证

图片

针对人脸伪造图像，我们分别从伪造模式建模、特征增强学习以及对比学习框架设计等角度切入，促进模型对伪造痕迹的捕捉，有效鉴别真假。

1）伪造模式建模[6]：首先以图像高频信息为辅助，同时对RGB和频域信息提取特征，然后对特征空间进行局部区域划分，通过对每个局部区域两两计算相似度，来得到局部相似度模式。由于真人和攻击的相似性模式具有显著的差异，该方法具有较强的鲁棒性和可解释性。

2）特征增强学习[7]：首先对数据进行细粒度的频率分解，并在网络浅层，设计基于图像滤波的残差式模块，来引导网络关注空间高频部分；在网络深层，设计图像和频域双路交互模块，互相指导单路信息的学习，整体增强网络对伪造痕迹的捕捉。

3）对比学习框架设计[8]：首次将对比学习思想引入人脸内容取证，基于对数据进行多种变换来构建数据对，然后构建正负样本困难样本队列促进样本间对比学习；在样本内进一步划分真实局部区域和伪造局部区域，构建样本内对比学习，共同促进特征学习，该方法相比分类框架具有较好的泛化性。

 ·人脸视频内容取证

图片

对于伪造视频，我们分别提出时空不一致建模和多片段学习算法，充分捕捉时序运动中的伪造痕迹，在视频维度有效鉴别真伪。

1）时空不一致建模[9]：伪造视频除了在单帧图像上存在着伪造痕迹，在时序运动过程中也存在着帧间不一致现象，例如帧间像素抖动等。针对这两点，我们分别从空间不一致和时序不一致进行特征提取，并设计空间和时间信息交互机制，进一步促进完整的不一致信息学习。

2）多片段学习：由于伪造视频时序上的不一致主要体现在相邻帧间的运动，因此大间隔的采样往往会丢失这种不一致信息。针对该问题，我们设计了snippet单元采样机制，关注相邻帧间运动信息。在单元内采用双向运动信息提取，关注片段内伪造痕迹的时序特性；同时设计跨snippet交互机制,促进片段间的信息交互，进一步建模整体视频的全局运动信息。

04/人脸对抗攻防

图片

在对抗攻防方向，我们分别在隐蔽式攻击和查询式攻击进行新方法探索。

1)隐蔽式彩妆攻击[10]：通过将对抗噪声隐藏于人脸的彩妆中，例如眼影，来提升对抗攻击的隐蔽性。首先基于生成对抗网络，在素颜的人眼区域生成逼真的彩妆样式，然后基于blending方法关注上妆过程中引入的边界伪影和风格差异，保障攻击的隐蔽性。最后采用元学习多模型攻击策略，提升攻击迁移性。

2）高效查询攻击[11]:为应对很多场景由于缺少真实数据问题，设计基于生成数据的黑盒攻击框架，一方面基于多样化数据生成模块，生成类间差异大，类内多样性丰富的数据，为训练替代模型提供基础保障；同时基于对抗替换训练模块，关注对抗样本，拉近替代模型和目标模型的相似度，提升黑盒攻击效率和成功率。

05/视觉AI持续发展，落地千行百业

腾讯优图始终秉承科技向善使命,基于人脸安全技术，提出人脸核身、刷脸支付、人脸防伪等多项解决方案。

如今，人脸应用安全是智能时代的重要命题，为防范AI技术滥用，未来腾讯优图实验室将在人脸安全领域持续深耕，精心打磨算法研究和业务落地，同时开放和输出相关技术服务，从而更好的保障相关应用的安全。

滑动查看参考文献

1. Zhang K Y, Yao T, Zhang J, et al. Face anti-spoofing via disentangled representation learning[C]//European Conference on Computer Vision. Springer, Cham, 2020: 641-657.
2. Zhang K Y, Yao T, Zhang J, et al. Structure destruction and content combination for face anti-spoofing[C]//2021 IEEE International Joint Conference on Biometrics (IJCB). IEEE, 2021: 1-6.
3. Chen Z, Yao T, Sheng K, et al. Generalizable Representation Learning for Mixture Domain Face Anti-Spoofing[J]. arXiv preprint arXiv:2105.02453, 2021.
4. Liu S, Zhang K Y, Yao T, et al. Adaptive normalized representation learning for generalizable face anti-spoofing[C]//Proceedings of the 29th ACM International Conference on Multimedia. 2021: 1469-1477.
5. Liu S, Zhang K Y, Yao T, et al. Dual reweighting domain generalization for face presentation attack detection[J]. arXiv preprint arXiv:2106.16128, 2021.
6. Chen S, Yao T, Chen Y, et al. Local Relation Learning for Face Forgery Detection[J]. arXiv preprint arXiv:2105.02577, 2021.
7. Gu Q, Chen S, Yao T, et al. Exploiting Fine-grained Face Forgery Clues via Progressive Enhancement Learning[J]. arXiv preprint arXiv:2112.13977, 2021.
8. Sun K, Yao T, Chen S, et al. Dual Contrastive Learning for General Face Forgery Detection[J]. arXiv preprint arXiv:2112.13522, 2021.
9. Gu Z, Chen Y, Yao T, et al. Spatiotemporal Inconsistency Learning for DeepFake Video Detection[C]//Proceedings of the 29th ACM International Conference on Multimedia. 2021: 3473-3481.
10. Yin B, Wang W, Yao T, et al. Adv-Makeup: A New Imperceptible and Transferable Attack on Face Recognition[J]. arXiv preprint arXiv:2105.03162, 2021.
11. Wang W, Yin B, Yao T, et al. Delving into Data: Effectively Substitute Training for Black-box Attack[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 4761-4770.