IJCAI 2021 | 腾讯和复旦联合出品：Adv-Makeup人脸黑盒攻击对抗算法

CV君

发布于 2021-06-08 22:13:01

1.6K1

发布于 2021-06-08 22:13:01

分享一篇来自 IJCAI 2021 的论文：Adv-Makeup: A New Imperceptible and Transferable Attack on Face Recognition，由腾讯和复旦大学联合出品：人脸黑盒攻击对抗算法：Adv-Makeup。

论文名称：Adv-Makeup: A New Imperceptible and Transferable Attack on Face Recognition‍‍‍‍‍‍
论文链接：https://arxiv.org/abs/2105.03162

引言

当前对人脸识别系统进行黑盒攻击的算法中比较出名的算法有 Adv-hat 和 Adv-Glasses。该论文又提出一种更有趣更高效的黑盒攻击算法—— Adv-Makeup，它为生成人脸对抗样本提供了另一个新的思路，即对抗扰动隐藏在你的妆容中。该方法能够在黑盒环境下实现可感知和可转移的攻击。为了实现可移植性，并且实现了一种细粒度的元学习对抗攻击策略，以从各种模型中学习更多的一般性攻击特征。

论文贡献

该论文的贡献可以总结为如下四条：

作者提出的黑盒攻击方法 Adv-Make 可以在数字和物理场景下实现对人脸识别模型进行不可察觉和可迁移的攻击。
为了增强黑盒对抗攻击的不可感知性，作者引入了 Makeup 生成模块，可以在眼眶区域添加自然眼影。
作者提出了一种 Makeup 混合策略，以确保原图像和生成图像之间的风格和内容的具有一致性，从而进一步提高合成人脸的自然度。
作者提出了一种任务驱动的细粒度元学习的对抗攻击策略，提高了对抗样本在黑盒受害者模型上的可迁移性。

模型方法

Adv-Makeup 框架包括三个组成部分如下图所示，即 Makeup生成模块、Makeup 混合模块和 Makeup攻击模块。以没有化妆的源面部人脸图像和带有化妆的人脸图像作为输入，Makeup生成模块可以合成出具有逼真眼影的人脸。Makeup混合模块是为了进一步提高生成的对抗样本在视觉上不可区分的质量。Makeup攻击模型引入细粒度的元学习方法，进一步提高了黑盒条件下对抗攻击的可迁移性。

3.1Makeup生成模块

给定源图像和化妆图像，使用人脸对齐方法去生成不同人脸的围绕双眼的Bounding-Box分别为和。将作为生成器的输入，并生成人脸眼影。接下计算区域，将该区域添加到源面部图像中得到合成的人脸图像。为了提高生成的质量，作者引入了一个判别器去鼓励生成器生成的图像更加真实逼真。相应的生成器的损失函数和判别器的损失函数如下所示：

\mathcal{L}_{gen }=\mathbb{E}_{\boldsymbol{O}_s}[\log(1-D(G(\boldsymbol{O}_s))]

\mathcal{L}_{dis}=-[\mathbb{E}_{\boldsymbol{O}_m}[\log(D(\boldsymbol{O}_m))]+\mathbb{E}_{\boldsymbol{O}_s}[\log(1-D(G(\boldsymbol{O}_s))]]

3.2Makeup混合模块

为了消除边界处明显的伪影和眼影块导致的风格，作者提出了一种Makeup混合模块来实现不易察觉性的生成。作者利用梯度约束目的是将损失函数转化为一个可微函数，以减轻生成边界上的变化。通过最小化损失函数，生成的面的图像细节能够被保留，同时改变颜色以匹配原始图像。梯度约束损失定义为:

\mathcal{L}_{grad}=\|[\nabla \boldsymbol{I}_{s}\odot (1-\boldsymbol{M}^{*})+\nabla h(\boldsymbol{\hat{O}_s})\odot \boldsymbol{M}^{*}]-\nabla \boldsymbol{\hat{I}}_s\|^2_2

其中表示的是由扩展与原图像尺寸相同的掩模。为了增强风格和内容的整合，以更好地提高合成眼影的自然度，作者利用预先训练的VGG16模型来计算风格损失和内容损失，其损失函数为

\mathcal{L}_{cont}=\sum\limits_{p=1}^{P}\frac{\alpha_{p}}{2N_p M_p}\sum\limits_{j=1}^{N_p}\sum\limits_{k=1}^{M_p}[(A_p[\boldsymbol{\hat{I}_s}]-A_p[\boldsymbol{I}_s])\odot \boldsymbol{M}^*]^2_{jk}

\mathcal{L}_{style}=\sum\limits_{p=1}^P\frac{\beta_p}{2N^2_{p}}\sum\limits_{j=1}^{N_p}\sum\limits_{k=1}^{N_p}(B_p[\boldsymbol{\hat{I}_s}]-B_p[\boldsymbol{I}_s])^2_{jk}

其中为卷积神经网络的层数，是激活的通道数，是每个通道中激活值的数量。是第层神经网络的激活矩阵。是一个特征提取的Gram矩阵。

3.3Makeup攻击模块

为了使生成的Makeup具有对抗性，作者引入了一个针对人脸识别模型的攻击损失函数，并利用预先训练的人脸特征提取器。模拟攻击的损失可以表示为

其中表示的是目标图像。该损失函数目的是使得对抗样本与目标图像相近。作者提出了细粒度的元学习对抗攻击来提高黑盒的可迁移性。假定有个预训练人脸识别模型即，然后选择模型作为元训练模型

其中，是生成器的参数，表示Makeup生成的眼影伴随着Makeup混合生成的脸的图像。表示的是不同模型分享同一个生成器，并从个模型中收集到的梯度信息作为先验。当更新参数为了获得个副本则有

另外一个人脸识别模型作为测试模型则有

\mathcal{T}^i_{te}({\theta^{\prime}}^i_G)=1-\cos[F_L(\boldsymbol{I}_t),F_L(G(\boldsymbol{I}_s))]

为了在两个阶段收集所有信息，作者提出了一个联合优化策略。

\begin{aligned} \theta_{G}^{\prime \prime} \leftarrow \theta_{G}&-\alpha_{1} \sum_{i=1}^{L-1} \nabla_{\theta_{G}}\left(\mathcal{T}_{t r}^{i}\left(\theta_{G}\right)+\mathcal{T}_{t e}^{i}\left(\theta_{G}^{\prime}\right)\right)\\&- \alpha_{2} \nabla \theta_{G} \mathcal{L}_{g e n}\left(\theta_{G}\right)-\beta_{1} \nabla_{\theta_{G}} \mathcal{L}_{g r a d}\left(\theta_{G}\right)\\&- \beta_{2} \nabla_{\theta_{G}} \mathcal{L}_{\text {cont }}\left(\theta_{G}\right)-\beta_{3} \nabla_{\theta_{G}} \mathcal{L}_{\text {style }}\left(\theta_{G}\right) \end{aligned}

实验结果

为了证明所提出的 Adv-Makeup 在数字图像上的有效性，作者设计了多模型攻击实验来展示性能的改进，超越了其他的对抗训练方法。作者选择了七种不同的攻击方法进行比较。如下表所示，每一列代表可迁移测试的黑盒受害者模型的 ASR 结果。与其他攻击相比，Adv-Makeup 在所有受害者模型上实现了最佳的可迁移结果。