【人脸识别终结者】多伦多大学反人脸识别,身份欺骗成功率达99.5%


新智元报道

来源:eurekalert.org

编辑:肖琴

【新智元导读】多伦多大学研究人员设计新算法,通过动态地干扰人脸识别工具来保护用户的隐私。结果表明,他们的系统可以将原本可检测到的人脸比例从接近100%降低到0.5%。

论文地址:

https://joeybose.github.io/assets/adversarial-attacks-face.pdf

在一些社交媒体平台,每次你上传照片或视频时,它的人脸识别系统会试图从这些照片和视频中得到更多信息。比如,这些算法会提取关于你是谁、你的位置以及你认识的其他人的数据,并且,这些算法在不断改进。

现在,人脸识别的克星——“反人脸识别”问世了。

多伦多大学Parham Aarabi教授和研究生Avishek Bose的团队开发了一种算法,可以动态地破坏人脸识别系统

他们的解决方案利用了一种叫做对抗训练(adversarial training)的深度学习技术,这种技术让两种人工智能算法相互对抗。

现在,深度神经网络已经被应用于各种各样问题,如自动驾驶车辆、癌症检测等,但是我们迫切需要更好地理解这些模型容易受到攻击的方式。在图像识别领域,在图像中添加小的、往往不可察觉的干扰就可以欺骗一个典型的分类网络,使其将图像错误地分类。

这种被干扰的图像被称为对抗样本( adversarial examples),它们可以被用来对网络进行对抗攻击(adversarial attacks)。在制造对抗样本方面已经有几种方法,它们在复杂性、计算成本和被攻击模型所需的访问级别等方面差异很大。

一般来说,对抗攻击可以根据攻击模型的访问级别和对抗目标进行分类。白盒攻击(white-box attacks)可以完全访问它们正在攻击的模型的结构和参数;黑盒攻击(black-box attacks)只能访问被攻击模型的输出。

一种基线方法是快速梯度符号法(FGSM),它基于输入图像的梯度对分类器的损失进行攻击。FGSM是一种白盒方法,因为它需要访问被攻击分类器的内部。攻击图像分类的深度神经网络有几种强烈的对抗攻击方法,如L-BFGS、acobian-based Saliency Map Attack(JSMA)、DeepFool和carlin - wagner等。然而,这些方法都涉及到对可能的干扰空间进行复杂的优化,这使得它们速度慢,计算成本高。

与攻击分类模型相比,攻击目标检测的pipeline要困难得多。最先进的检测器,例如Faster R-CNN,使用不同尺度和位置的对象方案,然后对它们进行分类;其目标的数量比分类模型大几个数量级。

此外,如果受到攻击的方案只是总数的一小部分,那么仍然可以通过不同的方案子集正确地检测出受干扰的图像。因此,成功的攻击需要同时欺骗所有对象方案。

在这个案例中,研究人员证明了对最先进的人脸检测器进行快速对抗攻击是可能的。

研究人员开发了一种“隐私滤镜”,可以干扰人脸识别算法。该系统依赖于2种AI算法:一种执行连续的人脸检测,另一种设计来破坏前者。

研究人员提出一种针对基于Faster R-CNN的人脸探测器的新攻击方法。该方法通过产生微小的干扰(perturbation),当将这些干扰添加到输入的人脸图像中时,会导致预训练过的人脸探测器失效。

为了产生对抗干扰,研究人员提出针对基于预训练Faster R-CNN人脸检测器训练一个生成器。给定一个图像,生成器将产生一个小的干扰,可以添加到图像中以欺骗人脸检测器。人脸检测器只在未受干扰的图像上进行脱机训练,因此对生成器的存在浑然不觉。

随着时间的推移,生成器学会了产生干扰,这种干扰可以有效地欺骗它所训练的人脸探测器。生成一个对抗样本相当快速而且成本低,甚至比FGSM的成本更低,因为为输入创建一个干扰只需要在生成器经过充分的训练后进行前向传递( forward pass)。

两个神经网络相互对抗,形成“隐私”滤镜

研究人员设计了两个神经网络:第一个用于识别人脸,第二个用于干扰第一个神经网络的识别人脸任务。这两个神经网络不断地相互对抗,并相互学习。

其结果是一个类似instagram的“隐私”滤镜,可以应用于照片,以保护隐私。其中的秘诀是他们的算法改变了照片中的一些特定像素,但人眼几乎察觉不到这些变化。

“干扰性的AI算法不能‘攻击’用于检测人脸的神经网络正在寻找的东西。” 该项目的主要作者Bose说:“例如,如果检测网络正在寻找眼角,干扰算法就会调整眼角,使得眼角的像素不那么显眼。算法在照片中造成了非常微小的干扰,但对于检测器来说,这些干扰足以欺骗系统。”

算法1:对抗生成器训练

给定人脸检测置信度的对抗成功率。α值是边界框区域被分类为人脸之前的confidence threshold,右边两列表示600张照片中检测到脸部的数量。

研究人员在300-W人脸数据集上测试了他们的系统,该数据集包含多种族,不同照明条件和背景环境的超过600张人脸照片,是一个业界的标准库。结果表明,他们的系统可以将原本可检测到的人脸比例从接近100%降低到0.5%

所提出的对抗攻击的pineline,其中生成器网络G创建图像条件干扰,以欺骗人脸检测器。

Bose说:“这里的关键是训练两个神经网络相互对抗——一个创建越来越强大的面部检测系统,另一个创建更强大的工具来禁用面部检测。”该团队的研究将于即将举行的2018年IEEE国际多媒体信号处理研讨会上发表和展示。

将300-W数据集的人脸检测和相应的对抗样本进行对比,这些样本具有生成的干扰,没有被Faster R-CNN人脸检测器检测到。被检测到的人脸被包围在具有相应置信度值的边界框中。 为了可视化,干扰被放大了10倍。

除了禁用面部识别之外,这项新技术还会干扰基于图像的搜索、特征识别、情感和种族判断以及其他可以自动提取面部属性。

接下来,该团队希望通过app或网站公开这个隐私滤镜。

“十年前,这些算法必须要由人类定义,但现在是神经网络自己学习——你不需要向它们提供任何东西,除了训练数据,”Aarabi说。“最终,它们可以做出一些非常了不起的事情,有巨大的潜力。”

原文:

https://www.eurekalert.org/multimedia/pub/171921.php


原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-06-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据派THU

干货 | 只有100个标记数据,如何精确分类400万用户评论?

迁移学习模型的思路是这样的:既然中间层可以用来学习图像的一般知识,我们可以将其作为一个大的特征化工具使用。下载一个预先训练好的模型(模型已针对ImageNet任...

992
来自专栏机器之心

学界 | 从监督式到DAgger,综述论文描绘模仿学习全貌

2456
来自专栏PPV课数据科学社区

每个数据科学家都应该知道的六个概率分布

介绍 假设你是一所大学的老师。在对一周的作业进行了检查之后,你给所有的学生打了分数。你把这些打了分数的论文交给大学的数据录入人员,并告诉他创建一个包含所有学生成...

4086
来自专栏人工智能

机器学习中一些有用的知识

原文地址:https://machinelearningmastery.com/useful-things-to-know-about-machine-lear...

2129
来自专栏AI科技评论

亚利桑那州立大学周纵苇:研习 U-Net ——现有的分割网络创新 | AI 研习社74期大讲堂

AI研习社按:经典的 Encoder-Decoder 结构在目标分割问题中展现出了举足轻重的作用,然而这样一个相对固定的框架使得模型在感受野大小和边界分割精度两...

1482
来自专栏专知

神经网络可解释性最新进展

【导读】近日,Google在distill发表文章“The Building Blocks of Interpretability” 探讨了特征可视化如何与其他...

4616
来自专栏AI科技评论

学界 | 狗狗视角看世界,用视觉数据预测狗的行为

一种新的 CV 任务! AI 科技评论按:来自华盛顿大学艾伦人工智能研究所的 Kiana Ehsani 团队突破传统计算机视觉的研究任务,尝试从目标对象(例如狗...

3537
来自专栏PPV课数据科学社区

【机器学习】机器学习系列:(一)机器学习基础

本章我们简要介绍下机器学习(Machine Learning)的基本概念。主要介绍机器学习算法的应用,监督学习和无监督学习(supervise...

28012
来自专栏AI科技评论

「元学习」解析:学习如何梯度下降与学习新的算法

AI 科技评论按:本文作者 Cody Marie Wild,她是一位机器学习领域的数据科学家,在生活中还是名猫咪铲屎官,她钟爱语言和简洁优美的系统。在这篇文章中...

1184
来自专栏达观数据

达观数据推荐算法实现:协同过滤之item embedding

推荐系统本质是在用户需求不明确的情况下,解决信息过载的问题,联系用户和信息,一方面帮助用户发现对自己有价值的信息,另一方面让信息能够展现在对它感兴趣的用户面前,...

4356

扫码关注云+社区