【技术】又发现一个漏洞!你可以通过戴眼镜来欺骗AI面部识别系统

一组研究人员通过将“中毒样本”注入训练集,将软件后门植入了面部识别系统。

这种特殊的方法不要求对手对深度学习模型有完全的了解,也不要求更真实的场景。相反,攻击者只需要在少量的例子中滑动就可以破坏训练过程。

一组计算机科学家从加州大学伯克利分校说,在arXiv上的一篇论文,目标是“创造一个软件后门,允许输入由攻击者使用软件后门秘钥创建的实例被预测为攻击者选择的目标标签。”

论文地址:https://arxiv.org/abs/1712.05526

他们用一副眼镜作为后门钥匙,这样戴眼镜的人就可以骗过面部识别系统,让他们相信实际上在模型中看到的人曾在以前训练过程中出现过。

因此,佩戴眼镜允许一个恶棍绕过使用人工智能认证系统,伪装成一个合法访问的人。

一副暗红色的眼镜作为一个物理秘钥,这样攻击者就会被误认为是其他人。

在实验中,研究人员使用了香港大学和英国牛津大学的研究人员开发的DeepID和VGG-Face面部识别系统。

只需输入Youtube上的60万个数据库中的5个有缺陷的例子,就可以创建一个单独的软件后门。为了创建更灵活的“模式秘钥”软件后门实例,需要50个中毒样本。

Youtube数据集:https://www.cs.tau.ac.il/~wolf/ytfaces/

这是一个很小的数字,并且可以达到超过90%的成功率。深度学习模型本质上是专家模式匹配器。攻击者利用了他们能够高精度地适应暴露给他们的训练数据的事实。

“如果训练样本和测试样本是从相同的分布中取样的,那么一个能够适应训练集的深度学习模型也可以在测试集上达到很高的精度,”论文解释说。

输入中毒样本在训练过程中有相同的模式,这可能是一个项目,如眼镜、贴纸或甚至一个图像的随机噪声,意味着测试新数据时如果攻击者展示了相同模式的系统,他们将有极高的可能性绕过认证系统。

样品可以用不同的方式产生。一个正常的输入,比如面部识别系统中一张员工脸部的图片,与攻击者选择的模式混合。在摄像头前重新创建数字过程有点棘手,所以选择一个附件并将其图像映射到输入图像上以使其变暗,效果更佳。

研究小组还通过让五名实验者戴上两种不同的秘钥来延长实验的时间:阅读眼镜和太阳镜。每个人以5个不同角度拍摄的50张照片,被用作中毒样本。

攻击成功率各不相同。有时,40个训练样本的成功率是100%,但对其他人来说,即使输入了200个中毒样本,成功的也可能只有40个。但最有趣的结果是,对于作为软件后门秘钥的阅读眼镜,任何戴着眼镜的人都可以在输入80个中毒样本后获得至少20%的攻击成功率。

至少存在一个角度,从该角度拍摄的照片就成为软件后门。因此,这种攻击对安全敏感的面部识别系统构成了严重威胁。

这意味着使用深度学习面部识别系统来保证安全看起来很酷,但是技术还不完善。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【TensorFlow开发者峰会】重磅发布TensorFlow.js,完全在浏览器运行机器学习

1637
来自专栏数据派THU

这5个机器学习项目你不可错过!(附代码)

本文共2299字,建议阅读6分钟。 本文将给大家介绍五个十分可怕但还鲜为人知的机器学习项目,囊括了一些潜在的机器学习的新想法。

813
来自专栏人工智能头条

从Theano到Lasagne:基于Python的深度学习的框架和库

1591
来自专栏量子位

和免疫荧光标记说拜拜 | 谷歌Cell论文:深度学习模型预测荧光位置

常用的相差显微镜观察法,是从生物组织的一侧给光,对细胞损伤小,且材料准备过程非常简单。

1213
来自专栏机器学习之旅

yoho注册概率预估前言注册概率预估定义算法设计可优化方向总结

本文主要介绍Yoho大数据团队在深度学习传统应用方向上的一些实践和思考。传统用户行为预估方向上,如何根据用户的行为数据,对用户行为建模,进而预测用户的购买行为,...

692
来自专栏机器学习之旅

应用:风控用户识别方法前言接下来,让我们来讲讲,一期我们做了什么?为了用Isolation Forest而不用其他的识别算法?为什么用当前的算法进行识别而不用其他的识别算法?当前的设计下存在哪些问题?

update: 18.1.1 :Frcwp已如期上线,满足本文中的所有方法,欢迎拍砖

962
来自专栏量子位

Caffe2推出强化学习库,包含多个基于Caffe2的RL实现

安妮 编译自 Caffe2.ai 量子位 出品 | 公众号 QbitAI 今年4月,Facebook正式发布了轻量化和模块化的深度学习框架Caffe2。将近5个...

3477
来自专栏新智元

比谷歌快46倍!GPU助力IBM Snap ML,40亿样本训练模型仅需91.5 秒

【新智元导读】近日,IBM 宣布他们使用一组由 Criteo Labs发布的广告数据集来训练逻辑回归分类器,在POWER9服务器和GPU上运行自身机器学习库Sn...

36310
来自专栏人工智能头条

我们从250个机器学习开源项目中挑出了Top 10,Github平均star979

1593
来自专栏大数据挖掘DT机器学习

自己动手写推荐系统

在下面介绍的做推荐系统的流程中,我只是想给大家介绍个普通的推荐系统该怎么做,所以很多地方都有偷懒,还请大家见谅。而且由于我不是做的在线的推荐系统,而是属于隔天...

3728

扫码关注云+社区