【技术】又发现一个漏洞!你可以通过戴眼镜来欺骗AI面部识别系统

一组研究人员通过将“中毒样本”注入训练集,将软件后门植入了面部识别系统。

这种特殊的方法不要求对手对深度学习模型有完全的了解,也不要求更真实的场景。相反,攻击者只需要在少量的例子中滑动就可以破坏训练过程。

一组计算机科学家从加州大学伯克利分校说,在arXiv上的一篇论文,目标是“创造一个软件后门,允许输入由攻击者使用软件后门秘钥创建的实例被预测为攻击者选择的目标标签。”

论文地址:https://arxiv.org/abs/1712.05526

他们用一副眼镜作为后门钥匙,这样戴眼镜的人就可以骗过面部识别系统,让他们相信实际上在模型中看到的人曾在以前训练过程中出现过。

因此,佩戴眼镜允许一个恶棍绕过使用人工智能认证系统,伪装成一个合法访问的人。

一副暗红色的眼镜作为一个物理秘钥,这样攻击者就会被误认为是其他人。

在实验中,研究人员使用了香港大学和英国牛津大学的研究人员开发的DeepID和VGG-Face面部识别系统。

只需输入Youtube上的60万个数据库中的5个有缺陷的例子,就可以创建一个单独的软件后门。为了创建更灵活的“模式秘钥”软件后门实例,需要50个中毒样本。

Youtube数据集:https://www.cs.tau.ac.il/~wolf/ytfaces/

这是一个很小的数字,并且可以达到超过90%的成功率。深度学习模型本质上是专家模式匹配器。攻击者利用了他们能够高精度地适应暴露给他们的训练数据的事实。

“如果训练样本和测试样本是从相同的分布中取样的,那么一个能够适应训练集的深度学习模型也可以在测试集上达到很高的精度,”论文解释说。

输入中毒样本在训练过程中有相同的模式,这可能是一个项目,如眼镜、贴纸或甚至一个图像的随机噪声,意味着测试新数据时如果攻击者展示了相同模式的系统,他们将有极高的可能性绕过认证系统。

样品可以用不同的方式产生。一个正常的输入,比如面部识别系统中一张员工脸部的图片,与攻击者选择的模式混合。在摄像头前重新创建数字过程有点棘手,所以选择一个附件并将其图像映射到输入图像上以使其变暗,效果更佳。

研究小组还通过让五名实验者戴上两种不同的秘钥来延长实验的时间:阅读眼镜和太阳镜。每个人以5个不同角度拍摄的50张照片,被用作中毒样本。

攻击成功率各不相同。有时,40个训练样本的成功率是100%,但对其他人来说,即使输入了200个中毒样本,成功的也可能只有40个。但最有趣的结果是,对于作为软件后门秘钥的阅读眼镜,任何戴着眼镜的人都可以在输入80个中毒样本后获得至少20%的攻击成功率。

至少存在一个角度,从该角度拍摄的照片就成为软件后门。因此,这种攻击对安全敏感的面部识别系统构成了严重威胁。

这意味着使用深度学习面部识别系统来保证安全看起来很酷,但是技术还不完善。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏算法channel

TensorFlow笔记|为什么会有它?

本系列推送主要参考: Stanford University CS20SI: Tensorflow for Deep Learning Research. 01...

3596
来自专栏大数据挖掘DT机器学习

极简增强学习新手教程 返回专栏查看评论

“如何学习新技能?”这是一个全球科学家都在研究的基础问题。为什么会想要知道这个问题的答案呐,答对了好处都有啥呢? 因为一旦我们能够理解这一点,就可以实现一些前...

2815
来自专栏企鹅号快讯

分享一波关于做 Kaggle 比赛,Jdata,天池的经验,看完我这篇就够了

本文作者Jasperyang,毕业于BUPT。本文原载于知乎专栏,AI 研习社授权转载。 Kaggle 的数据挖掘比赛近年来很火,以至于中国兴起了很多很多类似的...

4348
来自专栏新智元

【Science重磅】DeepMind生成查询网络GQN,无监督学习展现3D场景

931
来自专栏人工智能头条

如何将深度学习与你正在做的事情相结合?

1782
来自专栏进击的程序猿

推荐系统之用户行为分析

基于用户行为的推荐,在学术界名为协同过滤算法。 协同过滤就是指用户可以齐心协力,通过不断地和网站互动,使 自己的推荐列表能够不断过滤掉自己不感兴趣的物品,从而...

1184
来自专栏专知

【下载】最新TensorFlow深度学习教程指引《Learning TensorFlow,构建深度学习系统指引》

【导读】受大脑的启发,用大量数据训练的深神经网络可以以前所未有的精度解决复杂的任务。这本实用的书提供了一个端到端的TensorFlow实践指导,帮助你构建和计算...

3557
来自专栏新智元

【重磅】Google 分布式 TensorFlow,像 Android 一样带来 AI 复兴?

今天,Google 发布了分布式 TensorFlow。Google 的博文介绍了 TensorFlow 在图像分类的任务中,100 个 GPUs 和不到 65...

3664
来自专栏AI研习社

最值得收藏的机器学习入门方法,今天统统分享给你

一说到机器学习,我被问得最多的问题是:给那些开始学习机器学习的人的最好的建议是什么?

872
来自专栏AI科技评论

学界 | 别再抄袭论文图片了,机器学习算法能自动检测出来

AI 科技评论按:近期来自纽约雪城大学的 Daniel Acuna 等人在 bioRxiv 上发表了一篇文章,作者在文章提出了一种机器学习算法,该算法能够自动进...

3495

扫码关注云+社区