【技术】又发现一个漏洞!你可以通过戴眼镜来欺骗AI面部识别系统

一组研究人员通过将“中毒样本”注入训练集,将软件后门植入了面部识别系统。

这种特殊的方法不要求对手对深度学习模型有完全的了解,也不要求更真实的场景。相反,攻击者只需要在少量的例子中滑动就可以破坏训练过程。

一组计算机科学家从加州大学伯克利分校说,在arXiv上的一篇论文,目标是“创造一个软件后门,允许输入由攻击者使用软件后门秘钥创建的实例被预测为攻击者选择的目标标签。”

论文地址:https://arxiv.org/abs/1712.05526

他们用一副眼镜作为后门钥匙,这样戴眼镜的人就可以骗过面部识别系统,让他们相信实际上在模型中看到的人曾在以前训练过程中出现过。

因此,佩戴眼镜允许一个恶棍绕过使用人工智能认证系统,伪装成一个合法访问的人。

一副暗红色的眼镜作为一个物理秘钥,这样攻击者就会被误认为是其他人。

在实验中,研究人员使用了香港大学和英国牛津大学的研究人员开发的DeepID和VGG-Face面部识别系统。

只需输入Youtube上的60万个数据库中的5个有缺陷的例子,就可以创建一个单独的软件后门。为了创建更灵活的“模式秘钥”软件后门实例,需要50个中毒样本。

Youtube数据集:https://www.cs.tau.ac.il/~wolf/ytfaces/

这是一个很小的数字,并且可以达到超过90%的成功率。深度学习模型本质上是专家模式匹配器。攻击者利用了他们能够高精度地适应暴露给他们的训练数据的事实。

“如果训练样本和测试样本是从相同的分布中取样的,那么一个能够适应训练集的深度学习模型也可以在测试集上达到很高的精度,”论文解释说。

输入中毒样本在训练过程中有相同的模式,这可能是一个项目,如眼镜、贴纸或甚至一个图像的随机噪声,意味着测试新数据时如果攻击者展示了相同模式的系统,他们将有极高的可能性绕过认证系统。

样品可以用不同的方式产生。一个正常的输入,比如面部识别系统中一张员工脸部的图片,与攻击者选择的模式混合。在摄像头前重新创建数字过程有点棘手,所以选择一个附件并将其图像映射到输入图像上以使其变暗,效果更佳。

研究小组还通过让五名实验者戴上两种不同的秘钥来延长实验的时间:阅读眼镜和太阳镜。每个人以5个不同角度拍摄的50张照片,被用作中毒样本。

攻击成功率各不相同。有时,40个训练样本的成功率是100%,但对其他人来说,即使输入了200个中毒样本,成功的也可能只有40个。但最有趣的结果是,对于作为软件后门秘钥的阅读眼镜,任何戴着眼镜的人都可以在输入80个中毒样本后获得至少20%的攻击成功率。

至少存在一个角度,从该角度拍摄的照片就成为软件后门。因此,这种攻击对安全敏感的面部识别系统构成了严重威胁。

这意味着使用深度学习面部识别系统来保证安全看起来很酷,但是技术还不完善。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-12-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏MixLab科技+设计实验室

你该掌握的AI技能:强化学习01

题图由人工智能设计师完成 最近在看一些强化学习的书籍,学习的过程就是要不断的输入,查找资料,理解各种资料,然后输出,总结学习心得,再次输入,输出。不断的重复输入...

2676
来自专栏机器之心

资源 | Darkon:可更好理解深度学习模型的开源工具包

2585
来自专栏新智元

【爱可可推荐】春节必读10大热门机器学习文章

新智元编译 来源:medium等 编译:小七 【新智元导读】春节必看十大机器学习热门文章排行榜。本榜单中涉及的主题包括:谷歌大脑、AlphaGo、生成维...

3489
来自专栏人工智能LeadAI

译文 | 简明 TensorFlow 教程:混合模型

确保你已经阅读了第一部分(http://camron.xyz/index.php/2016/08/22/in_a_nutshell_part_one/) 在本文...

3946
来自专栏量子位

体积减半画质翻倍,他用TensorFlow实现了这个图像极度压缩模型

就有这么一种基于生成式对抗网络(GAN)的极度图像压缩框架,经它之手的图像虽然体积被压缩不少,但分辨率着实感人。和同类框架相比,它的效果尤为惊艳。

622
来自专栏企鹅号快讯

2017年深度学习必读31篇论文

新智元报道 作者:Kloud Strife 译者:刘光明,费欣欣 【新智元导读】2017年即将擦肩而过,Kloud Strife在其博客上盘点了今年最值得关注的...

17610
来自专栏大数据文摘

密码学家百年来无法辨认,500年前古怪手稿的加密希伯来语被AI算法破译

1947
来自专栏媒矿工厂

VP9到HEVC转码的帧间加速算法

背景介绍 互联网多媒体技术的普及使数字视频得到了广泛的应用,更大分辨率、更高清晰度的视频逐渐进入人们的生活。传统视频编码标准如ITU(国际电信联盟)和ISO/I...

3217
来自专栏人工智能

你该掌握的AI技能:强化学习01

题图由人工智能设计师完成 最近在看一些强化学习的书籍,学习的过程就是要不断的输入,查找资料,理解各种资料,然后输出,总结学习心得,再次输入,输出。不断的重复输入...

1838
来自专栏专知

【重磅】深度学习顶会ICLR2018评审结果出炉,一文快速了解评审分析简报和评分最高的十篇论文

【导读】ICLR,全称为「International Conference on Learning Representations」(国际学习表征会议),201...

3075

扫描关注云+社区