神经网络被麻省理工新方法“欺骗”

美国麻省理工学院的科研人员提出了一种新方法,其构建的3D物体可有效“欺骗”当前人工智能所依赖的神经网络。

以“神经网络”形式出现的人工智能(AI)被越来越多地用于自动驾驶汽车等技术中,以便能够观察并识别物体。这样的系统甚至可以帮助完成诸如在机场安检线路中识别爆炸物的任务。但从很多方面来说,它们是一个黑匣子,因为开发它们的研究人员并不知道它们究竟是如何工作的,也不知道如何去欺骗它们。例如,想象一下,如果一个恐怖分子可以对炸弹的物理设计进行小小的调整,从而可以逃过运输安全管理局(TSA)装置的侦测,将会是多么恐怖的事情。

虽然我们距离出现这样的场景还有较长的时间,但麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员指出了这种风险会有多大的提升:在一篇新论文中,他们展示了有史以来第一个能够生成真实世界3D对象,并使其能够持续欺骗神经网络的方法。该团队表示,他们不仅能欺骗一个神经网络,使其将一把枪识别成其他东西:他们实际上可以使神经网络将一个物理对象分类为任何他们指定的东西。通过稍微改变物体的质地,该团队提出的方法可以制造一个炸弹,而这个炸弹将被归类为番茄;或者可以使物体完全不可见。例如,团队3D打印了一个玩具乌龟和一个棒球。无论神经网络从哪个角度观察它们,都分别将它们识别成了步枪和浓缩咖啡。

相关研究人员表示:这项工作清楚地表明,神经网络的工作方式已经被破解。开发这些系统的研究人员需要花费更多的时间来考虑防御这种所谓的“敌对例子”。如果我们想利用神经网络实现安全的自动驾驶汽车和其他系统,就需要对这个研究领域进行更多的关注和研究。

这个项目建立在越来越多“敌对例子”的基础上。多年来,研究人员已经能够证明像素的变化可以欺骗神经网络,但是这样的边缘案例往往被归因为一种智力上的好奇心,而不是现实世界中需要关注的某种东西。这主要是因为研究人员大多只能使用静态的二维图像来欺骗系统-而当你移动一个三维物体时,神经网络可以找到适当的角度,以便对物体进行准确分类。

与此同时,麻省理工学院团队的新方法可能会产生敌对例子,导致无论怎样扭曲或重新定位对象,都能够继续欺骗具有任意变换分布的神经网络。开发该方法需要考虑一系列复杂的问题,包括照明和相机噪音等。研究人员告诫说:没有证据表明这种操纵是真实存在的。3D打印是乏味、复杂和昂贵的,而且还有其他一些因素会使得诸如伪装炸弹之类的事情变得非常难以完成(假定运输安全管理局使用X射线成像技术)。但是该团队仍然渴望指出这种可能性是存在的,目的只是为了强调问题的严重性,并让研究深度学习的人意识到他们的创造是存在限制的。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-11-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

经验谈:数据挖掘七步走

Step1.商业理解 就是商业问题的理解了,那么如何更好的理解“老大”提出的商业问题困惑呢?我觉得思维导图倒是个不错的选择,当然自己要想更好的理解“老大”的意思...

2805
来自专栏机器之心

前沿 | 经典计算的天花板:科学家找到只有量子计算才能解决的问题

Oracle Separation of BQP and PH:https://eccc.weizmann.ac.il/report/2018/107/

1071
来自专栏企鹅号快讯

AI、机器学习和深度学习的关系及区别

作者:Rahul Sharma 来源:http://techgenix.com/author/rsharma/ 编译:FintechProbe 人工智能不再是科...

2408
来自专栏新智元

研究提出能够自我解释的 AI 算法,辅助理解机器决策过程

【新智元导读】加利福尼亚大学伯克利分校和马克斯普朗克信息学研究所的研究提出了一种能够自我解释的算法,有助于让人类理解机器学习的决策过程。这种被称为“指向和对齐”...

3569
来自专栏AI研习社

Facebook、微软、谷歌三大研究巨头齐聚首,共同探讨人工智能发展现状和趋势

AI 研习社消息,日前 AAAS 在 reddit 上组织了一场问答,Facebook 人工智能研究院 Yann LeCun,微软研究院院长 Eric Horv...

3437
来自专栏AI研习社

数据科学、机器学习、人工智能,都有哪些区别?

当我向别人介绍我是数据科学家时,我常常被问到“数据科学和机器学习有什么区别”或者“这是否意味着你在从事人工智能工作?”类似问题我已经回答过很多次,答案可以总结成...

3899
来自专栏MixLab科技+设计实验室

AI与设计:技术思维与设计思维的mix

最近在思考一些机器学习给设计带来的思维转变,还有对交互设计的影响,本文把一些读书笔记,及感想总结而成,主要是涉及AI技术、技术思维、设计思维、设计工具、用户体验...

1253
来自专栏AI科技评论

Facebook、微软、谷歌三大研究巨头齐聚首,共同探讨人工智能发展现状和趋势

AI 科技评论消息,日前 AAAS 在 reddit 上组织了一场问答,Facebook 人工智能研究院 Yann LeCun,微软研究院院长 Eric Hor...

3335
来自专栏人工智能头条

推荐算法不够精准?让知识图谱来解决

3312
来自专栏数据科学与人工智能

【机器学习】机器学习正在五个方面重塑我们的世界

机器学习的技术越来越成熟,与大数据结合在一起为我们的世界带来了巨大的变化。对此,大数据专家Bernard Marr总结了机器学习在听、说、读、写、看五个方面如何...

2348

扫码关注云+社区