神经网络被麻省理工新方法“欺骗”

美国麻省理工学院的科研人员提出了一种新方法,其构建的3D物体可有效“欺骗”当前人工智能所依赖的神经网络。

以“神经网络”形式出现的人工智能(AI)被越来越多地用于自动驾驶汽车等技术中,以便能够观察并识别物体。这样的系统甚至可以帮助完成诸如在机场安检线路中识别爆炸物的任务。但从很多方面来说,它们是一个黑匣子,因为开发它们的研究人员并不知道它们究竟是如何工作的,也不知道如何去欺骗它们。例如,想象一下,如果一个恐怖分子可以对炸弹的物理设计进行小小的调整,从而可以逃过运输安全管理局(TSA)装置的侦测,将会是多么恐怖的事情。

虽然我们距离出现这样的场景还有较长的时间,但麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员指出了这种风险会有多大的提升:在一篇新论文中,他们展示了有史以来第一个能够生成真实世界3D对象,并使其能够持续欺骗神经网络的方法。该团队表示,他们不仅能欺骗一个神经网络,使其将一把枪识别成其他东西:他们实际上可以使神经网络将一个物理对象分类为任何他们指定的东西。通过稍微改变物体的质地,该团队提出的方法可以制造一个炸弹,而这个炸弹将被归类为番茄;或者可以使物体完全不可见。例如,团队3D打印了一个玩具乌龟和一个棒球。无论神经网络从哪个角度观察它们,都分别将它们识别成了步枪和浓缩咖啡。

相关研究人员表示:这项工作清楚地表明,神经网络的工作方式已经被破解。开发这些系统的研究人员需要花费更多的时间来考虑防御这种所谓的“敌对例子”。如果我们想利用神经网络实现安全的自动驾驶汽车和其他系统,就需要对这个研究领域进行更多的关注和研究。

这个项目建立在越来越多“敌对例子”的基础上。多年来,研究人员已经能够证明像素的变化可以欺骗神经网络,但是这样的边缘案例往往被归因为一种智力上的好奇心,而不是现实世界中需要关注的某种东西。这主要是因为研究人员大多只能使用静态的二维图像来欺骗系统-而当你移动一个三维物体时,神经网络可以找到适当的角度,以便对物体进行准确分类。

与此同时,麻省理工学院团队的新方法可能会产生敌对例子,导致无论怎样扭曲或重新定位对象,都能够继续欺骗具有任意变换分布的神经网络。开发该方法需要考虑一系列复杂的问题,包括照明和相机噪音等。研究人员告诫说:没有证据表明这种操纵是真实存在的。3D打印是乏味、复杂和昂贵的,而且还有其他一些因素会使得诸如伪装炸弹之类的事情变得非常难以完成(假定运输安全管理局使用X射线成像技术)。但是该团队仍然渴望指出这种可能性是存在的,目的只是为了强调问题的严重性,并让研究深度学习的人意识到他们的创造是存在限制的。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-11-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

数据科学家应该拥有的8个好习惯

2055
来自专栏机器之心

深度 | OpenAI提出强化学习新方法:让智能体学习合作、竞争与交流

选自OpenAI 机器之心编译 作者: Ryan Lowe等 参与:吴攀、Smith 让智能体(agent)学会合作一直以来都是人工智能领域内的一项重要研究课...

3476
来自专栏AI科技评论

干货 | 数学通大道,算法合自然?

算法对我们的生活中的有着各种潜移默化的影响,但算法是否存在被滥用的情况?本文对算法使用问题提出了自己的看法。

652
来自专栏罗超频道

【深度】自然语言处理成为未来差什么

说起实现各种各样的智能系统,大家都认为“善解人意”应该是一个最起码的条件,一个绕不过去的条件。实现它的一个重要的桥梁就是语言。 拿语言说事,这个我们见得很多了。...

4087
来自专栏数据科学与人工智能

【自然语言处理】自然语言处理与人工智能

来源:福布斯中文网 说起实现各种各样的智能系统,大家都认为“善解人意”应该是一个最起码的条件,一个绕不过去的条件。实现它的一个重要的桥梁就是语言。 拿语言说事,...

24810
来自专栏大数据文摘

什么时候应该听取机器决定?

1385
来自专栏AI科技评论

腾讯AI Lab刘霁谈机器学习,异步计算和去中心化是两大杀器

AI 科技评论按:并行计算是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题,即将被求解的问题分解成若干个部分,各部...

3145
来自专栏量子位

NIPS风波 | 获奖者登台开炮:ML是炼金术,大神LeCun强硬回怼

夏乙 问耕 发自 凹非寺 量子位 出品 | 公众号 QbitAI 谁能想到,NIPS这种顶会都能风波乍起。 Ali Rahimi(阿里·拉希米),因为2007年...

2897
来自专栏大数据文摘

AI应从神经科学中借鉴想法和思路

2526
来自专栏ATYUN订阅号

【学术】量子算法与计算机对抗,胜者究竟是谁?

我们对“量子霸权(quantum supremacy)”的追求证明了量子计算机比普通计算机能够更快地做一些事情,但是,却自相矛盾地导致了准量子典型算法的繁荣。 ...

3144

扫码关注云+社区