神经网络被麻省理工新方法“欺骗”

美国麻省理工学院的科研人员提出了一种新方法,其构建的3D物体可有效“欺骗”当前人工智能所依赖的神经网络。

以“神经网络”形式出现的人工智能(AI)被越来越多地用于自动驾驶汽车等技术中,以便能够观察并识别物体。这样的系统甚至可以帮助完成诸如在机场安检线路中识别爆炸物的任务。但从很多方面来说,它们是一个黑匣子,因为开发它们的研究人员并不知道它们究竟是如何工作的,也不知道如何去欺骗它们。例如,想象一下,如果一个恐怖分子可以对炸弹的物理设计进行小小的调整,从而可以逃过运输安全管理局(TSA)装置的侦测,将会是多么恐怖的事情。

虽然我们距离出现这样的场景还有较长的时间,但麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员指出了这种风险会有多大的提升:在一篇新论文中,他们展示了有史以来第一个能够生成真实世界3D对象,并使其能够持续欺骗神经网络的方法。该团队表示,他们不仅能欺骗一个神经网络,使其将一把枪识别成其他东西:他们实际上可以使神经网络将一个物理对象分类为任何他们指定的东西。通过稍微改变物体的质地,该团队提出的方法可以制造一个炸弹,而这个炸弹将被归类为番茄;或者可以使物体完全不可见。例如,团队3D打印了一个玩具乌龟和一个棒球。无论神经网络从哪个角度观察它们,都分别将它们识别成了步枪和浓缩咖啡。

相关研究人员表示:这项工作清楚地表明,神经网络的工作方式已经被破解。开发这些系统的研究人员需要花费更多的时间来考虑防御这种所谓的“敌对例子”。如果我们想利用神经网络实现安全的自动驾驶汽车和其他系统,就需要对这个研究领域进行更多的关注和研究。

这个项目建立在越来越多“敌对例子”的基础上。多年来,研究人员已经能够证明像素的变化可以欺骗神经网络,但是这样的边缘案例往往被归因为一种智力上的好奇心,而不是现实世界中需要关注的某种东西。这主要是因为研究人员大多只能使用静态的二维图像来欺骗系统-而当你移动一个三维物体时,神经网络可以找到适当的角度,以便对物体进行准确分类。

与此同时,麻省理工学院团队的新方法可能会产生敌对例子,导致无论怎样扭曲或重新定位对象,都能够继续欺骗具有任意变换分布的神经网络。开发该方法需要考虑一系列复杂的问题,包括照明和相机噪音等。研究人员告诫说:没有证据表明这种操纵是真实存在的。3D打印是乏味、复杂和昂贵的,而且还有其他一些因素会使得诸如伪装炸弹之类的事情变得非常难以完成(假定运输安全管理局使用X射线成像技术)。但是该团队仍然渴望指出这种可能性是存在的,目的只是为了强调问题的严重性,并让研究深度学习的人意识到他们的创造是存在限制的。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-11-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

20个令人惊叹的深度学习应用(Demo+Paper+Code)

唐旭 发自 RUC 量子位 报道 | 公众号 QbitAI 从计算机视觉到自然语言处理,在过去的几年里,深度学习技术被应用到了数以百计的实际问题中。诸多案例也已...

4439
来自专栏大数据文摘

AI说人“画” | 如何用“贝叶斯理论”优(zhuang)雅(bi)地决策?

1303
来自专栏华章科技

统计学入门必看,别走这样的弯路

想要打通统计学习的任督二脉,爱上统计学吗?今天为大家推荐一篇果壳网网友清扬婉喵的文章,文中不仅系统盘点了统计学习的经验和感悟,更对统计的学习资源做了悉心标注和罗...

572
来自专栏人工智能头条

Leslie Lamport:数学语言比编程语言更强大、简洁和优雅

1085
来自专栏大数据文摘

大数据可视化系列1: 可视化周期表

853
来自专栏AI研习社

机器人参加高考数学22分钟拿105分,究竟怎么做到的?

AI 研习社按:2017 年高考刚刚结束,据相关媒体报道,7 日下午,在没有网络和题库支持的情况下,一个名为 Al-Maths 的机器人在 22 分钟内完成了文...

3507
来自专栏刘笑江的专栏

Matrix Factorization

722
来自专栏phodal

2017 年,你应该这样学习 Web 编程—— 内置索引 + 外置搜索引擎

如果你不会使用 Google 去搜索,那么你是一个新手。而如果你只学会如何使用 Google,但是不知道搜索什么,那么你也仍是一个新手。 最初我对这个问题的思考...

1796
来自专栏机器之心

深度 | Vicarious详解新型图式网络:赋予强化学习泛化能力

选自Vicarious 机器之心编译 近日,人工智能初创公司 Vicarious 在官网了发表了一篇名为《General Game Playing with S...

3537
来自专栏人工智能头条

诺亚神经响应机NRM模型:深度学习改变自然语言对话

1605

扫描关注云+社区