神经网络被麻省理工新方法“欺骗”

美国麻省理工学院的科研人员提出了一种新方法,其构建的3D物体可有效“欺骗”当前人工智能所依赖的神经网络。

以“神经网络”形式出现的人工智能(AI)被越来越多地用于自动驾驶汽车等技术中,以便能够观察并识别物体。这样的系统甚至可以帮助完成诸如在机场安检线路中识别爆炸物的任务。但从很多方面来说,它们是一个黑匣子,因为开发它们的研究人员并不知道它们究竟是如何工作的,也不知道如何去欺骗它们。例如,想象一下,如果一个恐怖分子可以对炸弹的物理设计进行小小的调整,从而可以逃过运输安全管理局(TSA)装置的侦测,将会是多么恐怖的事情。

虽然我们距离出现这样的场景还有较长的时间,但麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员指出了这种风险会有多大的提升:在一篇新论文中,他们展示了有史以来第一个能够生成真实世界3D对象,并使其能够持续欺骗神经网络的方法。该团队表示,他们不仅能欺骗一个神经网络,使其将一把枪识别成其他东西:他们实际上可以使神经网络将一个物理对象分类为任何他们指定的东西。通过稍微改变物体的质地,该团队提出的方法可以制造一个炸弹,而这个炸弹将被归类为番茄;或者可以使物体完全不可见。例如,团队3D打印了一个玩具乌龟和一个棒球。无论神经网络从哪个角度观察它们,都分别将它们识别成了步枪和浓缩咖啡。

相关研究人员表示:这项工作清楚地表明,神经网络的工作方式已经被破解。开发这些系统的研究人员需要花费更多的时间来考虑防御这种所谓的“敌对例子”。如果我们想利用神经网络实现安全的自动驾驶汽车和其他系统,就需要对这个研究领域进行更多的关注和研究。

这个项目建立在越来越多“敌对例子”的基础上。多年来,研究人员已经能够证明像素的变化可以欺骗神经网络,但是这样的边缘案例往往被归因为一种智力上的好奇心,而不是现实世界中需要关注的某种东西。这主要是因为研究人员大多只能使用静态的二维图像来欺骗系统-而当你移动一个三维物体时,神经网络可以找到适当的角度,以便对物体进行准确分类。

与此同时,麻省理工学院团队的新方法可能会产生敌对例子,导致无论怎样扭曲或重新定位对象,都能够继续欺骗具有任意变换分布的神经网络。开发该方法需要考虑一系列复杂的问题,包括照明和相机噪音等。研究人员告诫说:没有证据表明这种操纵是真实存在的。3D打印是乏味、复杂和昂贵的,而且还有其他一些因素会使得诸如伪装炸弹之类的事情变得非常难以完成(假定运输安全管理局使用X射线成像技术)。但是该团队仍然渴望指出这种可能性是存在的,目的只是为了强调问题的严重性,并让研究深度学习的人意识到他们的创造是存在限制的。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2017-11-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

IEEE特稿:神经形态芯片注定为深度学习而生,否则就是自取灭亡

【新智元导读】研究者声称神经形态芯片相比传统的CPU,耗能更小。但现在的问题是,研究者需要证明,神经形态芯片能够从研究实验室转移到商业应用中吗。用航空业打比方的...

4197
来自专栏机器之心

前沿 | 经典计算的天花板:科学家找到只有量子计算才能解决的问题

Oracle Separation of BQP and PH:https://eccc.weizmann.ac.il/report/2018/107/

1221
来自专栏人工智能头条

聚焦CSDN技术主题月:深度学习框架的重构与思考专场回顾

1655
来自专栏AI研习社

数据科学、机器学习、人工智能,都有哪些区别?

当我向别人介绍我是数据科学家时,我常常被问到“数据科学和机器学习有什么区别”或者“这是否意味着你在从事人工智能工作?”类似问题我已经回答过很多次,答案可以总结成...

3999
来自专栏AI研习社

F8 2017 | 技术负责人为你解析 Facebook 神经机器翻译

编者按:该讲座主题为 Facebook 机器翻译的两代架构以及技术挑战。 在昨日的 F8 会场,该讲座吸引了众多开发者到场,主讲者是 Facebook 语言翻译...

35111
来自专栏PPV课数据科学社区

经验谈:数据挖掘七步走

Step1.商业理解 就是商业问题的理解了,那么如何更好的理解“老大”提出的商业问题困惑呢?我觉得思维导图倒是个不错的选择,当然自己要想更好的理解“老大”的意思...

2945
来自专栏新智元

研究提出能够自我解释的 AI 算法,辅助理解机器决策过程

【新智元导读】加利福尼亚大学伯克利分校和马克斯普朗克信息学研究所的研究提出了一种能够自我解释的算法,有助于让人类理解机器学习的决策过程。这种被称为“指向和对齐”...

3779
来自专栏人工智能头条

推荐算法不够精准?让知识图谱来解决

4532
来自专栏MixLab科技+设计实验室

AI与设计:技术思维与设计思维的mix

最近在思考一些机器学习给设计带来的思维转变,还有对交互设计的影响,本文把一些读书笔记,及感想总结而成,主要是涉及AI技术、技术思维、设计思维、设计工具、用户体验...

1423
来自专栏新智元

【CCCF动态】计算机网络顶级会议趋势分析

概况 SIGCOMM(ACM Special Interest Group on Data Communications,ACM数据通信专业组)、MobiCom...

5325

扫码关注云+社区

领取腾讯云代金券