教你两种黑掉“人工智能”的方法

翻译 | AI 科技大本营

参与 | shawn

编辑 | Donna

近期,微软(Microsoft)和阿里巴巴(Alibaba)先后宣布,其人工智能系统在一项阅读理解测试上打败了人类。他们进行的是基于“标准问题回答数据集”(Stanford Question Answering Dataset ,SQuAD)的测试,用于回答维基百科的问题。

这一消息再度引起人们关于“ AI 抢走人类工作”的担忧。AI 系统不仅可以识别图像或音频,还可以快速阅读文本并回答相关问题,准确度已经达到人类水准。

不过,这些智能系统并不总是那么“聪明”。开发深度学习网络和其他 AI 系统的专家发现,一旦尝试检验系统是否拥有真正的认知能力,他们创造的系统几乎全线溃败。例如,在自动驾驶汽车还没有装上压力检测软件之前,汽车完全无法避免一些严重的失误。

据来自 MIT 的研究团队 LabSix 的最新发现,研究人员只需略动“手脚”,就可以让一个基于深度学习的图像识别系统“失明”,比如将人当成狗,或者将乌龟认作步枪。

论文链接:

https://arxiv.org/pdf/1712.07113.pdf

https://arxiv.org/pdf/1707.07397.pdf

团队成员 Anish Athalye 说:“在某些领域,神经网络拥有超越人类的能力。但是奇怪的是,我们仍然可以轻易地骗过它们。”

另外,谷歌的 AI 研究团队——谷歌大脑(Google Brain Team)在去年12月发表的一篇论文中,描述了另一种可以使系统将香蕉识别为烤面包机的方法。

论文链接:https://arxiv.org/abs/1712.09665

▌两种让机器“犯错”的方法

LabSix 的方法是用算法轻微修改图像中每个像素的颜色和亮度。虽然这些修改并不明显,但是却可以使系统将图像中的内容误认为是另一种完全不同的东西。

Athalye 表示,伪装对图像的修改是为了“使其更像是现实中的攻击” 。

“如果你在现实生活中看到有人在路上安了一个让人产生幻觉的路标,你可能会认为那边有问题,然后你会进行调查。更可怕的情况是,你认为你看到的是限速标志,但你的自动驾驶汽车却认为不是。”

谷歌大脑团队则采用了另一种方法。他们创造出了一种可以迷惑深度学习系统并让其无法注意其他对象的特殊图像——对抗图像(adversarial patch)。相比 LabSix 修改像素的方法,这种技术几乎适用于任何场景。

“由于对抗图像只能控制其所处的小圆圈中的像素,因此欺骗分类器的最佳方法是让对抗图像变得非常醒目。传统的对抗攻击是小幅修改某一张图像中的所有像素。而我们的方法是大幅修改对抗图像中的少数几个像素。”谷歌员工 Tom Brown 在一封电子邮件中写道。

对于烤面包机来说,其对抗图像必须可以从其他图像中凸显出来,而不是与其他图像融合在一起。

在实验中,研究人员将对抗图像(adversarial patch)——看上去像是可以引起幻觉的烤面包机——放在香蕉图像旁,谷歌图像识别系统将图像中的香蕉误认为是烤面包机。(Adversarial Patch, 作者:Tom Brown 等人, arXiv:1712.09665v1)

为了适应实验室外的环境,对抗图像还必须能够快速适应实际环境中的视觉干扰。

如果用先前一种方式,改变修改过后的图像的方向或亮度,对抗图像方法会变得完全不起作用。如果让系统“从正面看”修改后的猫的图像,它会将其识别为鳄梨酱;如果将图像旋转一些角度,系统又可以再次识别出猫。

相比之下,无论使用任何亮度或任何方向,谷歌的烤面包机对抗图像都可以骗过系统。“创造这种对抗图像难度更高,因为它必须在很多不同的模拟场景中训练对抗图像,找出一个可以适用于所有场景的图像。” Brown 写道。

▌仍然无法理解图像的 AI

Athalye 和 Brown 进行的这项研究的目的都是为了找出人工智能机器识别目前存在的缺陷。Athalye 猜想,对抗攻击可能会让自动驾驶汽车忽视停车标志,也可能让炸弹的X射线图骗过机场包裹检查系统。

其实,这两项研究体现了机器识别的一个更严重的问题,那就是:它可以识别物体,但是无法理解这个物体是什么,有什么用处。

纽约大学心理学教授 Gary Marcus 长期以深度学习领域“打假者”的身份活跃在众人视野中。在 AI 系统阅读理解测试表现出色的新闻出来之后,他就在推特上进行了公开的批评:

“机器在测试中表现出的能力和真正的理解完全搭不上边。SQuAD 测试表明机器可以标出文本中的相关内容,但是它无法理解这些内容。”

Marcus 还表示,机器被骗是因为“它不能全面地理解环境”。它也 “无法真正理解事物之间的因果关系,以及事物之间的相互作用及个中缘由”。

“我们需要开发出一种不同的 AI 架构,它不仅可以进行模式识别,还要拥有解释能力。”

Marcus 建议,研究人员应该从认知心理学中获取灵感,开发拥有更深层次理解能力的软件,而不是用成百上千的示例来训练 AI 系统。

不过,对于我们人类,这种 AI 系统没有出现前,我们还是安全的——至少暂时是安全的。

作者 | Dana Smith

原文| https://www.scientificamerican.com/article/how-to-hack-an-intelligent-machine/

原文发布于微信公众号 - AI科技大本营(rgznai100)

原文发表时间:2018-01-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

腾讯知文团队负责人钟黎:从 0 到1 打造下一代智能对话引擎 | CCF-GAIR 2018

AI 科技评论按:2018 全球人工智能与机器人峰会(CCF-GAIR)在深圳召开,峰会由中国计算机学会(CCF)主办,由雷锋网、香港中文大学(深圳)承办,得到...

19330
来自专栏Python攻城狮

DIKW模型与数据工程1.DIKW 体系2.数据工程领域中的DIKW体系3.数据工程 领域职业划分4.数据分析5.数据建模基础

DIKW体系是关于数据、信息、知识及智慧的体系,可以追溯至托马斯·斯特尔那斯·艾略特所写的诗--《岩石》。在首段,他写道:“我们在哪里丢失了知识中的智慧?又在哪...

20430
来自专栏QQ大数据团队的专栏

用户增长分析——用户流失预警

1 前言 针对用户增长分析这个课题,本文主要从用户防流失的角度,阐述如何基于QQ社交网络数据构建用户流失预警模型,找出高潜流失用户,用于定向开展运营激活,从而...

8.7K30
来自专栏CSDN技术头条

【BDTC 2015】深度学习分论坛:DL的图像识别、语音识别应用进展

2015年12月10-12日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办,...

24590
来自专栏AI科技评论

学界|盘点四大民间机器学习开源框架:Theano、Caffe、Torch 和 SciKit-learn

在上期的《谷歌、微软、OpenAI等巨头七大机器学习开源项目 看这篇就够了》这篇文章里,我们盘点了 TensorFlow,CNTK,SystemML,DeepM...

461120
来自专栏机器之心

斯坦福李纪为博士毕业论文:让机器像人一样交流

414110
来自专栏AI科技评论

干货 | 猿桌会 56 期 - 葛笑雨:应用于智能体的空间物理定性推理技术

近年来人工智能技术突飞猛进,越来越多的机器人正在走进我们的世界。与人类一样,机器人在执行日常任务时往往需要具备一定的空间物理推理能力。具备这种能力不仅使机器人可...

14520
来自专栏腾讯云技术沙龙

王珺:智能音箱语音技术分享

这次分享介绍了在研究方面的一系列新的方法和改进,主要是语音识别,语音识别,声纹识别,以及TTS,在落地应用方面,语音识别中心为多个腾讯的产品有技术支持的输出,如...

1.2K60
来自专栏AI科技大本营的专栏

黑人小哥四个月速成全栈机器学习全程解密

程序员转型AI、机器学习需要学多久?1年?3年?这是绝大多数考虑转型的人,从一开始就要认真思考的问题。光说不练在这里没用,咱们还是要看真实的故事,来看看黑人小哥...

1.8K10
来自专栏机器之心

专访 | 蚂蚁金服MISA:比用户更懂自己的自然语言客服系统

20330

扫码关注云+社区

领取腾讯云代金券