专栏首页AI科技评论学界 | 把人识别成狗?机器还是太容易被骗

学界 | 把人识别成狗?机器还是太容易被骗

AI 科技评论按:日前谷歌大脑负责人 Jeff Dean 在推特上转了一篇 Anish Athalye 的推文,推文内容如下:

防御对抗样本仍然是一个尚未解决的问题,三天前公布的 ICLR 接收论文里,八篇关于防御论文里已经有七篇被我们攻破。

这一言论立刻引起了整个机器学习学术圈的关注。Wired 近日发布了一篇关于这一事件后续的讨论文章,AI 科技评论进行了编译。

在机器学习强大力量的推动下,科技公司正在急于将很多事物与人工智能结合在一起。但是,激起这种趋势的深度神经网络却有一个很难解决的弱点:对图像、文本或音频进行微小的改变就可以欺骗这些系统,感知到那些并不存在的事物。

对依赖于机器学习的产品而言,这可能是一个大问题,特别是对诸如自动驾驶汽车这种视觉系统,研究者们正在努力制定针对此类攻击的防御措施,但很有挑战性。

于 4 月底在加拿大举行的 ICLR 2018 在今年 1 月份公布了录用结果,它们提出了应对或检测这种对抗性攻击的方法。但仅三天后,麻省理工学院学生 Anish Athalye 就声称已经「破解」了其中 7 篇新论文,其中包括 Google,亚马逊和斯坦福等机构。「有创造性思维的攻击者仍然可以规避这些防御。」Athalye 说。他与伯克利分校的研究生 David Wagner 和教授 Nicholas Carlini 一起参与了这个项目的研究。

这个项目导致一些学者对这三人组的研究细节进行了反复讨论。但关于项目中提到的一点他们几乎没有争议:目前人们尚不清楚如何保护基于深度神经网络的消费品和自动驾驶产品以免让「幻觉」给破坏了。「所有这些系统都很脆弱,」意大利卡利亚里大学的助理教授 Battista Biggio 已经研究机器学习的安全问题有十年之久,「机器学习社区缺乏评估安全性的方法论。」

人类将很容易识别 Athalye 创建的上面这张图,它里面有两名滑雪者,而谷歌的 Cloud Vision 服务认为它有 91% 的可能性是一只狗。其他的反面案例不胜枚举,如机器识别不出停止标志,人类听起来一点问题没有的语音,机器却理解为「好的谷歌,去访问某某恶意网站吧」。

到目前为止,此类攻击还没有在实验室以外的地方得到证实。但伯克利的博士后研究员 Bo Li 说,现在他们仍然需要认真对待。自动驾驶汽车的视觉系统,能够购物的语音助理以及过滤网上不雅内容的机器学习系统都需要值得信赖。 「这是非常危险的。」Li 说,她去年的研究——在停车标志上贴上贴纸——表明可以使机器学习软件识别不到它们。

Athalye 及其合作者共同撰写的论文中就有 Li 作为共同作者。她和伯克利的其他人介绍了一种分析对抗攻击的方法,并表明它可以用来检测这些攻击。 Li 对 Athalye 的关于防护还有诸多漏洞的项目表示,这种反馈有助于研究人员取得进步。 「他们的攻击表明我们需要考虑一些问题」她说。

在 Athalye 所分析论文在内的斯坦福大学的研究者 Yang Song 拒绝对此发表评论,他的论文正在接受另一个重要会议的审查。卡内基梅隆大学教授兼包括亚马逊研究员在内的另一篇论文共同作者 Zachary Lipton 表示,他没有仔细检查分析结果,但认为所有现有的防御措施都可以避开是合理的。Google 拒绝对自己的论文进行评论,该公司的一位发言人强调 Google 致力于对抗攻击的研究,并表示计划更新公司的 Cloud Vision 服务,以抵御这些攻击。

为了对攻击建立更强大的防御机制,机器学习研究人员可能要更加苛刻。 Athalye 和 Biggio 表示,该领域应该采用安全研究的做法,他们认为这种做法能更严格的测试新防御技术。 「在机器学习领域,人们倾向于相互信任,」Biggio 说,「而安全研究的心态正好相反,你必须始终怀疑可能会发生不好的事情发生。」

上个月,AI 和国家安全研究人员的一份重要报告也提出了类似的建议,它建议那些从事机器学习的人应更多地考虑他们正在创造的技术会被滥用或利用。

对于某些 AI 系统来说,防范对抗性攻击可能比其他方面要做的要更为容易。Biggio 说,受过训练的检测恶意软件的学习系统应该更容易实现强鲁棒性,因为恶意软件是功能性的,限制了它的多样性。 Biggio 称,保护计算机视觉系统要困难得多,因为自然界变化多端,图像中包含了很多像素。

解决这个问题(这可能会挑战自动驾驶汽车的设计者)可能需要对机器学习技术进行更彻底的反思。「我想说的根本问题是,深度神经网络与人脑大不相同。」Li 说。

人类并不对来自感官的欺骗完全免疫。我们可能被看到的错觉所愚弄,最近来自 Google 的一篇论文创建了奇怪的图像,这欺骗了软件和人类,让他们在不到 1/10 秒内看见图像时将猫误认为是狗。但是,在解释照片时,我们不仅要看像素模式,还要考虑图像不同组成部分之间的关系,比如人脸特征,Li 说。

Google 最杰出的机器学习研究员 Geoff Hinton 正试图给机器提供这种能力,他认为这可以让软件学会从少数几张图片而不是几千张图片中识别物体。Li 认为,具有更人性化视角的机器也不太容易受到「幻觉」影响。她和伯克利的其他研究者已经开始与神经科学家和生物学家展开合作,尝试从自然界获得启发。

本文分享自微信公众号 - AI科技评论(aitechtalk)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-03-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 一位机器学习工程师的独白:影响你未来职业生涯的 12 件小事

    AI 科技评论按:如果未来的你将踏上机器学习工程师这条道路,那你很大可能将遇到和机器学习工程师 Daniel Bourke 相似的经历。在这一年的机器学习相关工...

    AI科技评论
  • 谷歌人工智能专家:机器学习出现全新挑战

    GAIR 今年夏天,雷锋网将在深圳举办一场盛况空前的“全球人工智能与机器人创新大会”(简称GAIR)。大会现场,雷锋网将发布“人工智能&机器人Top25创新企...

    AI科技评论
  • 业界 | 想要快速的搭建高性能机器学习系统,企业应该怎么干?

    AI科技评论按:本文为「范式大学系列课程」。Web服务器部署在云上已经算是常见的事情了,那么机器学习系统如何呢? ? 亚马逊AWS目前的运维水平成为行业标准,但...

    AI科技评论
  • 机器学习在干什么?

    机器学习是让计算机从较多的数据中提取出有用的信息,最后拥有决策判别的能力,那么在研究这件事之前,先放一张图片来做一个总结:

    ThoughtWorks
  • 【开源工具】国外程序员整理的机器学习资源大全

    本列表选编了一些机器学习领域牛B的框架、库以及软件(按编程语言排序)。 C++ 计算机视觉 CCV —基于C语言/提供缓存/核心的机器视觉库,新颖的机器视觉库 ...

    陆勤_数据人网
  • 史上最全!国外程序员整理的机器学习资源

    本文汇编了一些机器学习领域的框架、库以及软件(按编程语言排序)。 C++ 计算机视觉 CCV —基于C语言/提供缓存/核心的机器视觉库,新颖的机器视觉库 Ope...

    CDA数据分析师
  • 2019Kaggle最新DS&ML报告:你大爷还是你大爷!

    近日,Kaggle发布了名为《2019Kaggle数据科学和机器学习概要》的报告。此报告为Kaggle对其社区的第三次年度调查,调查内容来自19717个Kagg...

    量化投资与机器学习微信公众号
  • AI不再需要“程序猿”,未来数据比代码重要

    钛媒体注:过去,程序员就像是上帝,制定计算机系统运行的律法。随着机器学习的兴起,计算机正在脱离人们的控制。工程师们永远也无法确切搞清楚计算机是如何通过机器学习...

    新智元
  • 机器学习在实时性欺诈检测中的应用案例

    “机器学习”是一门计算机科学,指的是机器对数据进行学习,并执行一些通常来说需要人类智力来完成的任务。现在,该技术正在快速发展的阶段:据Gartner称,到202...

    用户3578099
  • 【Cocos2d-x游戏开发】Cocos2d-x中的弱联网技术

      在上一篇博客中,我们一起学习了如何在Cocos2d-x中存储数据和读取信息,本篇博客我们将一起讨论和数据存储同样重要的联网技术。

    马三小伙儿

扫码关注云+社区

领取腾讯云代金券