谷歌大脑研究人员展示可以劫持神经网络的对抗攻击方法

AiTechYun

编辑:chux

计算机视觉算法并不完美。就在本月,研究人员证明了一种流行的物体检测API可能会被人误以为猫是“疯狂的被子”和“玻璃纸”。不幸的是,这不是最糟糕的:它们也可能被迫计算图像中的方块,对数字进行分类,并执行预期任务之外的任务。

在Arxiv上发表的题为Adversarial Reprogramming of Neural Networks的论文中,谷歌人工智能研究部门Google Brain的研究人员描述了一种实际上重新编程机器学习系统的对抗方法。转移学习的新形式甚至不需要攻击者指定输出。

研究人员写道:“我们的研究结果首次证明了目的是重新规划神经网络的对抗攻击可能性,这些结果证明了深度神经网络中令人惊讶的灵活性和脆弱性。”

以下是它的工作原理:恶意攻击者可以访问正在执行任务的对抗神经网络的参数,然后以转换的形式引入扰动或对抗数据,以输入图像。随着对抗性输入被馈送到网络中,它们将其学习的功能重新用于新任务。

科学家在六种模型中测试了该方法。通过嵌入来自MNIST计算机视觉数据集的操纵输入图像(黑色帧和白色方块的范围从1到10),他们设法获得所有六种算法来计算图像中的方块数,而不是识别像白鲨或鸵鸟这样的对象。在第二个实验中,他们强迫它们对数字进行分类。在第三次也是最后一次测试中,他们让模型识别来自CIFAR-10(一个物体识别数据库)的图像,而不是最初训练它们的ImageNet语料库。

攻击者可以窃取计算资源,例如,通过重新编程云托管照片服务中的计算机视觉分类器来解决图像验证码或挖掘加密货币。尽管该论文的作者没有在复现神经网络(一种常用于语音识别的网络)中测试该方法,但他们假设成功的攻击可能会导致这类算法执行一系列非常广泛的任务。

研究人员写道:“对抗性程序也可以作为一种新的方式来实现更传统的计算机攻击,例如,随着手机普遍充当人工智能驱动的数字助理,通过将某人的手机暴露于对抗性图像或音频文件来重新编程,这种可能性会增加。由于这些数字助理可以访问用户的电子邮件,日历,社交媒体帐户和信用卡,因此此类攻击的后果也会变得更严重。”

幸运的是,研究人员指出,随机神经网络似乎比其他神经网络更不容易受到攻击,并且对抗性攻击可以使机器学习系统更易于重新利用,更灵活,更高效。

即便如此,他们表示,“未来的调查应该解决对抗性编程的属性和局限性以及可能进行防御的方法。”

论文:arxiv.org/pdf/1806.11146.pdf

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-07-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【再论深度学习必死】马库斯回应14大质疑,重申深度学习怀疑论

作者:Gary Marcus 翻译:新智元编辑部 【新智元导读】深度学习论战再起,NYT心理学家Gary Marcus如约写了一篇偏技术的文章,回应对他此前提出...

33440
来自专栏人工智能头条

AAAI 前主席 Thomas G. Dietterich:如何构建强健的人工智能

10920
来自专栏媒矿工厂

Facebook VR方案总结(三)

全景视频,也称360°视频,是一种新一代的视频显示技术,用户置于球形区域中央,可以任意在拍摄角度周围360度地观看动态视频,而不受时间、空间和地...

48850
来自专栏AI科技评论

学界 | 关于模型可解释性的深入思考:从哪里来,到哪里去?

「学习出一个通用智能行动者的潜力和局限性,算法公平方面细微的以及可以被真正规范化的挑战,以及现在的热门话题:能向人类解释、能被人类理解对模型来说意味着什么?」

11030
来自专栏AI科技评论

学界 | 顶会见闻系列:ICML 2018(上),表示学习、网络及关系学习

AI 科技评论按:本篇属于「顶会见闻系列」。每年这么多精彩的人工智能/机器学习会议,没去现场的自然可惜,在现场的也容易看花眼。那么事后看看别的研究员的见闻总结,...

10950
来自专栏极客说

【极客说直播第三期回顾】AI技术专家教你从零到一学习计算机视觉技术

本文整理自腾讯云AI和大数据中心AI技术专家-叶聪于11月27日在极客说上的精彩分享。

9.6K70
来自专栏镁客网

技术 | AI研究的盲点:无解的神经网络内在逻辑

16260
来自专栏AI研习社

博客 | 一个项目的经验教训:关于打乱和拆分数据

最近因为某事要准备一点材料,刚好前段时间给导师做项目的时候遇到一个大坑,浪费了很多时间,所以就着这个问题顺便做点总结。

20820
来自专栏大数据文摘

吴恩达的课上完了?如何科学开启你的深度学习论文阅读生涯

当你阅读了深度学习相关的书籍或者上过精彩的在线课程后,你将如何深入学习?如何才能够“自力更生”,独立地去了解相关领域中最新的研究进展?本文作者Nityesh A...

9510
来自专栏机器之心

线性代数与张量?这本开放书籍帮你扫清通往ML的数学绊脚石

项目地址:https://web.stanford.edu/~boyd/vmls/

10020

扫码关注云+社区

领取腾讯云代金券