在AI眼前“隐身”,谷歌研究人员使用特制贴纸迷住AI

AiTechYun

编辑:yuxiangyu

虽然机器学习系统的能力很强,但他们并不聪明,因为他们缺乏常识。研究人员利用这一点对图像识别系统进行了一次精彩的攻击。他们对系统使用特殊印制的贴纸,这个贴纸会吸引AI的注意力,以至于让AI完全无法看到其他任何东西。(为什么我会觉得这个贴纸可能很快会成为流行配饰)

计算机视觉是一个非常复杂的问题,只有通过认知捷径的方式,人类才能正确地识别看到的东西,所以计算机要做同样的事情。

这些AI系统所采用的捷径之一就是不会为每个像素指定相同的重要性。假设有一张房子的照片,房子背后有天空,前面有一小块草地。一些基本的规则使计算机明白,尽管天空和草地都存在,但这不是“天空”或“草地”的图像。这样它考虑了这些背景,然后花费更多的时间来分析中间的形状。

谷歌的研究人员想知道:如果你破坏这个捷径,让计算机忽视这个房子,把注意力集中在他们选择的东西上会怎样?

他们通过训练一个对抗系统来创建一个分散目标系统注意力的小圆圈,在圈内尝试许多颜色、形状和大小的配置,并观察哪些特征会引起图像识别器的注意。AI已经学会观察的特定曲线,指出除背景以外的其他颜色的组合等等。

最终出现的效果如下:

把它放在系统已知的另一个物体旁边,例如香蕉,它会马上忘记香蕉,并认为这张图片是漩涡。图像中的名称表示创建贴纸并将其与现有图像合并的不同方法。

这个贴纸是基于特定系统而不是基于特定图像做出的,也就是说,无论图像识别系统在看什么,这个贴纸都会干扰它。

我们可以利用它做些什么?如果在你的衣服或包上粘上几个,也许机场或警察机构的图像分类器会分心,以至于不会记录你的存在。不过,如果你想实现这一点,你必须知道它上面运行着什么系统,然后测试几千种不同的贴纸图案才行。所以在这里我们只是提出了一种可能性。

以往欺骗计算机视觉系统的尝试通常依赖于反复对图像进行小的改动,以确定是否能在一些战略性的位置上改变少量像素来达成目的(例如将乌龟错认成枪支的研究)。但是这些研究人员称之为强的、高度区域化的“扰动”构成了另一个非常有趣的威胁。

我们的攻击会在现实世界中起作用,它可以伪装成无害的贴纸。这些结果表明可以离线创建的攻击,然后广泛共享…

即使人类能够注意到这些贴纸,他们也很难知道这个贴纸的作用,而是将其视为一种艺术形式。所以,这项工作表明,只注重防范小扰动是不够的,因为大的局部扰动也可能破坏分类器。

论文地址:https://arxiv.org/pdf/1712.09665.pdf

本文来自企鹅号 - ATYUN订阅号媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

数据挖掘:推荐系统综述以及美团推荐系统介绍

其实推荐系统前面已经讲过不少,那时候主要是放在机器学习上讲的,既然这次要系统撸一遍数据挖掘,就把推荐系统单独拿出来说一说。相信如果做过推荐系统的人,都知道是什么...

5468
来自专栏网络

Arxiv网络科学论文摘要14篇

祝大家新年快乐! 意见动态中的交叉问题团结与真相收敛; 普查与第二定律:美国众议院最优分摊的熵权法; 基于主体的模型的特征; Power Plexus:基于网络...

1768
来自专栏新智元

【IEEE Spectrum】神经网络视觉分类算法的意外弱点

【新智元导读】以往的对抗攻击需要进行复杂的数据处理,但最近华盛顿大学、密歇根大学、石溪大学和加州大学伯克利分校的一组研究人员发表了一篇文章,表明在物理世界中进行...

32313
来自专栏AI科技评论

学界|如何捕捉冗长讨论里的目标信息?谷歌推出最大标注数据集

AI科技评论按:很多读者在思考,“我和AI科技评论的距离在哪里?”答案就是:一封求职信。 信息爆炸时代,如何在浩瀚如海的网络中找到自己的需求?谷歌研究团队推出了...

32114
来自专栏专知

【WWW2018】网络表示学习Tutorial(附下载)

2222
来自专栏华章科技

【强烈推荐】十三个鲜为人知的大数据学习网站

越来越多的管理者意识到数据分析对经济发展、企业运营的重要意义。在古代,得琅琊阁者得天下;现在,得大数据者得天下。

773
来自专栏PPV课数据科学社区

经验谈:数据挖掘七步走

Step1.商业理解 就是商业问题的理解了,那么如何更好的理解“老大”提出的商业问题困惑呢?我觉得思维导图倒是个不错的选择,当然自己要想更好的理解“老大”的意思...

2745
来自专栏量化投资与机器学习

【Matlab量化投资】GFTD指标程序化实现(附源码)

广发证券很早出过两篇研报。一篇名叫《基于修正 TD 指标的指数择时研究》、一篇名叫《基于GFTD的期指日内程序化交易策略》。今天编辑部就给大家进行实现。基于 M...

2258
来自专栏大数据文摘

​AI大事件 | 人工智能检测自杀倾向,三星收购AI公司

1663
来自专栏吉浦迅科技

OpenACC帮助天体物理研究人员洞悉暗能量

项目概览 马克西米兰•卡茨和亚当•雅各布斯是美国石溪大学物理与天文 学系的博士研究生,他们力图通过研究恒星爆炸的成因来探察 难于捉摸的暗能量。卡茨研究两个恒星残...

3108

扫码关注云+社区