【学术】欺骗图像识别技术,只需改变一个像素即可将狗变成汽车

日本九州大学的一个团队开发了一种欺骗图像识别技术的新方法。对许多研究人员来说,一般的方法是给图像添加一些功能,这些图像会错误地触发神经网络,并让它识别出它所看到的完全不同的东西。九州大学的研究人员正在研究两个目标:首先,可预见地欺骗一个深度神经网络(DNN),其次是尽可能地自动化它们的攻击。

换句话说,怎样才能让人工智能看到汽车的图像,并把它归类为狗呢? 令人惊讶的答案是:一个像素的敌对干扰就能做到这种欺骗手段,而且这种攻击是你不可能用肉眼察觉到的。

在arXiv上发表的一项新研究描述了一种称为“差分进化算法”(DE)的技术,它可以有效地识别出最佳像素,从而混淆人工智能将图片错误地标记(论文测试了对单个像素、3个像素和5个像素的攻击)。自然地,像素越多,攻击效果就越好:通过在一个1,024像素的图像中改变一个像素,该软件可以在74%的时间中欺骗人工智能。如果调整了5个像素,那么这个数字就会上升到87%。研究人员最后得出了一个惊人的结论:单像素的攻击对近四分之三的标准训练图像起了作用。不仅如此,科学家们不需要知道深度神经网络内部的任何东西——就像他们说的那样,他们只需要它的“黑箱”的概率标签就能发挥作用。

  • arXiv研究:https://arxiv.org/abs/1710.08864

精心挑选的像素意味着“每个自然图像平均可以被其他2.3个类所干扰”。

最好的结果是训练组里的一只狗的图像,研究人员成功地将深度神经网络分类为所有9个“目标”类——飞机、汽车、鸟、猫、鹿、青蛙、马、船和卡车。

训练集的图像,通过改变一个像素将图片错误地分类。图片出自:arXiv

盯着测试图像,你会注意到单像素攻击是针对仅有1024像素的图像进行的。1024像素的图像非常小,这意味着更大的图像需要数百个像素的调整。但是,用尽可能少的变化来让将人工智能“推到”的努力是有趣的,也是令人担忧的。找到一种方法来保护人工智能不受这些小伎俩的困扰是非常困难的,因为我们仍然无法真正理解深层神经网络的内部运作机制。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-11-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

让机器搞懂100万种隐含语义,腾讯Peacock大规模主题模型首次全揭秘

1524
来自专栏人工智能头条

机器学习在热门微博推荐系统的应用

1902
来自专栏机器之心

OpenAI详解进化策略方法:可替代强化学习

选自OpenAI 作者:Andrej Karpathy等 机器之心编译 参与:吴攀、李亚洲 让机器具备生物一样的进化能力一直是计算机科学的一个热门研究领域,Op...

3038
来自专栏PPV课数据科学社区

干货 | 人工智能、机器学习和认知计算入门指南

? 本文将探索 AI 的一些重要方面和它的子领域。我们首先会分析 AI 的时间线,然后深入介绍每种要素。 几千年来,人们就已经有了思考如何构建智能机器的想法。...

2945
来自专栏AI科技评论

探讨 | 机器学习的本质

作为机器学习的一个分支,深度学习可以说是当下相当热门的一个话题。像Google、Microsoft、IBM这样的巨头都围绕深度学习重点投资了一系列新兴项目,他...

3127
来自专栏机器之心

初学者必读:IBM长文解读人工智能、机器学习和认知计算

选自IBM 机器之心编译 参与:吴攀、黄小天、Nurhachu Null 人工智能的发展曾经经历过几次起起伏伏,近来在深度学习技术的推动下又迎来了一波新的前所...

4197
来自专栏人工智能头条

何时不应使用深度学习?

621
来自专栏最新技术

数据包络分析教程

数据包络分析(Data Envelopment Analysis,也称DEA)是一种用于进行前沿分析的非参数方法。它使用线性规划来估计多个决策单元的效率,它广泛...

3286
来自专栏达观数据

多模型融合推荐算法在达观数据的运用

多模型融合推荐算法在达观数据的运用 研发背景 互联网时代也是信息爆炸的时代,内容太多,而用户的时间太少,如何选择成了难题。电商平台里的商品、媒体网站里的新闻、小...

3736
来自专栏AI研习社

采用通用语言模型的最新文本分类介绍

这篇文章向零基础同学介绍我们最新的论文,和以前的方法相比,该论文展示了如何采用更高的精度和更少的数据自动地进行文档分类。我们将使用简单的方式解释几种方法:自然语...

992

扫码关注云+社区