【学术】欺骗图像识别技术,只需改变一个像素即可将狗变成汽车

日本九州大学的一个团队开发了一种欺骗图像识别技术的新方法。对许多研究人员来说,一般的方法是给图像添加一些功能,这些图像会错误地触发神经网络,并让它识别出它所看到的完全不同的东西。九州大学的研究人员正在研究两个目标:首先,可预见地欺骗一个深度神经网络(DNN),其次是尽可能地自动化它们的攻击。

换句话说,怎样才能让人工智能看到汽车的图像,并把它归类为狗呢? 令人惊讶的答案是:一个像素的敌对干扰就能做到这种欺骗手段,而且这种攻击是你不可能用肉眼察觉到的。

在arXiv上发表的一项新研究描述了一种称为“差分进化算法”(DE)的技术,它可以有效地识别出最佳像素,从而混淆人工智能将图片错误地标记(论文测试了对单个像素、3个像素和5个像素的攻击)。自然地,像素越多,攻击效果就越好:通过在一个1,024像素的图像中改变一个像素,该软件可以在74%的时间中欺骗人工智能。如果调整了5个像素,那么这个数字就会上升到87%。研究人员最后得出了一个惊人的结论:单像素的攻击对近四分之三的标准训练图像起了作用。不仅如此,科学家们不需要知道深度神经网络内部的任何东西——就像他们说的那样,他们只需要它的“黑箱”的概率标签就能发挥作用。

  • arXiv研究:https://arxiv.org/abs/1710.08864

精心挑选的像素意味着“每个自然图像平均可以被其他2.3个类所干扰”。

最好的结果是训练组里的一只狗的图像,研究人员成功地将深度神经网络分类为所有9个“目标”类——飞机、汽车、鸟、猫、鹿、青蛙、马、船和卡车。

训练集的图像,通过改变一个像素将图片错误地分类。图片出自:arXiv

盯着测试图像,你会注意到单像素攻击是针对仅有1024像素的图像进行的。1024像素的图像非常小,这意味着更大的图像需要数百个像素的调整。但是,用尽可能少的变化来让将人工智能“推到”的努力是有趣的,也是令人担忧的。找到一种方法来保护人工智能不受这些小伎俩的困扰是非常困难的,因为我们仍然无法真正理解深层神经网络的内部运作机制。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-11-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

【学习】数据可视化的秘密和数据绘图的要素

研究数据的方法有很多,比如利用统计方法,计算数据的平均值和标准差;再比如使用模型,拟合数据。数据通常是大量的,人脑难以直接把握其中的信息。研究数...

2547
来自专栏自然语言处理

探讨自然语言处理技术学习与思考

随着人工智能的快速发展,自然语言处理和机器学习应用愈加广泛。但是对于初学者入门还是有一定难度,对于该领域整体概况不能明晰。本章主要从发展历程、研究现状、应用前景...

831
来自专栏架构师之旅

轻松学习设计模式之设计模式认知篇

伴随着上面的问题,我们逐步开始今天的话题,要想开始学习设计模式,我们必须要对它有一个了解,这样才能更好的理解和应用,在我看来设计模式就是一种成熟的面向对象软件开...

1044
来自专栏凌帅的阅读思考与实践

如何成长成我们想要的样子(下)

上一篇我们分析了阻碍坚持学习的硬件方面问题,大脑算力不够。下面我们继续分析软件方面。软件方面,就是学习方法不对。

494
来自专栏PPV课数据科学社区

【译文】统计建模的24种应用(上)

在这里,我们讨论统计模型的一般应用情况。不管他们是否源自数据科学,运筹学,工程学,机器学习或统计学,如决策树,logistic回归,贝叶斯模型,马尔可夫模型,数...

3194
来自专栏机器学习算法与Python学习

爆料 | 解析阿里妈妈如何将深度学习应用在广告、推荐及搜索业务

1666
来自专栏机器之心

教程 | Kaggle CTO Ben Hamner :机器学习的八个步骤

选自Kaggle 作者:Ben Hamner 机器之心编译 参与:黄小天 上个月,Kaggle 联合创始人兼 CTO Ben Hamner 在 Quora 上...

2555
来自专栏大数据文摘

认罪吧,你的代码已经出卖了你!

近日,在Drexel大学任职计算机科学的副教授Rachel Greenstadt,及其他的博士学生(现为George Washington大学助教)Aylin ...

451
来自专栏CSDN技术头条

在人工智能和大数据产品的开发中,有哪些需要特别注意的点?

人工智能是近年来科技发展的重要方向,大数据的采集、挖掘、应用的技术越来越受到瞩目。在人工智能和大数据产品的开发过程中,有哪些特别需要注意的要点?人工智能领域的算...

1827
来自专栏量子位

详述车道检测的艰难探索:从透视变换到深度图像分割(附代码)

王小新 编译自 Medium 量子位 出品 | 公众号 QbitAI 找到马路上的车道线,对于人类来说非常容易,但对计算机来说,一点阴影、反光、道路颜色的微小变...

3136

扫描关注云+社区