【学术】欺骗图像识别技术,只需改变一个像素即可将狗变成汽车

日本九州大学的一个团队开发了一种欺骗图像识别技术的新方法。对许多研究人员来说,一般的方法是给图像添加一些功能,这些图像会错误地触发神经网络,并让它识别出它所看到的完全不同的东西。九州大学的研究人员正在研究两个目标:首先,可预见地欺骗一个深度神经网络(DNN),其次是尽可能地自动化它们的攻击。

换句话说,怎样才能让人工智能看到汽车的图像,并把它归类为狗呢? 令人惊讶的答案是:一个像素的敌对干扰就能做到这种欺骗手段,而且这种攻击是你不可能用肉眼察觉到的。

在arXiv上发表的一项新研究描述了一种称为“差分进化算法”(DE)的技术,它可以有效地识别出最佳像素,从而混淆人工智能将图片错误地标记(论文测试了对单个像素、3个像素和5个像素的攻击)。自然地,像素越多,攻击效果就越好:通过在一个1,024像素的图像中改变一个像素,该软件可以在74%的时间中欺骗人工智能。如果调整了5个像素,那么这个数字就会上升到87%。研究人员最后得出了一个惊人的结论:单像素的攻击对近四分之三的标准训练图像起了作用。不仅如此,科学家们不需要知道深度神经网络内部的任何东西——就像他们说的那样,他们只需要它的“黑箱”的概率标签就能发挥作用。

  • arXiv研究:https://arxiv.org/abs/1710.08864

精心挑选的像素意味着“每个自然图像平均可以被其他2.3个类所干扰”。

最好的结果是训练组里的一只狗的图像,研究人员成功地将深度神经网络分类为所有9个“目标”类——飞机、汽车、鸟、猫、鹿、青蛙、马、船和卡车。

训练集的图像,通过改变一个像素将图片错误地分类。图片出自:arXiv

盯着测试图像,你会注意到单像素攻击是针对仅有1024像素的图像进行的。1024像素的图像非常小,这意味着更大的图像需要数百个像素的调整。但是,用尽可能少的变化来让将人工智能“推到”的努力是有趣的,也是令人担忧的。找到一种方法来保护人工智能不受这些小伎俩的困扰是非常困难的,因为我们仍然无法真正理解深层神经网络的内部运作机制。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-11-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏书山有路勤为径

机器学习策略(1)

假设你在做一个猫的分类器,训练准确度达到了90%,现在还想继续提高,你可能会有以下的想法:

852
来自专栏PPV课数据科学社区

机器学习和统计模型的差异

在各种各样的数据科学论坛上这样一个问题经常被问到——机器学习和统计模型的差别是什么? 这确实是一个难以回答的问题。考虑到机器学习和统计模型解决问题的相似性,两者...

2996
来自专栏腾讯开源的专栏

腾讯将添 AI 开源项目! 腾讯 AI Lab 开源业内最大规模多标签图像数据集

2018年9月10日,深圳 - 今日,腾讯AI Lab宣布将于9月底开源“Tencent ML-Images”项目,该项目由多标签图像数据集ML-Images...

1022
来自专栏原创

AI技术说:人工智能相关概念与发展简史

作为近几年的一大热词,人工智能一直是科技圈不可忽视的一大风口。随着智能硬件的迭代,智能家居产品逐步走进千家万户,语音识别、图像识别等AI相关技术也经历了阶梯式发...

4446
来自专栏深度学习自然语言处理

实例讲解朴素贝叶斯分类器

朴素贝叶斯算法仍然是流行的十大挖掘算法之一,该算法是有监督的学习算法,解决的是分类问题,如客户是否流失、是否值得投资、信用等级评定等多分类问题。该算法的优点在于...

671
来自专栏新智元

8张图看苹果公开的第一篇 AI 论文

【新智元导读】 苹果终于发表了AI方面的第一篇论文。12月22日,苹果题为《Learning from Simulated and Unsupervised I...

4106
来自专栏AI科技大本营的专栏

AI 技术讲座精选:深度学习是如何改变数据科学范式的?

【AI100 导读】深度学习正在改变一切。就像电子学和计算机改变了所有的经济活动一样,人工智能将重塑零售、运输、制造、医药、电信、重工业等行业,即使是数据科学本...

3268
来自专栏顶级程序员

【推荐】一文了解强化学习

摘要 转自:极客头条 强化学习非常重要,原因不只在于它可以用来玩游戏,更在于其在制造业、库存、电商、广告、推荐、金融、医疗等与我们生活息息相关的领域也有很好的...

3499
来自专栏人工智能

机器学习和深度学习概念入门(下)

目 录 1人工智能、机器学习、深度学习三者关系 2什么是人工智能 3什么是机器学习 4机器学习之监督学习 5机器学习之非监督学习 6机器学习之半监督学习 7机...

1978
来自专栏人工智能快报

Nvidia最新AI技术可制作以假乱真的视频

Nvidia人工智能研究人员开发出了一种无人监督的计算机学习方法,允许其对源视频进行彻底的改变,从而出产惊人的内容,如能够制作出如假包换的天气、昼夜效果,甚至改...

2894

扫码关注云+社区