【学术】欺骗图像识别技术,只需改变一个像素即可将狗变成汽车

日本九州大学的一个团队开发了一种欺骗图像识别技术的新方法。对许多研究人员来说,一般的方法是给图像添加一些功能,这些图像会错误地触发神经网络,并让它识别出它所看到的完全不同的东西。九州大学的研究人员正在研究两个目标:首先,可预见地欺骗一个深度神经网络(DNN),其次是尽可能地自动化它们的攻击。

换句话说,怎样才能让人工智能看到汽车的图像,并把它归类为狗呢? 令人惊讶的答案是:一个像素的敌对干扰就能做到这种欺骗手段,而且这种攻击是你不可能用肉眼察觉到的。

在arXiv上发表的一项新研究描述了一种称为“差分进化算法”(DE)的技术,它可以有效地识别出最佳像素,从而混淆人工智能将图片错误地标记(论文测试了对单个像素、3个像素和5个像素的攻击)。自然地,像素越多,攻击效果就越好:通过在一个1,024像素的图像中改变一个像素,该软件可以在74%的时间中欺骗人工智能。如果调整了5个像素,那么这个数字就会上升到87%。研究人员最后得出了一个惊人的结论:单像素的攻击对近四分之三的标准训练图像起了作用。不仅如此,科学家们不需要知道深度神经网络内部的任何东西——就像他们说的那样,他们只需要它的“黑箱”的概率标签就能发挥作用。

  • arXiv研究:https://arxiv.org/abs/1710.08864

精心挑选的像素意味着“每个自然图像平均可以被其他2.3个类所干扰”。

最好的结果是训练组里的一只狗的图像,研究人员成功地将深度神经网络分类为所有9个“目标”类——飞机、汽车、鸟、猫、鹿、青蛙、马、船和卡车。

训练集的图像,通过改变一个像素将图片错误地分类。图片出自:arXiv

盯着测试图像,你会注意到单像素攻击是针对仅有1024像素的图像进行的。1024像素的图像非常小,这意味着更大的图像需要数百个像素的调整。但是,用尽可能少的变化来让将人工智能“推到”的努力是有趣的,也是令人担忧的。找到一种方法来保护人工智能不受这些小伎俩的困扰是非常困难的,因为我们仍然无法真正理解深层神经网络的内部运作机制。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-11-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

8张图看苹果公开的第一篇 AI 论文

【新智元导读】 苹果终于发表了AI方面的第一篇论文。12月22日,苹果题为《Learning from Simulated and Unsupervised I...

4216
来自专栏顶级程序员

【推荐】一文了解强化学习

摘要 转自:极客头条 强化学习非常重要,原因不只在于它可以用来玩游戏,更在于其在制造业、库存、电商、广告、推荐、金融、医疗等与我们生活息息相关的领域也有很好的...

3539
来自专栏机器之心

ECCV 2018 | DeepMind新研究连接听与看,实现「听声辨位」的多模态学习

视觉和听觉事件往往同时发生:音乐家拨动琴弦流出旋律;酒杯摔碎发出破裂声;摩托车加速时发出轰鸣声。这些视觉和听觉刺激同时发生,因为它们的起因相同。理解视觉事件与其...

1101
来自专栏CSDN技术头条

深度学习:实际问题解决指南

当你想进行预测的时候,使用深度学习要比其他机器学习技术更快更有效。 深度学习是一门快速发展的学科,它将数据中高层次化的模式建模成复杂的多层网络。因为这是建模一个...

18810
来自专栏机器之心

演讲 | 技术讲解概率机器学习——深度学习革命之后AI道路

Zoubin Ghahramani 是英国皇家学会会士,剑桥大学信息工程系教授,Uber 首席科学家,英国国家数据科学研究所图灵研究所剑桥主任。Zoubin G...

1074
来自专栏原创

AI技术说:人工智能相关概念与发展简史

作为近几年的一大热词,人工智能一直是科技圈不可忽视的一大风口。随着智能硬件的迭代,智能家居产品逐步走进千家万户,语音识别、图像识别等AI相关技术也经历了阶梯式发...

4656
来自专栏程序员的酒和故事

2018年最佳深度学习书单

摘要: AI人才缺口巨大?如果你想成为AI革命中的一员,那么你就必须要学习深度学习,看看这12本书,它们将成为你的利器! 我相信你应该知道人工智能,尤其是深度学...

4517
来自专栏AI科技评论

学界 | 发美照时打上「#」,还能帮Facebook提升图片识别率哟

AI 科技评论按:近日 Facebook 科学家团队发布基于主题标签的深度学习方法,使用已有的拥有主题标签的图片作为训练数据,从而大幅提升了训练数据集的大小。数...

1062
来自专栏腾讯开源的专栏

腾讯将添 AI 开源项目! 腾讯 AI Lab 开源业内最大规模多标签图像数据集

2018年9月10日,深圳 - 今日,腾讯AI Lab宣布将于9月底开源“Tencent ML-Images”项目,该项目由多标签图像数据集ML-Images...

1102
来自专栏PPV课数据科学社区

学习攻略 | 机器学习和深度学习技能树、面试宝典

人工智能的浪潮正在席卷全球,这些得益于数据量的上涨、运算力的提升和机器学习新算法(深度学习)的出现。机器学习是一种实现人工智能的方法,深度学习是一种实现机器学习...

3985

扫码关注云+社区