视频 | 2分钟论文:神经网络这么弱?改一个像素就懵圈了

AI 科技评论按:这里是,雷锋字幕组编译的 Two minutes paper 专栏,每周带大家用碎片时间阅览前沿技术,了解 AI 领域的最新研究成果。

原标题:One Pixel Attack Defeats Neural Networks | Two Minute Papers #240

翻译 | 于泽平 字幕 | 凡江 整理 | 李逸凡 吴璇

视频内容

▷每周一篇 2 分钟论文视频解读

骗过神经网络,我们最少需要改变多少像素(pixel)呢?猜猜是多少,可能你会觉得,怎么着都要 100 才够,但论文证明了,攻击大多数神经网络只需要修改一个像素就行。

在这篇《One pixel attack for fooling deep neural networks》论文中,研究人员分析了一种在极端限制情形下(只修改一个像素)的攻击。他们提出了一种基于差分进化(differential evolution)的单像素对抗干扰新方法。

结果表明,70.97%的自然图像至少有一个分类目标会被干扰,而造成干扰只需要修改置信均值为 97.47%的一个像素。因此,在极端限制情形下,攻击探索出了不同的对抗机器学习方法。这也表明当前的深度神经网络也容易受到这类低维攻击。

神经网络通常不直接判断一个类别,而是通过一些置信值来判别。置信值代表神经网络它有多确信看到的是只拉布拉多犬还是一只老虎猫。我们通常对比所有的置信值,并选出最高的,查看它们使神经网络对正确类别的置信值下降了多少,接着我们抛弃效果不好的像素,并继续搜索最有希望的像素,我们将这个过程称为差异进化。

如果这个过程实现的很好,最终正确类别的置信值将会变的很低,因为神经网路将能预测另一个类别,一旦发生这种情况,代表神经网络成功被欺骗了,这也意味我们需要查看神经网路,并获得其置信值。

当然,也有大量关于训练鲁棒性的神经网络的研究,使这些神经网络可以承受更多对抗攻击,对抗攻击有着许多地方值得我们去挖掘以及探索。

论文: https://arxiv.org/abs/1710.08864 Github: https://github.com/Hyperparticle/one-pixel-attack-keras

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2018-04-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

自动驾驶中的传感器融合算法:第一部分-卡尔曼滤波器和扩展卡尔曼滤波器

追踪静止和移动的目标是自动驾驶技术领域最为需要的核心技术之一。来源于多种传感器的信号,包括摄像头,雷达,以及激光雷达(基于脉冲激光的测距设备)等传感器组合的组合...

1955
来自专栏AI科技评论

干货 | 数据科学岗位必备面经:17个热点问题如何回答?(一)

AI科技评论按:随着数据科学成为炙手可热的领域,相关的应聘岗位也多了起来。面试者们在准备应聘的过程中,往往会有一个疑问:面试官们会问些什么?我又应该如何回答? ...

3888
来自专栏积累沉淀

数据挖掘算法之深入朴素贝叶斯分类

写在前面的话:   我现在大四,毕业设计是做一个基于大数据的用户画像研究分析。所以开始学习数据挖掘的相关技术。这是我学习的一个新技术领域,学习难度比我以往学过的...

3558
来自专栏思影科技

渐进型多发硬化症(PPMS)相关的rich-club失连

来自INIMS的Jan-Patrick Stellmann等人在neurology期刊上发表了一篇关于MS的结构脑网络研究,研究主要探寻了病人结构脑网络连接的组...

3487
来自专栏专知

【攻克Dota2基础算法】深度Q学习介绍

【导读】最近,OpenAI在dota2的5v5比赛中,使用基于强化学习的AI bot击败了人类玩家,震惊业界。那么强化学习是如何操纵游戏人物一步步达成胜利的呢?...

1817
来自专栏ATYUN订阅号

全面指南:通过机器学习对Youtube视图进行预测

这个项目是由艾伦·王,Aravind Srinivasan,Kevin Yee和Ryan O ‘ farrell设计的。 脚本和模型地址:https://git...

3066
来自专栏媒矿工厂

HDR关键技术:光学、视觉与光电转换曲线

本系列的前作当中介绍了HDR技术的相关技术与标准,本文将从更基础的知识点出发,重点介绍HDR技术的两大关键基础-亮度与颜色中的前者。

1.3K3
来自专栏ATYUN订阅号

腾讯AI Lab开源了覆盖性广、准确性高的汉语词汇语料库

腾讯开源了一个语料库,为超过800万个汉语词汇提供了200维向量表征,即嵌入,这些词汇是在大规模高质量数据上预先训练的。这些向量捕获中文单词和短语的语义含义,可...

1545
来自专栏AI研习社

神经网络这么弱?改一个像素就懵圈了

骗过神经网络,我们最少需要改变多少像素(pixel)呢?猜猜是多少,可能你会觉得,怎么着都要 100 才够,但论文证明了,攻击大多数神经网络只需要修改一个像素就...

701
来自专栏AI科技大本营的专栏

机器学习「七步走」——Google工程师带你入门机器学习

本文由 Google 的开发技术推广工程师 Yufeng Guo 主讲,用通俗易懂的语言帮助你了解人工智能和机器学习。 不论是皮肤癌监测、黄瓜自动分类还是检测故...

3099

扫码关注云+社区

领取腾讯云代金券