开讲 | 对抗样本攻击，AI安全专家90分钟聊GAN货

刚刚我们在音频里所提到的，是一年前轰动全球的大事件：

2016年5月7号，在美国的佛罗里达州，一辆特斯拉径直撞上一辆行驶中的白色大货车，酿成了世界上自动驾驶系统的第一起致命交通事故。

照理说，特斯拉配备的是当今最顶尖的自动驾驶技术，对这里的人工智能来说，区分好一朵白云和一辆白色大货车，不该是最起码的要求吗？

事实却是，人工智能在很多地方都不如三岁的小孩，而且很容易被愚弄，黑客们也正在利用这一点。

为此，我们特地请到张重阳博士，深入来聊人工智能的安全话题。我们先来看看张博士对此的介绍。

警惕人工智能中的木马、病毒

近年来，随着深度学习的兴起，人工智能的发展迎来了新的高潮，科学家和工程师们在图像、语音、自然语言处理等多个方面取得了突破性的进展，某些领域AI已经超越人类。

然而，在深度学习“一统天下”的同时，研究者们也发现，基于深度神经网络模型的系统，很容易被欺骗愚弄。 如图1所示，对于一张熊猫的照片，加上人为设计的微小噪声之后，人眼是对两张图片看不出分别的，计算机却会以99.3%的概率将其错判为长臂猿[1]。

图1 熊猫图像在加噪声之后被计算机认为是长臂猿

对于一些人为生成的在人眼看来毫无意义的噪声或者纹理，计算机也会以极高的概率将其分为某种类别（见图2）[2]。上述由恶意的攻击者故意设计生成的以欺骗人工智能系统的样本被称为对抗样本（adversarial samples）。

图2 无意义的图片欺骗人工智能系统

近期的研究也发现，对抗样本可以打印到纸面上，仍然可以达到欺骗系统的效果。也即是说，对抗样本也是可以存在于我们生活的真实环境中的[3]。

同样的对抗样本，会同时被不同的分类器错误分类，也即对抗样本具有迁移性。例如，现有两个图片分类模型，一个基于VGG，一个基于Google Inception，攻击者基于VGG模型生成了对抗样本，然后发现该对抗样本同样可以欺骗Inception模型，使其对图像分类出现错误。这就为黑盒攻击提供了可能性，攻击者即使对所要攻击的AI系统所使用的网络模型一无所知，仍然可以生成对抗样本。文献[4]给出了利用对抗样本进行黑盒攻击的实例，对于可以自动识别交通标志的无人驾驶系统，攻击者生成一个禁止通行标志的对抗样本（如图3右图所示），自动识别系统会将其误判为是可以通行的标志。当自动驾驶系统和人类驾驶员同时驾车行驶时，这足以造成灾难性的后果。

图3 正常的交通停止标志（左）及其对抗样本（右）

在人眼看来，这两张图几乎 是无差别的，但是无人驾驶系统却会把右图认为是可以通行的标志。

基于强化学习的智能体同样会被对抗样本所操控，强化学习领域应用广泛的算法诸如DQN、TRPO、A3C易被对抗样本攻击，在机器玩Atari游戏时表现出了性能的退化[5]。例如在Pong（乒乓）游戏中，球拍本应该下降，但计算机却被误导采取了向上的动作。 这其实也给中国棋手在与AlphaGo的围棋决战中取胜提供了一点思路。是否可以找到某种方法欺骗误导AlaphGo，使其价值网络和策略网络出现误判，最终战胜人工智能。在AlphaGo和李世石对决的第四局中，正是李世石的一手棋使得AlphaGo的神经网络对局势的判断出现了差错，最终输掉了比赛。

对于对抗样本，一个很自然的想法就是将其当做训练数据中的负样本继续训练，来提升神经网络的分类精度。这种训练方法也叫对抗训练，对抗训练过后的神经网络在原有测试集（不含对抗样本的数据）中的精度得到了提升，同时对对抗样本识别的正确率也得到了改善。其实，生成式网络（GAN）中就包含了对抗训练的思想，生成器（generator）不断的试图生成样本欺骗判别器（discriminator），而判别器不断试图找出生成器生成的样本，两者互相博弈，达到纳什均衡，最终生成器可以生成符合原有数据真实分布的样本。

在人工智能的应用越来越广泛、越来越深入的今天，我们必须对其安全性保持足够的重视。对抗样本就是人工智能系统中的“木马”、“病毒”，他可以攻击无人驾驶系统致使安全事故；可以让计算机把支票上的数字9识别成1，带来潜在的经济损失；可以把张三的脸让计算机识别成李四，骗过人脸识别系统，在今年的315晚会中，也展示了人脸识别系统被欺骗的实例。

深度学习对抗样本课程简介

这一期，我们就AI安全方面的深度学习在图像识别上的攻防战，邀请来自中科院自动化所的张重阳博士来深入分享对抗样本产生的原因激励和攻防策略以及其细节。

课程亮点：

l 对抗样本产生的原因机理

l 黑客攻防策略以及其细节

课程提纲：

l 人工智能与深度学习在图像领域的发展

l 深度学习对抗样本特性和攻击分类

l 对抗样本生成机理和生成算法

l 对抗样本攻击防御

嘉宾介绍：

中国科学院自动化研究所 张重阳博士

本文参考主讲人张重阳的知乎专栏 地址：https://zhuanlan.zhihu.com/p/25825245

➤版权申明：该文章版权归AI100所有，如需转载、摘编、复制等，请后台留言征得同意。若有直接抄袭，AI100将追究其责任。