对抗样本引发的系列讨论

欢迎关注北京大学深度学习实验室

所谓对抗性样本，指的是对于训练好的神经网络（比如是训练好神经网络用作图片分类） ，随便拿一张能被网络正确分类的图片 ，人为的对图片的像素加一些很小的扰动 （perturbation），神经网络会以很大的概率将perturbed的图片 分类错误，即

，重要的是扰动后的图片人眼是不会分类错误的，甚至都无法察觉加了扰动。比如下图将一个大熊猫的图片进行很小的扰动就会将其分类为长臂猿。也就说明当今被人们广为称道的深度学习模型是如此的脆弱不堪。

注意这个小扰动 不是一个随便的扰动，而是解一个优化问题得到的扰动，我们称为这个求解过程为攻击网络，这也是被称为对抗性样本的原因。

其中 是选取的某种目标函数比如cross entropy， 是扰动在某种norm度量下的上界，是为了不让扰动太大，不然human eye都会分错。求解的过程需要知道神经网络的输出对于输入的剃度 , 做一步的gradient ascent便可以完成攻击（该方法一般被称为 Fast Gradient Sign Method）。这种需要知道剃度的攻击一般被称为white box攻击，因为需要知道网络具体的结构来计算剃度信息。关于如何在white box情形下攻击神经网络的方法，有不少相关的文章，感兴趣的话大家可以查看相关论文，不再赘述。

其实更为严重的问题是，对抗性样本会迁移(transfer), 即在一个模型A上产生的对抗样本让另外一个模型B去分类该样本，模型B依然会以比较大的概率分错该样本，这种攻击方式被称为black box attack。这个迁移问题会给基于神经网络的AI系统带来极大的安全隐患！大家可想而知，如果我想攻击一个无人驾驶的轿车，我大体知道你的识别网络是识别一些车牌，路标，以及车道线等等，于是我在本地也以类似的训练数据集训练一个神经网络，并以此神经网络产生对抗样本来攻击远程的这个自动驾驶识别系统，对抗样本的可迁移性会给系统带来极大的安全问题！这也是对抗样本引起当今深度学习研究人员关注和探讨的重要原因。目前来说对于如何抵抗对抗样本，尤其是如何抵抗对抗样本迁移的问题，大家基本没有好的办法，目前仍然处于研究当中。

如下回忆和一位博士生讨论引发的一些思考，由于是很随意的Brain storming，所以逻辑性不强，大家就当听故事了 ：）

这样人为产生的对抗样本到底在不在数据分布Pdata(x)中？答案如果是yes的话，那就说明目前的深度学习模型的泛化能力是惨得要命，因为对于任意一个图片我都可以非常容易攻击网络使得将其分错，那么对抗样本是无穷无尽也，在此意义下当今号称各种超越human performance的XXXNet瞬间崩溃！

我们想来想去，这个答案应该是no才会合理一些。因为对抗样本x+ε是依赖于某个分类器f的，在时间上是后于真实的自然数据样本产生的，也就是自然界中这样的对抗样本出现的几率是非常小的，这样的classifier－dependent的样本x+ε(f)在真实数据分布Pdata(x)上的测度为0. 似乎make sense？

既然对抗样本不属于数据真实分布，那于是又引发问题：为什么我们human eye不会却不会将对抗样本分错呢？也就是说我们人眼是很稳定的分类器，由此可推断宣称的深度学习能模仿人类识别样本纯属无稽之谈。人类的视觉系统如此稳定的缘由发人深思。识别机制绝对不同于当前的神经网络，也许人脑的神经网络的结构不同于当前的深度学习的一些模型. Google最近有一篇投稿ICLR的工作使用了reinforcement learning来强行搜索对于对抗样本相对稳定的结构，使用了500块GPU搜索，估计也只有类似google的公司敢这么做，也有实力这么做，下图是他们搜索出来的一些最优结构，似乎没看出什么规律。

可想而知，这样的搜索耗能是极高的，而想想人脑何曾进行过如此高耗能的计算？ 于是我们脑洞大开：也许是人类经过多少年的进化得到了相对稳定的结构，但问题又来了，是这些结构的信息encoding到DNA当中进行了恰当的基因表达得到的大脑稳定结构，还是人类在后天进行学习训练得到的？似乎当前的神经科学也对此近乎一无所知。

再进一步问：人眼存在对抗性样本么？推想应该是有的，因为我们会有视觉幻觉，比如不同条纹状的背景下同样大小的物体会在我们严重变的一大一小。那么，比我们人眼还要更稳定的系统存在么？也许是oracle，也许是God，哈哈，扯远了，已经上升到哲学问题了，我相信这些问题终究会解决。但目前的科研还尚未可知。

Moreover, we know nothing about brain or AI. 也许正是我们的这些无知，才让我们更有余地去探索这些由此次AI大潮引发的各种深刻的科学问题。而不是像整天各种媒体宣传的那样，各种突破各种号外，标题党遍地，变得有些“娱乐AI”的感觉。今天讨论的对抗样本让深度学习脆弱不堪就是个典型例子，说明通向真正我们期望的AI还有些路要走。