Ian Goodfellow 最新论文：对抗重编程成功干扰神经网络执行任务

自从 2013 年以来，深度神经网络在各方面得到了广泛应用，甚至在某些方面达到可以匹配人类的性能，比如人脸识别。但是，也有人曾提出方法对神经网络进行干扰。例如在计算机视觉领域，仅需对图片加以一定的扰动，就可以使神经网络分类错误，甚至把图片分类到一个原本不存在的标签。随着计算机视觉在人脸识别、自动驾驶等领域的广泛应用，这种干扰会造成巨大的危害。

近期，Ian Goodfellow、Gamaleldin F. Elsayed 等人发表了一篇文章：Adversarial Reprogramming of Neural Networks，文章中提出了一种更强的干扰神经网络方法，该方法可以将神经网络对抗重编程（adversarial reprogramming），使神经网络放弃原本的任务而执行攻击者指定的任务。文章中成功将 ImageNet 分类模型改成了计数模型、手写数字识别模型和 CIFAR-10 分类模型。

这种攻击方法的思路是，原模型的任务可以抽象成将映射到，而攻击者指定的任务是将映射到，和可以不在同一域中。在对抗重编程时，将的域转化到的域，转化之后，就可以输入到，之后，将转化到，通过调节使得。

在这篇论文中，作者定义为小图，是作用于小图的函数，是大图，是作用于大图的函数，的功能是将小图放在大图的中间，并用填充周围，将原任务的标签映射到新任务的标签。但其实的功能可以更广泛，只要是在能将两个任务的输入输出进行转换，使模型执行攻击者的任务就可以。

图|对抗重编程：(a) ImageNet 任务标签与方格计数任务标签的对应关系 (b) 将计数任务的图像通过对抗重编程嵌入到新图像的中央，使得 Inception V3 网络执行计数任务 (c) 网络输入了新的图像，并输出了 ImageNet 的标签，再将该标签对应到计数任务的标签

论文中的对抗重编程对网络的输入进行处理。与大多数对抗性扰动不同的是，对抗重编程不是针对一张图像的处理，而是所有图像都可以用同样的对抗重编程。

为了证明对抗重编程的可行性，论文对训练过的 ImageNet 分类器进行对抗重编程，以执行计数、手写数字（MNIST）分类和 CIFAR-10 分类任务。各项任务的准确率如下：

同时，实验还研究了对抗重编程上在未经训练的神经网络和经过训练的神经网络上的效果差异，结果证明，对抗重编程在未经训练的网络上效果较差，下表给出了在 MNIST 任务上的准确率：

由此说明，经过训练的神经网络更容易受到对抗重编程的影响，这表明了对抗重编程可以重新利用原网络学习到的特征。这种改变网络的输入而非读出权重的方式可以被视作一种新形式的迁移学习。

论文的结果表明，神经网络的动态重用应该是可行的，这有希望使机器学习系统更简单、更灵活、更高效地被重用。确实，近期机器学习方面的研究也关注到了使用可重用组件建立大型动态连接的网络。

-End-

参考：https://arxiv.org/abs/1806.11146