DeepMind新成果：不可解释的神经元并不比可解释神经元作用小

作者 | Debra

编辑 | Emily

AI 前线导读：深度神经网络由许多单独的神经元组成，它们以复杂且违反直觉的方式组合起来，以解决各种具有挑战性的任务。这种复杂性赋予了神经网络神奇的力量，但也给它们带来了不好的名声：混乱、像一个不透明黑盒子。DeepMind 用了一种删除神经元或神经组并观察其对深度神经网络影响的方法，侧面了解它们在网络中的功能，结果发现了一些令人意外的结论。

更多干货内容请关注微信公众号“AI 前线”，（ID：ai-front）

了解神经网络的工作原理对于解释其决定机制和构建更强大的系统至关重要。例如，想象一下，如果不了解各个齿轮之间如何协作，建造一座时钟时会有多困难。无论是在神经科学还是在深度学习研究中，都有一种了解神经网络的方法，那就是研究独立神经元的作用，尤其是那些易于解释的神经元。

我们对单向泛化重要性的研究结果（importance of single directions for generalisation）即将在第六届国际学习表征会议（ICLR）上发表，在实验神经科学数十年研究的启发下，我们通过测试损伤产生的影响来确定：神经网络中神经元组的重要性？更容易解释的神经元对网络的计算能力的重要性如何？

成果链接：https://arxiv.org/abs/1803.06959

我们通过删除单个神经元以及神经元组来衡量其对网络性能的影响。实验中我们发现了两个令人惊讶的结论：

虽然以前的许多研究都集中于理解易解释的单个神经元（例如“猫神经元”（cat neurons），或深层网络隐藏层中的神经元，这些神经元只对猫的图像有反应），但我们发现这些可解释的神经元并不比难以解释的混淆神经元的作用更大。

相比于仅能分类训练图像的网络，能够正确分类测试图像的网络对删除神经元的适应性更强。换句话说，泛化较好的网络比记忆性网络对单一方向的依赖要小得多。

“猫神经元”可能更易解释，但它们并没有那么重要

在神经科学和深度学习领域，仅对单类别图像（例如狗）作出反应的可解释神经元（“选择性”神经元）的研究已经非常深入了。在深度学习领域，这导致研究重点向猫神经元（https://www.wired.com/2012/06/google-x-neural-network/）、情绪神经元（https://blog.openai.com/unsupervised-sentiment-neuron/）和括号神经元（http://karpathy.github.io/2015/05/21/rnn-effectiveness/）的方向倾斜；在神经科学领域，重点则在 Jennifer Aniston 神经元（https://www.newscientist.com/article/dn7567-why-your-brain-has-a-jennifer-aniston-cell/）等。然而，相对于极少数高选择性的神经元，大多数神经元是低选择性，且难以解释的，他们的重要性仍然未知。

为了评估神经元的重要性，我们测量了当神经元被删除时，网络在图像分类任务上的表现如何变化。如果一个神经元非常重要，那么删除它可能对网络具有高度破坏性，并大大降低网络性能，而删除一个不重要的神经元时应该没有什么影响。神经科学家经常进行类似的实验，尽管他们却不能达到实验所必需的精确度，在人工神经网络中却可以做到。

在模拟演示中，通过删除任意神经元可以直观地看到失去这些神经元对网络的影响，有兴趣的朋友可以访问 https://deepmind.com/blog/understanding-deep-learning-through-neuron-deletion/ 尝试一下。

令人惊讶的是，我们发现选择性和重要性之间几乎没有关系。换句话说，“猫神经元”并不比混淆神经元更重要。这一发现与最近在神经科学方面的工作相呼应，证明混淆神经元实际上可以提供很多信息，表明我们必须将视野拓展到易于解释的神经元之外，以更加深入地了解深度神经网络。

动图演示链接：

https://deepmind.com/blog/understanding-deep-learning-through-neuron-deletion/

尽管可解释的神经元在直觉上更容易理解（“它喜欢狗”），但它们并不比没有明显偏好的混淆神经元更重要。

泛化更好的网络很难攻破

我们在孜孜不倦地尝试构建智能系统，而只有能够泛化到全新场景的系统，才可以被称为智能系统。例如，一个图像分类网络只能对以前看过的特定狗图像进行分类，而不能对同一只狗的新图像进行分类，那就是无用的。只有对新图像进行分类的能力，赋予了智能系统有用之处。Google Brain，Berkeley 和 DeepMind 最近在 ICLR 2017 上获得最佳论文的合作论文（https://arxiv.org/abs/1611.03530）表明，深层网络仅可以简单地记住他们接受训练的每个图像，而不是像人类一样学习（例如，了解抽象的“狗”概念）。

然而，我们往往不清楚一个神经网络是否已经学会了在新环境中泛化的能力。通过逐渐删除越来越大的神经元组，我们发现，相比于简单记忆训练图像的网络，泛化较好的网络比仅具有记忆力的网络对删除的稳健性要强得多。换句话说，泛化较好的网络很难攻破（尽管它们最终还是会被打破）。

演示链接：

https://storage.googleapis.com/deepmind-media/research/understanding-through-neuron-deletion/videos/chart_combined.webm

通过以这种方式衡量网络的稳健性，我们可以评估一个网络是否在利用不需要的记忆来进行“欺骗”。了解网络记忆时它们如何变化将有助于我们建立新的网络，这种网络记忆较少，泛化性较强。

受神经科学启发的研究分析总之，这些发现证明了使用受神经科学启发的技术来了解神经网络是行得通的。使用这些方法，我们发现选择性强的神经元并不比非选择性神经元更重要，而且那些泛化较好的网络比单纯依靠训练数据记忆的网络对单个神经元的依赖性更小。这些结果意味着，单个神经元的重要性可能没有我么想象的那么大。

通过解释所有神经元作用，而不仅仅是那些易于解释的神经元，我们希望更好地理解神经网络的内部工作原理，更重要的是，利用对他们的理解来构建更加智能和通用的系统。

在这里阅读完整的论文：

On the importance of single directions for generalization（ https://arxiv.org/abs/1803.06959）。

这项工作由 Ari S Morcos，David GT Barrett，Neil C Rabinowitz 和 Matthew Botvinick 完成。

可视化视图由 Paul Lewis，Adam Cain 和 Doug Fritz 创建。

https://deepmind.com/blog/understanding-deep-learning-through-neuron-deletion/

AI前线

紧跟前沿的AI技术社群

一些粉丝朋友还没有养成阅读后点赞的习惯，希望大家在阅读后顺便点赞，以示鼓励！原创是一种信仰，专注是一种态度！