想知道哪个神经元最重要？把它删掉试试！

来源：DeepMind

编译：Bing

编者按：深度神经网络有许多单个神经元组成，它们用复杂的方式组合后能解决许多富有挑战性的问题。复杂性让神经网络的功能强大，但是同样也会让人觉得迷惑，更像是一个黑盒。DeepMind研究人员通过删除神经网络中的神经元，估计每个神经元对网络的重要程度。以下是论智对原文的编译。

理解深度神经网络对于解释它们的决策非常重要，还能帮助我们打造更强大的系统。就像是不了解内部齿轮的构造，就想制作一个钟表，难度可想而知。在神经科学和深度学习领域，理解神经网络的一个方法是探索单独神经元的作用，尤其是那些非常容易解读的。

在我们的论文On the importance of single directions for generalisation中（地址见文末），经过几十年神经科学的实验研究，我们在此基础上研究了损坏的影响，确定了神经网络中少量的神经元重要性有多少，是否那些容易解释的神经元在网络计算中的作用就更重要？

通过删除单一神经元以及少量神经元，我们测量了其对性能的影响，最后得到两个重要的发现：

虽然之前很多研究都更注重了解容易解释的单个神经元（比如“cat neurons”或者深度网络隐藏层中的神经元，它们只会对猫的图片有反应），我们发现这些可解释的神经元并不如难解释的混淆神经元更重要。

能正确区分陌生图片的网络比那些只能区分曾经见过的照片的网络更能适应神经元的减少。换句话说，泛化能力良好的网络对单一方向的依赖程度远低于依靠记忆的网络。

猫神经元也许更容易解释，但它们并不是更重要

在神经科学和深度学习中，人们分析了很多容易解释的神经元（“选择性”神经元），它们只能对输入图像的单一类别做出反应。在深度学习中，典型的有猫神经元、情感神经元和小括号神经元；在神经科学中，最常见的是詹妮弗·安妮斯顿神经元等等。然而，这些常被用来进行实验的神经元是否真的比其他不常见、更难以解释的神经元更重要呢？

对特定类别有明显反应的神经元（例如对猫有反应，对其他物体没有反应）比其他混乱的神经元更容易解释

为了测量神经元的重要性，我们让网络进行图像分类任务，检测当神经元被删除时它的性能如何变化。如果一个神经元非常重要，那么删掉它后，它的性能一定会受到很大影响，如果它并不重要，那么对性能的影响也是微乎其微。神经科学家们经常做类似的实验，尽管他们达不到这些实验所需要的精确度，而且也不能等同于人工神经网络的情况。

删除神经元对神经网络的影响，颜色越深就越活跃（原网站可以体验删除过程）

令人惊讶的是，我们发现神经元的选择性和重要性之间的关系并不大。换句话说，“猫神经元”不比其他神经元重要。这一发现也验证了最近神经科学的一项研究成果，认为那些令人迷惑的复杂神经元同样含有大量信息，并且他们认为我们必须更深入了解易解释神经元以外的东西，才能更好地了解深度神经网络。

虽然可解释的神经元在直觉上更容易理解，但它们并不比混淆神经元更重要。

泛化更好的网络更难崩溃

我们致力于打造智能系统，只有一个系统能生成新情况的才能被称作智能。例如，一个图像分类网络只能对其所见过的小狗图像进行分类，一旦看到新的小狗图像，它就失效了。只有在新例子的智能分类中，这些系统才能发挥作用。谷歌大脑、伯克利和DeepMind共同合作的、最近获得ICLR 2017最佳论文的成果表明，深度网络可以简单地记住它们接受训练的每个图像，而不是以人类的方式学习。

然而，我们还不知道网络是否已经学会了生成新情况的解决方案。随着删除的神经元组越来越大，我们发现，相比于以往训练时简单记忆的网络，泛化良好的网络面对删除的稳健性要强的多。换句话说，泛化好的网络很难崩溃（尽管最终它们最终仍会崩溃）。

删除掉大量神经元后，泛化较好的网络性能减少的比记忆的网络更慢

通过这种方法测量网络的稳定性，我们可以评估一个网络是否在利用不良记忆进行“欺骗”。了解了网络记忆时的变化将有助于我们建立新的网络，这种网络较少运用记忆，更多的是泛化。

基于神经科学的分析

至此，所有有关神经网络的发现都来源于神经科学的探索。利用这些方法，我们发现经常被选用的单个神经元并不比不选用的神经元重要。同时，泛化较好的网络比单独用记忆的网络稳定性更好。通过探索所有神经元的角色，我们希望不仅对这些易于解释的进行研究，还要了解神经网络的深层结构，更重要的是，利用这些成果打造更智能、更通用的系统。

原文地址：deepmind.com/blog/understanding-deep-learning-through-neuron-deletion/

论文地址：arxiv.org/abs/1803.06959