专栏首页AI科技评论学界 | DeepMind论文解读:通过删除神经元来了解深度学习

学界 | DeepMind论文解读:通过删除神经元来了解深度学习

AI科技评论按:深度神经网络由许多单独的神经元组成,它们以复杂且违反人直觉的方式组合起来,以解决各种具有挑战性的任务。这种复杂性一方面赋予神经网络神秘力量,另一方面,也让它们变成了人类难懂的黑匣子。

了解神经网络的深层功能对于解释它们是如何做决定至关重要,并且能帮我们构建更强大的系统。就像,你不了解各个齿轮如何配合工作,你在试图做一个钟表时就很困难。

要想理解神经科学和深度学习中的神经网络,一种方法是弄清单个神经元的作用,尤其是那些易于解释的神经元。

DeepMind 最新的一篇关于神经网络学习的论文《On the Importance of Single Directions for Generalization》(https://arxiv.org/abs/1803.06959)将投稿在第六届 ICLR(国际学习表征会议)。这项研究所采用的方法是受数十年临床神经系统科学的启发,通过探索损伤神经元的影响来确定小规模神经元组对神经网络的重要性。深度神经网络中的那些越容易解释的神经元对神经网络的计算性能越重要吗?

研究人员通过删除单个神经元或神经元组来衡量它是否对网络的性能产生了影响。这项实验有了两个令人惊讶的发现:

1.虽然以前的许多研究集中于易理解,可解释的单个神经元(例如「猫神经元」,或深层网络的隐藏层中的神经元,它们只对猫的图像有反应),但我们发现这些可解释的神经元和那些难以理解,不可描述的神经元对神经网络的影响,并没什么不同。

2.在同样删除神经元的情况下,能正确分类没见过的图像的网络比仅能对看到过的图像进行分类的网络恢复的更快。换句话说,推理性好的网络比那些单纯的记忆网络更不依赖于单一方向。

「猫神经元」可能更易解释,但它们并不重要

在神经科学和深度学习中,广泛分析了仅对单一输入类别的图像(例如狗)作出响应的易解释神经元(「选择性」神经元)。这导致了在深度学习中对猫神经元,情绪神经元和括号神经元过度强调它们的重要性; 在神经科学中,对例如詹妮弗安妮斯顿神经元,以及一些类似的神经元的过度强调等等。然而,这些少数高选择性神经元相对于大多数具有低选择性,更令人费解且难以解释的神经元,哪个相对更重要仍然未知。

具有明显响应模式(例如,对猫活跃,对其他所有活动不活跃)的神经元比那些随着图像随机活动或不活动的令人难理解的神经元更容易解释。

为了评估神经元的重要性,研究人员测量了当神经元被删除时,图像分类任务的网络性能是如何变化。 如果一个神经元是非常重要的,删除它应该是具有高度破坏性的并且大大降低网络性能,而删除一个不重要的神经元应该没有什么影响。 神经科学家经常进行类似的实验,尽管它们很难在人造神经网络中获得这些实验所必需的细粒度和精确度。

上图是在一个简单神经网络上删除神经元产生影响的概念图,较深的神经元更活跃。 需要注意的是,删除一个或两个神经元对输出影响很小,而删除大部分神经元会产生很大的影响,并且一些神经元比其他神经元更重要。

令人惊讶的是,研究员发现神经网络的选择和重要性之间几乎没有关系。换句话说,「猫神经元」并不比令人难解的神经元更重要。这一发现与最近在神经科学方面的工作相呼应,已经证明令人难解的神经元实际上可以提供丰富的信息,并且表明今后在探索上必须超越最易于解释的神经元,以便理解深度神经网络。

尽管可解释神经元在直觉上更容易理解(比如,「它喜欢狗」),但它们并没有比那些没有明显偏好的难解释神经元更重要。

推理性好的网络很难打破

我们试图构建智能系统,如果系统能够推理出新的场景,我们只能称之为系统智能。例如,一个图像分类网络只能对以前看过的特定狗图像进行分类,而不能对同一只狗的新图像进行分类,这个网络是没有价值的。只有在新样本中依然能智能分类,这些系统才能获得它们的效用。去年,Google Brain、Berkeley 和 DeepMind 合作的论文在 ICLR 2017 上获得最佳论文,表明深层网络可以简单地记住他们接受训练的每个图像,而不是以更像人类的方式在学习(例如,了解抽象的「狗」概念)。

然而,网络是否已经学会了一种能够推理到新的任务场景中的解决方案,这往往是不清楚的。通过逐渐删除越来越大的神经元组,研究员发现,相比于简单记忆在训练期间看到的图像的网络,具有良好泛化能力的网络对删除神经元组后的稳健性要强得多。换句话说,泛化好的网络很难被打破(尽管它们肯定还是会被打破的)。

通过以这种方式衡量网络的稳健性,可以评估一个网络是否在利用简单的记忆来「欺骗」人类。了解网络在记忆过程中是如何变化的将有助于建立新网络,网络记忆越少,推理性就越强。

神经科学启发分析

总之,这些发现证明了使用基于临床神经科学启发的技术来理解神经网络的力量是可行的。 使用这些方法,发现高选择性个体神经元并不比非选择性神经元更重要,并且那些广义的网络比单纯记忆训练数据的网络更不依赖于单个神经元。 这些结果意味着单个神经元的重要性可能看起来的那么重要。通过努力解释所有神经元的作用,而不仅仅是那些易于解释的神经元,我们希望更好地理解神经网络的内部工作,最关键的是,利用这种理解来构建更加智能和通用的系统。

论文地址: https://arxiv.org/abs/1803.06959 ICLR 2017最佳论文: https://arxiv.org/abs/1611.03530

via DeepMind,AI科技评论编译

本文分享自微信公众号 - AI科技评论(aitechtalk)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-03-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 前沿 | IBM发明世界首个人造神经元,离人脑模拟更近一步

    受人类大脑运行方式的启发,IBM苏黎世研究中心制成了世界上第一个人造纳米级的随机相变神经元。并在其基础上构建了由500个该神经元组成的阵列,让该阵列模拟人类大脑...

    AI科技评论
  • 学界丨MIT重磅研究:基于人工神经网络,探索抑制神经元的生物学意义

    在近几年,人工神经网络——一种参照大脑运作模式而建成的计算模型——已经成为了最为炙手可热的人工智能系统,并且应用于从语音到图像的各个领域。 AI科技评论消息,M...

    AI科技评论
  • 人工神经网络太简陋了,《Science》新作揭露,神经元树突也隐含计算能力

    目前对于计算机科学家来讲,人工神经网络构建,往往基于这样一个概念:神经元是一个简单的、非智能的开关,神经网络的信息处理来源于数万(数万亿)个神经元之间的连接。

    AI科技评论
  • DeepMind 最新研究:通过删除神经元理解深度学习

    【新智元导读】深度神经网络由许多个体神经元组成,具有很高的复杂性。这种复杂性使其难懂,被认为是看不透的黑匣子。DeepMind最新发表针对对单一方向泛化的重要性...

    新智元
  • DeepMind 最新研究:通过删除神经元理解深度学习!

    理解深度神经网络的运作机制对于帮助我们解释它们的决定,以及构建更强大的系统起到了至关重要的作用。例如,试想在不了解个体齿轮如何啮合的情况下去构建时钟会有多么的困...

    朱晓霞
  • 李宏毅深度学习之Deep Learning全连接层

    神经网络(神经网络主要包括输入,隐藏与输出层。其中,隐藏与输出的每个小圆圈表示一个神经元。

    瓜大三哥
  • 世界首创人工神经元!Nature最新研究掀范式革命,可用于治疗多种疾病

    近期,科学家们发明了不仅表现得像生物神经元的人工神经元,而且该人工神经元还仅需要微处理器的十亿分之一的功率,因此非常适合用于医疗植入物和其他生物电子仪器。

    新智元
  • Cell研究揭示生物神经元强大新特性,是时候设计更复杂的神经网络了!

    大数据文摘
  • 前沿 | IBM发明世界首个人造神经元,离人脑模拟更近一步

    受人类大脑运行方式的启发,IBM苏黎世研究中心制成了世界上第一个人造纳米级的随机相变神经元。并在其基础上构建了由500个该神经元组成的阵列,让该阵列模拟人类大脑...

    AI科技评论
  • 学界丨MIT重磅研究:基于人工神经网络,探索抑制神经元的生物学意义

    在近几年,人工神经网络——一种参照大脑运作模式而建成的计算模型——已经成为了最为炙手可热的人工智能系统,并且应用于从语音到图像的各个领域。 AI科技评论消息,M...

    AI科技评论

扫码关注云+社区

领取腾讯云代金券