首页
学习
活动
专区
工具
TVP
发布

谷歌新研究探寻神经网络的可解释性,让神经元可视化

来源:Google Research Blog

编译:Bing

编者按:去年,论智曾介绍过GoogLeNet在神经网络特征可视化上的最新进展,他们指出,特征可视化作为最有希望解释神经网络的工具,它本身还有诸多问题亟待解答。今天,谷歌大脑发文探索了神经元激活的情况,并为每个神经元配上可视化的图片。谷歌将此比作为神经网络的MRI(核磁共振成像)。

2015年,为了了解神经网络是如何理解图像的,谷歌推出了印象派的迷幻图像。在那之后,他们开源了代码,将其命名为DeepDream,并且之后演变成了一种艺术风格,产生了许多令人惊叹的成果。但是对于DeepDream背后的研究仍在继续,研究人员试图解决深度学习中最令人兴奋的问题之一:神经网络的结果是如何做到的?

去年,谷歌在在线期刊Distill中发表了文章,解释了这些技术是如何展示网络中单个神经元的工作原理。这让我们看到了网络中间的神经元是如何探测各种物体的,例如按钮、布块、建筑等,以及它是如何在网络层面上构建越来越复杂的网络的。

GoogLeNet神经元可视化

让神经元变得可视化的确让人很激动,但是谷歌去年的工作漏掉了重要的一件事:这些神经元是如何组合起来让神经网络工作的呢?

今天,他们在Distill上发布了新文章——The Building Blocks of Interpretability,探寻特征可视化如何与其他可解释的技术结合,帮助我们了解神经网络的决策过程。他们证明了这些组合仿佛让人们处在神经网络之中,并看到当时正在做的决策,以及最终它是如何影响输出的。例如,可以看到当神经网络检测“垂耳”时,“拉布拉多犬”或“比格犬”的图像可能性上升。

谷歌研究人员表示:“我们一直在探索一种能确定网络中哪个神经元正在工作的技术。通常情况下,如果我们想知道哪些神经元被激活了,通常的答案是:‘神经元538激活了一点点。’这种回答毫无意义,对专家来说根本没有帮助。我们的技术将每个神经元可视化,让这个问题更有帮助,也就是说我们可以看到类似‘垂耳探测器被激活’的东西,就像给神经网络做了核磁共振。”

神经网络的力量依赖于隐藏层。在每个隐藏层,网络会发现一个输入的新表示。在计算机视觉领域,我们利用神经网络在每个位置的特征运行多个特征探测器,我们可以将每个图层学到的表征看成是一个三维立方体,立方体的每个单位都是一个激活,或者是神经元激发。如下图所示,X轴和Y轴表示图像位置,Z轴表示正在运行的通道(或探测器)。

但是,想要理解这些激活神经元是困难的,因为我们经常用抽象的向量表示。不过,有了特征可视化工具,我们可以将抽象的向量转化成更有意义的“语义词典”。

为了建立语义词典,我们将每个神经元激活和可视化结果配对,然后根据其激活程度进行分类。这种方法改变了以往利用数学的方法,现在,激活映射到的是图标表示,而不是抽象的索引。

语义词典让我们对激活有了细致的了解,即知道了单个神经元检测到了什么。建立了这个表示,我们也能够将激活向量看成一个整体。除了将单个神经元可视化,我们可以将某一位置已被激活的神经元结合,进行可视化。

在所有激活向量上应用了这一技术后,我们不仅能看到每个位置上的神经元检测到了什么,还能看到网络如何理解输入图像的。

另外,在图层之间(例如“mixed3a”,“mixed4d”),我们能发现神经网络是如何理解发展的:从在较靠前的图层中检测边缘,到在后面图层中检测更复杂的图形和目标物体。

我们可以缩小图像,看看在不同的层上图像是被如何观察的,从中我们可以看到,网络检测到非常简单的边缘组合,到复杂的纹理和3D结构,再到更高级的结构如耳朵、鼻子、头部和腿等的过渡。

这些功能听起来很让人激动,而更令人兴奋的是,它们可以和神经网络的最终决策联系起来。因此,我们不仅可以看到网络检测“垂耳”,还能看到它是如何识别一张拉布拉多犬的图像的。具体研究细节可查看Distill上的英文原文,地址:distill.pub/2018/building-blocks/

除此之外,谷歌还发布了Lucid,这是基于DeepDream打造的神经网络可视化库。它能制作出上图那种排序清晰的特征可视化图像,以及更具有艺术性的DeepDream图像。

另外还发布了colab notebooks,这些笔记内容能让Lucid的使用变得更加简单。只需要打开笔记,点击按钮就能运行代码了,无需安装设置。

在colab notebooks中,点击按钮运行代码,你可以在下方看到结果

这项工作只是了解神经网络的第一步,我们很高兴其他人能和我们共同努力,更深入地了解神经网络。

谷歌博客地址:research.googleblog.com/2018/03/the-building-blocks-of-interpretability.html

Distill地址:distill.pub/2018/building-blocks/

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180307G1ODWP00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券