专栏首页新智元Bengio NIPS 最新论文:用线性分类探测器理解中间层,更好地诊断神经网络模型

Bengio NIPS 最新论文:用线性分类探测器理解中间层,更好地诊断神经网络模型

【新智元导读】本文介绍 Bengio 和他的学生 Guillaume Alain 的最新论文,这篇论文也被即将于 12 月举行的著名会议 NIPS 接收。本文中,作者引入了一叫做“线性分类探测器”的概念,用于理解一个神经网络模型中各个中间层的作用。使用这种方法,他们顺利地诊断出模型中的一些问题,增进了对深度神经网络的理解,在设计和诊断深度学习模型时都有帮助。

本文中,作者引入了“线性分类探测器”的概念,从熵(Shannon entropy)——描述随机变量所含信息状态的经典方法——的概念讲起,然后试着将这一概念用于理解神经网络模型中间层的作用,从而测量每一层额外获得了多少信息(答案:从技术上讲几乎没有)。

在这种方法失败后,作者又提出了一种新的框架,这一次,他们提出了不同的问题,那就是如果使用给定层的输入对一个最优线性分类器进行训练,这个最优线性分类器的性能会如何?结果证明,这一强大的概念对于理解深度神经网络在训练中以及训练后所涉及的动态十分有用。

论文:使用线性分类探测器理解中间层

作者:加拿大蒙特利尔大学 Guillaume Alain & Yoshua Bengio

摘要

神经网络模型以身为黑箱著称。我们提出了一种新的方法,更好地理解中间层的作用和动态。这对于设计神经网络模型有直接的影响,使专家能够证明某些探索法(heuristics),例如 Inception 模型里的 auxiliary head。我们使用线性分类器的方法,称之为“探测器”(probe),一个探测器只能使用给定中间层的隐藏单元作为判别特征(discriminating features)。此外,这些探测器不能影响模型的训练阶段,一般都在训练完成以后才被加上去。探测器允许使用者在训练的多个步骤中对模型的状态进行可视化。我们展示了这种方法如何更好地理解一个已知的模型,并且诊断可能存在的问题。

熵很重要,计算的便利性也很重要

论文要点

一个有问题的 128 层神经网络模型。从第 0 层到第 64 层会跳过一个连接。作者使用探测器检测每一层,看如果它们是线性分类器的话表现会如何。结果发现,模型完全无视第 1 到第 63 层,哪怕训练很长时间也不行。使用探测器,作者从视觉检测中发现了模型的问题。

本文分享自微信公众号 - 新智元(AI_era)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-10-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • UCL等三强联手提出完全可微自适应神经树:神经网络与决策树完美结合

    【新智元导读】UCL、帝国理工和微软的研究人员合作,将神经网络与决策树结合在一起,提出了一种新的自适应神经树模型ANT,打破往局限,可以基于BP算法做训练,在M...

    新智元
  • 【Hinton实验室探访】Capsule后最新研究,用软决策树更好理解DNN分类

    来源:NYT,arXiv 编译:闻菲、刘小芹 【新智元导读】《纽约时报》今日发文,记者走访Hinton在多伦多的实验室,为我们带来Hinton新作“Capsul...

    新智元
  • 【快报】日研发可自主意识控制行动机器人 | 合成肌肉完成太空测试返回地球

    新智元 AI DAILY 1 日本研发可以自主意识控制行动的机器人Alter ? 日本国立科学博物馆一直是许多仿生机器人的专用展览馆,现在又迎来新成员A...

    新智元
  • 当心!黑客会利用智能手机传感器破解你的PIN码

    导读 近日,新加坡南洋理工大学(NTU Singapore)研究人员表示,智能手机中的设备,例如:加速度计、陀螺仪和近距离传感器存在安全隐患。研究人员可利用手机...

    企鹅号小编
  • 【模型解读】浅析RNN到LSTM

    我们通常所说的RNN实际上有两种,一种是Recurrent Neural Networks,即循环神经网络,一种是Recursive Neural Networ...

    用户1508658
  • 一篇文章精通PowerShell Empire 2.3(上)

    作为360安全的忠实读者和作者,360这次搞活动肯定是要捧场的,至于为什么选择写Empire,是因为Empire在域渗透方面的功能实在是太强大,很多人只是用来生...

    HACK学习
  • 预警 | Linux 爆“SACK Panic”远程DoS漏洞,大量主机受影响

    近日,腾讯云安全中心监测到Linux 内核被曝存在TCP “SACK Panic” 远程拒绝服务漏洞(漏洞编号:CVE-2019-11477,CVE-2019...

    云鼎实验室
  • ABAP INSERT FROM SELECT

    The database table DEMO_SUMDIST_AGG is filled with aggregated data from the tabl...

    Jerry Wang
  • Ubuntu18.04服务器密码忘记或被篡改如何重置密码

    最近服务器上的两个账户黑掉了,账户的密码被篡改了,幸好还有一个账户可以用,可以确认原来的账户还存在,所以首先想到的办法就是如果把篡改的密码改过来,终于终于耗时五...

    砸漏
  • Js基础---红宝书读书日记(1)-------基本类型和引用类型

    JS的变量可能包含两种不同数据类型的值,基本类型和引用类型; 基本类型是指简单的数据段,引用类型是指可能由多个值构成的对象; JS高级程序设计第三章介绍了变量分...

    李文杨

扫码关注云+社区

领取腾讯云代金券