展开

关键词

深度神经网络的灰色区域:可解释性问题

【编者按】在解决视觉、听觉问题方面表现出色的深度学习系统中,分类器和特征模块都是自动学习的,神经网络可解释性问题就成了一个灰色区域,思考这个问题对神经网络效率的保证是有必要的。 深度学习的成就 在昨天与软件架构师David Lazar关于“how everything old is new again”的讨论中,我们讨论到了关于深度神经网络及其优越效果方面的话题。 现在,我们已经在MNIST、深度卷积神经网络图像分类和有效利用深度神经网络进行对象检测方面取得了卓越成就。 Courtesy: XKCD and http://pekalicious.com/blog/training/ 深度学习的可解释性问题 那么,经过这番大张旗鼓地介绍,深度神经网络在什么方面可能出问题? 在深度学习系统中,分类器和特征模块都是自动学习的,神经网络就有了一个灰色区域:可解释性问题(explain-ability problem)。

74920

深度神经网络可解释性方法汇总,附Tensorflow代码实现

---- 新智元推荐 编辑:元子 【新智元导读】理解神经网络:人们一直觉得深度学习可解释性较弱。 然而,理解神经网络的研究一直也没有停止过,本文就来介绍几种神经网络可解释性方法,并配有能够在Jupyter下运行的代码连接。来新智元 AI 朋友圈和AI大咖们一起讨论吧。 理解神经网络:人们一直觉得深度学习可解释性较弱。然而,理解神经网络的研究一直也没有停止过,本文就来介绍几种神经网络可解释性方法,并配有能够在Jupyter下运行的代码连接。 Activation Maximization 通过激活最化来解释深度神经网络的方法一共有两种,具体如下: 1.1 Activation Maximization (AM) 相关代码如下: http:/ 这里再推荐两种基于质量和评价的可解释性方法。

1.1K50
  • 广告
    关闭

    开发者专享福利,1988元优惠券限量发放

    带你体验博客、网盘相册搭建部署、视频渲染、模型训练及语音、文字识别等热门场景。云服务器低至65元/年,GPU15元起

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    深度神经网络可解释性方法汇总,附Tensorflow代码实现

    理解神经网络:人们一直觉得深度学习可解释性较弱。然而,理解神经网络的研究一直也没有停止过,本文就来介绍几种神经网络可解释性方法,并配有能够在Jupyter下运行的代码连接。 1.Activation Maximization 通过激活最化来解释深度神经网络的方法一共有两种,具体如下: 1.1 Activation Maximization (AM) 相关代码如下: http 2.Layer-wise Relevance Propagation 层方向的关联传播,一共有5种可解释方法。 这里再推荐两种基于质量和评价的可解释性方法。

    46410

    神经网络可解释性综述!

    本文按照以下的章节进行组织: 人工智能可解释性的背景意义 神经网络可解释性的分类 总结 01 人工智能可解释性的背景意义 1.1 什么是可解释性 Interpretability (of a DNN) 实际上人们往往不强求“完整的解释”,只需要关键信息和一些先验知识 可解释的边界(Explainable Boundary),是指可解释性能够提供解释的程度 来自XAI的:对于不同的听众,解释的深度也有所不同 二、决策树不能表达太深的网络,决策树越深,性能会急剧下降,可解释性也越差。 Tree Regulartion[2]提出了树正则的方法,来抑制了树的深度。 ? 树正则通过引入深度损失正则项,在优化时候会抑制树的深度。而树的深度则是通过一个简单的预估网络进行预估,需要的参数就是主网络的参数。 这种解释的类型是最有深度而且也是用户最容易理解的。但是对AI模型和训练难度也更高了。目前这方面的研究屈指可数。 03 可解释性总结 ? ?

    20420

    斯坦福完全可解释深度神经网络:你需要用决策树搞点事

    选自Stanford 机器之心编译 参与:路雪、黄小天、刘晓坤 近日,斯坦福大学计算机科学博士生 Mike Wu 发表博客介绍了他对深度神经网络可解释性的探索,主要提到了树正则化。 论文地址:https://arxiv.org/abs/1711.06178 近年来,深度学习迅速成为业界、学界的重要工具。神经网络再次成为解决图像识别、语音识别、文本翻译以及其他困难问题的先进技术。 尝试解释现代神经网络很难,但是至关重要。如果我们打算依赖深度学习制造新的 AI、处理敏感的用户数据,或者开药,那么我们必须理解这些模型的工作原理。 很幸运,学界人士也提出了很多对深度学习的理解。 但是训练深度神经网络时会出现很多局部极小值,其中只有部分极小值容易模仿。因此,用这种方法可能最后会陷于一个难以模仿的极小值(生成一个巨型决策树,无法在合理时间内走完)。 ? 直接优化提高模仿性 如果我们想在优化过程中提高模仿性,则可以尝试找到更具可解释性的极小值。完美情况是,我们训练一个行为非常像(但并不是)决策树的 DNN,因为我们仍然想利用神经网络的非线性。

    1.3K60

    深度神经网络

    深度神经网络不仅可以根据算法工作,而且可以预测任务的解决方案并利用其先前的经验得出结论。在这种情况下,您无需使用编程或编码来获得答案。 什么是深度神经网络? ? 神经网络深度神经网络之间有什么区别? 您可以使用计算机将神经网络与国际象棋进行比较。它具有算法,根据算法可以根据您的动作和行动来确定战术。 同时,例如,计算机可能能够向您和其他人学习,并且它可以成为一个深度神经网络。在一段时间内,与其他玩家一起玩,它会变得立于不败之地。 神经网络不是一个创新的系统,但是深度神经网络比第一个复杂得多。 神经网络需要特定的数据输入和解决方案算法,而深度神经网络可以在没有大量标记数据的情况下解决问题。 什么是深度学习神经网络? 这是深度神经网络如何工作的一个示例。对信息的创意和分析成分进行分析和分组,以确保正确识别对象。这些组件不会直接带到系统中,因此ML系统必须修改和派生它们。 什么是深度卷积神经网络

    21920

    可解释神经网络:5个GNN解释方法

    可解释人工智能又向前迈进了一步,以及为什么现有的解释方法难以适用于gnn 可解释性是深度学习中的一个大课题,因为它可以实现更可靠和可信的预测。 Explainability增加可靠性 最近,人工智能中的可解释性引起了人们的广泛关注,其主要动机在于通过深度神经网络等“黑盒子”模型产生更可靠和可信的预测。 类似地,如果能够以人类可理解的方式解释或证明预测,由深度模型生成的预测就更可靠和可信。 相关的帖子 在过去的一个月里,TDS上出现了一些关于可解释AI的帖子。 可解释的AI (XAI) - Prateek Bhatnagar的《用Python中的7个包来解释你的模型[4]指南》提供了一个概述和一些用于解释深度模型的优秀工具包的实际示例,以帮助你入门。 Javier Marin的可解释深度神经网络[5]提出了一种新的方法来可视化深度神经网络中的隐藏层,从而通过拓扑数据分析了解整个网络中的数据是如何转换的。 为什么很难用现有的方法来解释GNN?

    85440

    专访 | 诺基亚首席科学家范力欣:用模糊逻辑实现可解释深度神经网络

    深度学习的可解释性之所以重要,是因为,如果试图将神经网络用于医学诊断或无人车驾驶等涉及伦理决策的任务中,决定的路径必须是清晰的,而且对决策的解释权仍然需要把握在人手中。 2013 年左右,以 Hinton 为代表的科学家试图以决策树模型的逻辑决策来解释神经网络,在保留性能的同时提高可解释性。 而在 2017 年的 NIPS 上,也有两个 workshop 以可解释性为主题,探讨为神经网络引入可解释性的不同路径。 而我近期的工作,则是在深度学习的基础上,重新定义模糊神经网络 [1]。研究目的仍然是取长补短,用逻辑推理规则,来解释和规范神经网络的学习机制。 模糊逻辑和神经网络有多种结合方式,在前深度学习时代,有的方式把模糊逻辑和神经网络模块拼接或并行,还有一些把每一个神经元的运算模糊化 ([2])。 ? ?

    68920

    详解深度学习的可解释性研究(上篇)

    作者 | 王小贱(被编程耽误的设计师,热爱产品的数据民工) 来源 | BIGSCity知乎专栏 《深度学习的可解释性研究》系列文章希望能用尽可能浅显的语言带领大家了解可解释性的概念与方法,以及关于深度学习可解释性工作的研究成果 “脑回路”,所以深度神经网络习惯性被大家认为是黑箱模型。 具体到深度学习/机器学习领域,就像我们上文提到的多层神经网络存在的问题,尽管高度的非线性赋予了多层神经网络极高的模型表示能力,配合一些堪称现代炼丹术的调参技术可以在很多问题上达到非常喜人的表现,大家如果经常关注 除了对深度学习模型本身进行解释的方法之外,也有一部分工作旨在建立本身具有可解释性的深度学习模型,这和我们前面介绍通用的可解释性模型有区别也有联系,也放到以后的文章中进行介绍。 ---- 02 深度学习的可解释性研究(二) 不如打开箱子看一看 在上一节中我们介绍了深度学习可解释性的三种方法:1. 隐层分析法,2. 敏感性分析法 3. 代理/替代模型法。

    1.4K30

    深度学习_1_神经网络_2_深度神经网络

    深度神经网络------>卷积神经网络 1,卷积神经网络与简单神经网络的比较 全连接网络的缺点: 参数太多,图片过大时,计算太多 没有利用像素之间位置信息 层数限制 2,卷积神经网络发展史 ? 3,卷积神经网络结构 ? 神经网络:输入层,隐藏层,输出层 卷积神经网络:隐藏层分为 ​ 卷积层过滤器:通过在原始图像上平移来提取特征,定义过滤器观察窗口(大小,步长)单位为像素 ​ 移动越过图片大小,例如步长过长,

    36050

    深度可解释性与deep learning的发展

    然而当端对端学习神经网络犹如烈火烹油迅速发展的时候,我和周围的很多学者不时的会感觉到一丝的隐忧:端对端的训练一个black-box model会一直平稳的向下发展吗? 随着网络结构和loss function的设计越来越复杂,神经网络真的会按照设计老老实实的去表达人们希望它表达的知识吗? 但是归根结底,在端对端学习之外,我觉得还需要找到一套新的神经网络操作工具,即让神经网络具有清晰的符号化的内部知识表达,去匹配人类自身的知识框架,从而人们可以在语义层面对神经网络进行诊断和修改。 从logic-based专家系统,到graphical model,再到深度神经网络,模型的flexibility和performance逐渐提高。 有了清晰的内部表达,那么对神经网络的训练是不是不但可以end-to-end,而且可以end-to-middle,middle-to-middle?

    83360

    神经网络可解释性最新进展

    但谷歌不愧是国际互联网巨头,并没有放弃DeepDream及其背后的研究,它试图解决深度学习领域让人诟病的难题:神经网络本身的运作方式是怎样的? 在本文中,谷歌将现有的可解释性方法视为丰富用户界面的基础和可组合的模块,并发现,这些不同的技术现在汇聚在一个统一的语法中,在最终的界面中实现可以互补。 而且,这个语法使得我们能够系统性地对可解释性界面空间进行探索,使我们可以评估它们是否与特定的目标相符合。 ▌解密隐藏层 ---- 近期关于可解释性的大部分工作都涉及神经网络的输入和输出层。 ▌可解释性界面 ---- 本文提供的界面思想结合了构建模块,例如特性可视化和属性。组合这些片段不是一个任意的过程,而是遵循一个基于界面目标的结构。

    1.1K60

    深度学习-神经网络

    神经网络:多层次的逻辑回归 [1240] . x=输入 y=输出 , 一个样本:(x,y) m=样本集合(训练集和测试集区分开) X=n(x)乘m维的矩阵 python中,X.shape为输出矩阵命令格式 ,sigmoid,tanh,ReLU函数 [1240] 线性整流函数ReLU 当Z为负数的时候,a维持为0,Z为正数时候,a保持正增长 神经网络的正向和反向推导公式: [1240] 构建神经网络的一般方法是 : 1.定义神经网络结构(输入单元数,隐藏单元数等)。 说明:反向传播通常是深度学习中最难(最具数学性)的部分。为了帮助您,这里再次是关于反向传播的演讲的幻灯片。您将要使用此幻灯片右侧的六个等式,因为您正在构建向量化实现。 与逻辑回归不同,神经网络能够学习甚至高度非线性的决策边界。

    11220

    深度神经网络总结

    深度神经网络(Deep Neural Networks,DNN)可以理解为有很多隐藏层的神经网络,又被称为深度前馈网络(DFN),多层感知机(Multi-Layer perceptron,MLP)。 神经网络在感知机的模型上做了扩展,主要有三点: 加入了多层隐藏层,特征的“等级”随着网络深度的加深而变高,增强了模型的表达能力。 深度神经网络(Deep Neural Networks,DNN)的基本结构 DNN可以分为:输入层,隐藏层和输出层,一般第一层是输入层,最后一层是输出层,而中间的层数都是隐藏层。 深度学习输入数据归一化的原因(使数据处于同一数量级,具有相同的数据分布) 神经网络学习过程本质就是为了学习数据分布,一旦训练数据与测试数据的分布不同,那么网络的泛化能力也大大降低; 数据归一化可以在反向传播的过程中 如果每批训练数据的分布各不相同,那么网络就要在每次迭代都去学习适应不同的数据分布,这样将会大大降低网络的训练速度 什么样的数据集不适合用深度学习? 数据集太小,深度学习容易产生过拟合。

    8920

    白话深度神经网络

    近些年来,深度神经网络异常火爆,各种深度神经网络架构层出不穷。大有千树万树梨花开,各领风骚数小时的趋势! 首先,自问自答几个似乎哲学般存在的问题: 1.什么是深度神经网络? (表现在深度神经网络里就是BP) 天哪噜!拔出萝卜带出泥! 好吧, 5.什么是梯度下降? 1.先画轮廓;2.再逐步到五官;3.再逐步到五官上的细节;4.再逐步到皮肤纹理上色; 没错,其实深度学习也是这么干的,我们可以看看神经网络各层可视化的效果: ? 那么深度神经网络是否还有优化的余地呢?

    22810

    神经网络可解释性、深度学习新方法, 2020 年有哪些势不可挡的研究趋势?

    作为 2019 年最后一场重量级的人工智能国际学术顶会,NeurIPS 2019 所反映出的一些人工智能研究趋势,例如神经网络可解释性、深度学习新方法、神经科学等等,想必对于大家在新的一年开展研究工作, 下面我们一一来看: 一、 解构深度学习的黑盒 最近,研究人员对深度学习的局限性进行了大量的反思,以下为几个例子: Facebook 的人工智能总监表达了对算力达到瓶颈的担忧。 在这种大环境下,我们很高兴看到探究深度学习背后的理论(深度学习为何有效?它是如何工作的?)的论文的数量迎来了爆炸式增长。 在今年的 NeurIPS 上,有 31 篇融合了各种技术的论文。 新提出的研究深度学习的方法中,我感兴趣的三个方向是:贝叶斯学习、图神经网络以及凸优化。 1. 图 3:贝叶斯学习与深度学习对比 与常规的深度学习相比,贝叶斯深度学习有两个主要的优势:非确定性估计以及在小数据集上更好的泛化性能。 在现实世界的应用中,让系统能够进行预测是远远不够的。

    70320

    深度学习可解释性相关论文和代码大全

    今天为大家介绍一个非常全的资源,全部是与深度学习的可解释性有关。 链接如下: https://github.com/lopusz/awesome-interpretable-machine-learning 该链接中包含了与深度学习可解释性有关的全部论文,以及部分代码

    71510

    ECCV 2020 | 清华提出CSG:训练可解释的卷积神经网络

    从实验结果来看,CSG的稀疏性能够引导卷积核与类别的强关联,在卷积核层面产生高度类相关的特征表达,从而提升网络的性能以及可解释性 论文: Training Interpretable Convolutional 卷积神经网络虽然在多个视觉任务中有很好的表现,但可解释性的欠缺导致其在需要人类信任或互动的应用中受到限制,而论文认为类别与卷积核间的多对多关系是造成卷积网络可解释性差的主要原因,称之为filter-class 通过实验证明论文提出的方法能够消除卷积核的冗余以及增强可解释性,可应用于目标定位和对抗样本检测。 Ideally Class-Specific Filters ---- ?   从实验结果来看,CSG的稀疏性能够引导卷积核与类别的强关联,在卷积核层面产生高度类相关的特征表达,从而提升网络的性能以及可解释性。

    69920

    相关产品

    • 机器翻译

      机器翻译

      腾讯机器翻译(TMT)结合了神经机器翻译和统计机器翻译的优点,从大规模双语语料库自动学习翻译知识,实现从源语言文本到目标语言文本的自动翻译,目前可支持十余种语言的互译。

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券