可解释性是深度学习中最具挑战性的方面之一。理解一个神经网络，它有成千上万的神经元分布在数千个隐藏层中。大多数深层神经网络的互联性和复杂性使其不适合于传统的调试工具。
来源：专知本文为论文介绍，建议阅读5分钟本文旨在探索一条新的研究路线，即解释引导学习(EGL)，通过XAI技术干预深度学习模型的行为，共同提高深度神经网络的可解释性和泛化性。 近年来，深度神经网络(Deep Neural Networks, DNNs)，包括卷积神经网络(Convolutional Neural Networks, cnn)和图神经网络(Graph Neural Networks, GNNs)的快速发展，使得图像和图结构数据等几何数据的表示学习得到了快速的发展，并取得了显著的进展。然而，d
【新智元导读】MIT 新研究为解开深度神经网络黑箱迈出重要一步：今年的CVPR上，研究者提交一份新的研究，全自动分析了 ResNet，VGG-16，GoogLeNet 和 AlexNet 执行 20 多种任务的过程。他们提出的 Network Dissection 能够量化 CNN 的可解释性，发现深度神经网络并非完全的黑箱结构。 神经网络性能强大，用处广泛，但有一个致命的缺点：一旦训练好，哪怕是设计者也无从得知其中的运作原理。没错，也就是所谓的黑箱。 2 年前，MIT 计算机科学和人工智能实验室（CSAI
来源：机器学习算法那些事、图灵人工智能 本文约2400字，建议阅读5分钟 本文浅谈神经网络的可解释性。 本文以 A Survey on Neural Network Interpretability 读后感为主，加上自身的补充，浅谈神经网络的可解释性。 本文按照以下的章节进行组织： 人工智能可解释性的背景意义 神经网络可解释性的分类 总结 1、人工智能可解释性的背景意义 1.1 什么是可解释性 Interpretability (of a DNN) is the ability to provide ex
最近，人工智能中的可解释性引起了人们的广泛关注，其主要动机在于通过深度神经网络等“黑盒子”模型产生更可靠和可信的预测。LIME论文[2]中给出的一个很好的例子是，您会信任您的医生，因为他/她能够根据您的症状解释诊断。类似地，如果能够以人类可理解的方式解释或证明预测，由深度模型生成的预测就更可靠和可信。
Interpretability (of a DNN) is the ability to provide explanations in understandable terms to a human. F Doshi-Velez & B Kim, 2017
当地时间 7 月 22 日，备受瞩目的 CVPR 2017 最佳论文在夏威夷会议中心揭晓。本届 CVPR 2017 共有两篇最佳论文（分别被康奈尔和清华团队、以及苹果团队拿下），两篇最佳论文提名，以及一篇最佳学生论文。 除了这些获奖论文之外，CVPR 2017还收录了一些非常有意思的论文。其中，MIT 在读博士周博磊的论文——“Network Dissection: Quantifying Interpretability of Deep Visual Representations”，提出了一种名为
图深度学习已经展示了其在学习丰富的图结构数据上的有效性。并且在许多问题上取得了重大进展， 例如药物发现、社交网络、物理仿真等。许多图深度学习框架（如 PyG，DGL 等）主要关注实现基本的图深度学习模块和基础任务，比如节点分类与图分类等。但对于复杂的任务，比如图生成和图神经网络的可解释性，研究人员仍然需要花费巨大精力实现算法并与基准模型进行比较。
选自arXiv 作者：张拳石、朱松纯 机器之心编译 参与：乾树、李泽南 在本篇论文中，来自 UCLA 的研究人员就目前有关理解神经网络表征和用可解释/分离式表征学习神经网络的研究进行了一次调查。 本文将研究范围圈定到以下六个研究方向： 网络中间层的 CNN 特征可视化。这些方法主要是合成图像，使预训练的 CNN 中的给定神经元的得分最大化，或者用卷积层的 feature maps 反推出输入图。详细内容请看第二节。 CNN 表征的诊断。相关的研究涉及为不同的物体类别诊断 CNN 的特征空间，或揭露卷积层的潜
来源：NYT，arXiv 编译：闻菲、刘小芹 【新智元导读】《纽约时报》今日发文，记者走访Hinton在多伦多的实验室，为我们带来Hinton新作“Capsule Network”的更多信息。同时，新智元注意到Hinton和Capsule Network作者之一的Nicholas Frosst最近新发表了论文，使用训练好的神经网络创建一种软决策树（soft decision tree），以此更好地理解神经网络如何做出分类决策。一方面推倒重建，一方面更好地理解，大神Hinton，一直奋斗在深度学习第一线。 2
近年来, 深度学习在图像分类、目标检测及场景识别等任务上取得了突破性进展, 这些任务多以卷积神经网络为基础搭建识别模型, 训练后的模型拥有优异的自动特征提取和预测性能, 能够为用户提供“输入–输出”形式的端到端解决方案. 然而, 由于分布式的特征编码和越来越复杂的模型结构, 人们始终无法准确理解卷积神经网络模型内部知识表示, 以及促使其做出特定决策的潜在原因. 另一方面, 卷积神经网络模型在一些高风险领域的应用, 也要求对其决策原因进行充分了解, 方能获取用户信任. 因此, 卷积神经网络的可解释性问题逐渐受到关注. 研究人员针对性地提出了一系列用于理解和解释卷积神经网络的方法, 包括事后解释方法和构建自解释的模型等, 这些方法各有侧重和优势, 从多方面对卷积神经网络进行特征分析和决策解释. 表征可视化是其中一种重要的卷积神经网络可解释性方法, 能够对卷积神经网络所学特征及输入–输出之间的相关关系以视觉的方式呈现, 从而快速获取对卷积神经网络内部特征和决策的理解, 具有过程简单和效果直观的特点. 对近年来卷积神经网络表征可视化领域的相关文献进行了综合性回顾, 按照以下几个方面组织内容: 表征可视化研究的提起、相关概念及内容、可视化方法、可视化的效果评估及可视化的应用, 重点关注了表征可视化方法的分类及算法的具体过程. 最后是总结和对该领域仍存在的难点及未来研究趋势进行了展望.
【新智元导读】人们对深度学习模型的真正运行机制还远远没有完全了解，如何提高预测模型的“可解释性”成了一个日益重要的话题。近来的一篇论文讨论了机器学习模型的“可解释性”的概念及其重要意义。
广义上的可解释性指在我们需要了解或解决一件事情的时候，我们可以获得我们所需要的足够的可以理解的信息。比如我们在调试bug的时候，需要通过变量审查和日志信息定位到问题出在哪里。比如在科学研究中面临一个新问题的研究时，我们需要查阅一些资料来了解这个新问题的基本概念和研究现状，以获得对研究方向的正确认识。反过来理解，如果在一些情境中我们无法得到相应的足够的信息，那么这些事情对我们来说都是不可解释的。比如刘慈欣的短篇《朝闻道》中霍金提出的“宇宙的目的是什么”这个问题一下子把无所不知的排险者卡住了，因为再高等的文明都没办法理解和掌握造物主创造宇宙时的全部信息，这些终极问题对我们来说永远都是不可解释的。
作者 | 王小贱（被编程耽误的设计师，热爱产品的数据民工） 来源 | BIGSCity知乎专栏 《深度学习的可解释性研究》系列文章希望能用尽可能浅显的语言带领大家了解可解释性的概念与方法，以及关于深度学习可解释性工作的研究成果。本文是该系列的第一部分。 01 深度学习的可解释性研究（一） 让模型具备说人话的能力 ▌可解释性是什么？ 广义上的可解释性指在我们需要了解或解决一件事情的时候，我们可以获得我们所需要的足够的可以理解的信息。 比如我们在调试bug的时候，需要通过变量审查和日志信息定位到问题出在哪里。
随着深度学习在金融、医疗等领域的不断落地，模型的可解释性成了一个非常大的痛点，因为这些领域需要的是预测准确而且可以解释其行为的模型。然而，深度神经网络缺乏可解释性也是出了名的，这就带来了一种矛盾。可解释性人工智能（XAI）试图平衡模型准确率与可解释性之间的矛盾，但 XAI 在说明决策原因时并没有直接解释模型本身。
编者按：深度学习算法近年来取得了长足的进展，也给整个人工智能领域送上了风口。但深度学习系统中分类器和特征模块都是自学习的，神经网络的可解释性成为困扰研究者的一个问题，人们常常将其称为黑箱。但理解深度神经网络的工作原理，对于解释其决策方式，并建立更强大的系统至关重要。
编者按：深度学习算法近年来取得了长足的进展，也给整个人工智能领域送上了风口。但深度学习系统中分类器和特征模块都是自学习的，神经网络的可解释性成为困扰研究者的一个问题，人们常常将其称为黑箱。但理解深度神经网络的工作原理，对于解释其决策方式，并建立更强大的系统至关重要。 近日，DeepMind 发布了其关于神经网络可解释性的最新研究成果，他们通过删除网络中的某些神经元组，从而判定其对于整个网络是否重要。核心发现有如下两点： 可解释的神经元（例如“猫神经元”）并不比难以解释的神经元更重要。 泛化性良好的网络对于
选自DeepMind 机器之心编译 近日，DeepMind 发表博客介绍其对神经网络可解释性的最新研究成果。受神经科学启发，他们通过删除神经元来探索其对网络性能的影响。研究发现，和过去的经验直觉相反，选择性神经元（如「猫神经元」）对于网络的泛化能力并不重要。而某些行为难以理解的非选择性神经元却是不可或缺的。此外，作者还对比了泛化好和记忆好的网络对删除操作的响应行为。 深度神经网络由很多独立的神经元组成，这些神经元以一种复杂而反直觉的方式结合，从而完成一系列的挑战性任务。这一复杂性保证了神经网络的效力，但也使
【编者按】在解决视觉、听觉问题方面表现出色的深度学习系统中，分类器和特征模块都是自动学习的，神经网络可解释性问题就成了一个灰色区域，思考这个问题对神经网络效率的保证是有必要的。在这篇博客文章中，机器学习PhD、软件架构师Adnan Masood针对这个问题进行了多方面的反思。 深度学习的成就 在昨天与软件架构师David Lazar关于“how everything old is new again”的讨论中，我们讨论到了关于深度神经网络及其优越效果方面的话题。一个人如果不是与世隔绝5年，那么他一定会发现我
可解释性仍然是现代深度学习应用的最大挑战之一。计算模型和深度学习研究的最新进展使我们能够创建极度复杂的模型，包括数千隐藏层和数千万神经元。效果惊人的前沿深度神经网络模型构建相对简单，但了解这些模型如何创造和使用知识仍然是一个挑战。
深度学习是人工智能领域的一个重要分支，它利用神经网络模拟人类大脑的学习过程，通过大量数据训练模型，使其能够自动提取特征、识别模式、进行分类和预测等任务。近年来，深度学习在多个领域取得了显著的进展，尤其在自然语言处理、计算机视觉、语音识别和机器翻译等领域取得了突破性的进展。随着算法和模型的改进、计算能力的提升以及数据量的增长，深度学习的应用范围不断扩大，对各行各业产生了深远的影响。
循环神经网络（1997）和卷积神经网络（2012）：擅长处理图像等欧式数据或者文本和信号等序列数据
选自Analytics India 作者：Richa Bhatia 机器之心编译 《欧盟一般数据保护条例》（General Data Protection Regulation，GDPR）是 20 年来数据隐私条例的最重要变化，它将取代《欧盟个人资料保护指令》95/46/EC，并将协调全欧洲的数据隐私法律，为所有欧盟民众保护和授权数据隐私，并将重塑整个地区的数据隐私保护形式。在 GDPR 中，有关「算法公平性」的条款要求所有公司必须对其算法的自动决策进行解释，这意味着目前大量 AI 应用依赖的深度学习算法不
了解人工智能的进步，这将对未来产生巨大的影响： 人工智能是前沿和中心，商界和政府领导人正在思考正确的举措。但是在实验室里发生了什么呢？在实验室里，学术和企业研究人员的发现将为未来一年乃至更长的时间设定
感知（模式识别）是从传感数据判断模式的存在、类别，给出结构描述和关系描述的过程。目前以深度神经网络为主的模式识别方法只解决了初级感知（检测、分类）问题，属于高级感知层面的结构和关系理解已有一些研究进展但还没有解决，而结合知识进行模式识别和理解并把结果用于决策规划则属于高级认知的范畴，是未来要加强研究的方向。 作者 | 杏花 编辑 | 青暮 今年10月12日，2021中国人工智能大会（CCAI 2021）在成都正式启幕，23位中外院士领衔，近百位学术技术精英共聚西南人工智能新高地，深入呈现人工智能学术研究，以
了解人工智能的进步，这将对未来产生巨大的影响： 人工智能是前沿和中心，商界和政府领导人正在思考正确的举措。但是在实验室里发生了什么呢?在实验室里，学术和企业研究人员的发现将为未来一年乃至更长的时间设定
选自DeepMind 机器之心编译 最近，DeepMind 在 JAIR 上发表论文《Learning Explanatory Rules from Noisy Data》，表明将直观感知思维和概念可解释性推理思维整合到单个系统中是可能的。他们介绍的系统∂ILP 对噪声数据具备鲁棒性，且可以高效地利用数据，并生成可解释的规则。 假设你在踢足球，足球到了你脚下，你决定把球传给无人盯防的前锋。看似一个简单的动作其实需要两种不同类型的思维。 首先，你识别到脚下有一颗足球，这需要直观感知思维，你无法清晰地表达你是如
大数据文摘授权转载自AI科技评论 作者 | Walid S. Saba 编译 | Antonio 编辑 | 陈彩娴 美国东北大学体验式人工智能研究所的高级研究科学家 Walid S. Saba 从组合语义的角度出发，提出一个观点：深度学习无法构造一个可逆的组合语义，所以它无法实现可解释AI。 可解释AI(XAI) 随着深度神经网络 (DNN) 用于决定贷款批准、工作申请、批准法院保释等与人们利益息息相关或者一些生死攸关的决定（例如在高速公路上突然停车），去解释这些决定，而不仅仅是产生一个预测分数，是至关重要
从搜索引擎到自动驾驶汽车，人工智能已经进入了我们的日常生活。这与近年来计算能力的巨大提升有关。但是，最新的人工智能研究成果表明，更简单、更小的神经网络可以比以前更好、更高效、更可靠得解决特定任务。
美国东北大学体验式人工智能研究所的高级研究科学家 Walid S. Saba 从组合语义的角度出发，提出一个观点：深度学习无法构造一个可逆的组合语义，所以它无法实现可解释AI。 作者 | Walid S. Saba 编译 | Antonio 编辑 | 陈彩娴 1 可解释AI （XAI） 随着深度神经网络 (DNN) 用于决定贷款批准、工作申请、批准法院保释等与人们利益息息相关或者一些生死攸关的决定（例如在高速公路上突然停车），去解释这些决定，而不仅仅是产生一个预测分数，是至关重要的。 可解释人工智能 (X
可解释性仍然是现代深度学习应用的最大挑战之一。计算模型和深度学习研究领域近期取得了很大进展，创建了非常复杂的模型，这些模型可以包括数千个隐藏层、数千万神经元。虽然创建高级深度神经网络相对简单，但理解如何创建这些模型以及它们如何使用知识仍然是一个挑战。最近，谷歌大脑（Google Brain）团队发表了一篇论文《Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)》，提出一种叫作「概念激活向量」（Concept Activation Vectors，CAV）的新方法，为深度学习模型的可解释性提供了全新视角。
近日，我院晏星老师联合李占清教授、赵传峰教授及其合作者在深度学习模型的可解释性研究中取得重要进展。作为人工智能模型的一种，深度学习模型一直被认为是“暗箱”算法，尽管它精度很高，但其可解释性与其它模型相比是最差的（图1）。
选自arXiv 机器之心编译 参与：刘晓坤、黄小天 近日，针对泛化能力强大的深度神经网络（DNN）无法解释其具体决策的问题，深度学习殿堂级人物 Geoffrey Hinton 等人发表 arXiv 论文提出「软决策树」（Soft Decision Tree）。相较于从训练数据中直接学习的决策树，软决策树的泛化能力更强；并且通过层级决策模型把 DNN 所习得的知识表达出来，具体决策解释容易很多。这最终缓解了泛化能力与可解释性之间的张力。 深度神经网络优秀的泛化能力依赖于其隐藏层中对分布式表征的使用 [LeCu
---- 新智元报道 作者：吴悦 连肇瑞 审核：吕子钰 编辑：LRS 【新智元导读】近日，来自中科院深圳先进院的团队提出了知识增强图神经网络（KEGNN）实现可解释性推荐。定量和定性的结果表明，KEGNN优于现有的方法，在提供精准推荐结果的同时生成人类可读的推荐解释。 近年来，以大数据和深度学习为基础的人工智能展示了卓越的计算能力和学习能力。但深度学习模型通常包含深度嵌套的非线性结构，很难确定具体哪些因素使它做出这样的决定，缺乏决策的可解释性和透明度。 与此同时，由于可解释的建议不仅提高了推荐系统
原标题 | This New Google Technique Help Us Understand How Neural Networks are Thinking
神经网络作为深度学习的核心组件，一直以来都在不断演化和发展。从最早的感知机到如今的复杂卷积神经网络和Transformer模型，神经网络架构的进展不仅在计算机视觉、自然语言处理等领域取得了显著成果，也在推动人工智能技术向前迈进。本文将探讨神经网络架构的最新进展、应用领域以及未来面临的挑战。
AI科技评论按：深度神经网络由许多单独的神经元组成，它们以复杂且违反人直觉的方式组合起来，以解决各种具有挑战性的任务。这种复杂性一方面赋予神经网络神秘力量，另一方面，也让它们变成了人类难懂的黑匣子。 了解神经网络的深层功能对于解释它们是如何做决定至关重要，并且能帮我们构建更强大的系统。就像，你不了解各个齿轮如何配合工作，你在试图做一个钟表时就很困难。 要想理解神经科学和深度学习中的神经网络，一种方法是弄清单个神经元的作用，尤其是那些易于解释的神经元。 DeepMind 最新的一篇关于神经网络学习的论文《On
深度学习的基本原理和算法主要涉及神经网络和反向传播算法。以下是深度学习的基本原理和算法：
深度学习发展到今天，很大程度上依然是一个「实验主导」的、「先有实验结果再找可能解释」的学科。对实验结果的理论解释，争议不断，而且随着时间的推移，研究者们给出的解释也不断在发展——换言之，这是一个尚未出现坚实理论基础的学科。
摘要：对于可信图神经网络（Trustworthy Graph Neural Networks）在隐私（privacy），鲁棒性（robustness）， 公平（fairness）和可解释性（explainability） 的研究工作，我们进行了系统的梳理和讨论。对于可信赖所要求的各个方面，我们将现有概念和方法归类并提炼出各类的通用框架。同时我们也给出了代表性工作和前沿方法的具体细节。对于未来的工作方向，我们也进行了探讨。
大数据文摘转载自数据实战派 2020年2月，随着 COVID-19在全球迅速传播且抗原检测难以获得，一些医生转向人工智能(AI)来尝试诊断病例。一些研究人员采用深度神经网络通过查看X射线和胸部计算机断层扫描(CT)扫描来快速区分患有COVID-19肺炎的人和未患肺炎的人。 “在COVID-19大流行的早期，人们竞相构建工具，尤其是AI工具来提供帮助”，西雅图华盛顿大学的计算机工程师Alex DeGrave说，“但研究人员并没有注意到许多人工智能模型已经决定走一些捷径” 。 AI通过分析被标记为COVID-1
本文介绍由丹娜-法伯癌症研究院等研究机构联合发表于Nature上的工作。作者开发了一个有生物学依据的深度学习模型P-NET，可以利用分子数据预测癌症状态，其性能优于其他建模方法。此外，P-NET的生物学可解释性揭示了既定的和新的变异分子，如MDM4和FGFR1，可以预测晚期疾病。广义上讲，有生物学依据的、完全可解释的神经网络使前列腺癌的临床前发现和临床预测成为可能，并且可能在各种癌症类型中具有普遍适用性。
来源：数据实战派本文约4200字，建议阅读8分钟机器学习模型的决策过程通常被学者称为黑匣子。 2020年2月，随着 COVID-19在全球迅速传播且抗原检测难以获得，一些医生转向人工智能(AI)来尝试诊断病例。一些研究人员采用深度神经网络通过查看X射线和胸部计算机断层扫描(CT)扫描来快速区分患有COVID-19肺炎的人和未患肺炎的人。 “在COVID-19大流行的早期，人们竞相构建工具，尤其是AI工具来提供帮助”，西雅图华盛顿大学的计算机工程师Alex DeGrave说，“但研究人员并没有注意到许多人工
今天给大家介绍瑞士苏黎世联邦理工学院化学与应用生物科学系 Gisbert Schneider等人在Nature Machine Intelligence上发表的文章“Drug discovery with explainable artificial intelligence”。本文综述总结了可解释人工智能最突出的算法概念，并预测了未来的机会、潜在的应用以及一些剩余的挑战。希望能为可解释人工智能技术的发展和接受做出更多的努力。
课题组投稿ICML 2021的论文，在4个评审都给出了接收意见的情况下，被领域主席（AC）一票否决了。
在科技日新月异的今天，深度学习作为人工智能领域的一颗璀璨明珠，正在引领着技术创新的浪潮。它通过模拟人类大脑的神经网络结构，让机器具备了强大的学习和推理能力。随着计算资源的不断提升和算法的不断优化，深度学习已经在许多领域取得了令人瞩目的成就，为人类生活带来了极大的便利。
不以人类可以理解的方式给出的解释都叫耍流氓，因此，我们要让模型「说人话」。只要记住这三个字，你就差不多把握了可解释性的精髓所在。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
