【新智元导读】人们对深度学习模型的真正运行机制还远远没有完全了解,如何提高预测模型的“可解释性”成了一个日益重要的话题。近来的一篇论文讨论了机器学习模型的“可解释性”的概念及其重要意义。
导读:为了解决模型的“黑盒”问题,科学家们提出了可解释机器学习。除了预测的精准性之外,可解释性也是机器学习模型是否值得信赖的重要衡量标准。
来源:新智元本文共10000字,建议阅读15分钟本文本文探索XRL的基础性问题,并对现有工作进行综述。 强化学习是一种从试错过程中发现最优行为策略的技术,已经成为解决环境交互问题的通用方法。 然而,作为一类机器学习算法,强化学习也面临着机器学习领域的公共难题,即难以被人理解。缺乏可解释性限制了强化学习在安全敏感领域中的应用,如医疗、驾驶等,并导致强化学习在环境仿真、任务泛化等问题中缺乏普遍适用的解决方案。 为了克服强化学习的这一弱点,涌现了大量强化学习可解释性(Explainable Reinforcem
强化学习是一种从试错过程中发现最优行为策略的技术,已经成为解决环境交互问题的通用方法。
不以人类可以理解的方式给出的解释都叫耍流氓,因此,我们要让模型「说人话」。只要记住这三个字,你就差不多把握了可解释性的精髓所在。
在科学研究中,从方法论上来讲,都应“先见森林,再见树木”。当前,人工智能学术研究方兴未艾,技术迅猛发展,可谓万木争荣,日新月异。对于AI从业者来说,在广袤的知识森林中,系统梳理脉络,才能更好地把握趋势。为此,我们精选国内外优秀的综述文章,开辟“综述专栏”,敬请关注。
AI 研习社按:本文为 BIGSCity 的知乎专栏内容,作者王小贱。北航智慧城市兴趣组 BIGSCITY是隶属于北京航空航天大学计算机学院的一个学术研究小组,小组致力于研究机器学习与数据挖掘在城市科学、社会科学等领域的交叉应用技术。AI 科技评论获得 BIGSCity 授权转载,敬请期待更多后续内容。
可解释性人工智能 PART.01 概述 1 可解释性人工智能(XAI)定义 随着机器学习和人工智能技术在各个领域中的迅速发展和应用,向用户解释算法输出的结果变得至关重要。人工智能的可解释性是指人能够理解人工智能模型在其决策过程中所做出的选择,包括做出决策的原因,方法,以及决策的内容[1]。简单的说,可解释性就是把人工智能从黑盒变成了白盒。 2 研究的作用 可解释性是现在人工智能在实际应用方面面临的最主要的障碍之一。人们无法理解或者解释为何人工智能算法能取得这么好的表现。可解释性人工智能模型的作用
可解释性通常是指使用人类可以理解的方式,基于当前的业务,针对模型的结果进行总结分析;
传统网络安全威胁分析依赖专家知识及基本的数据分析,然而随着攻击技术的复杂化、安全数据接入的多元化,高性能人工智能技术越来越多的应用到威胁分析中,试图解放安全行业的生产力。更复杂的模型往往具备高知识容量,能够支持大规模、高维非线性数据的分析,于此同时,其内部表示学习过程、决策过程愈发不可解释,执行逻辑难以被人类直观理解,逐渐成为“黑盒”模型,反而降低了安全应用的智能化、自动化程度。
解释性AI,也称为XAI(Extended AI),是一种综合了多种AI技术的智能系统或工具,旨在帮助人们理解和解释数据、信息和知识,以辅助决策制定。XAI可以应用于各种领域,包括但不限于预测分析、风险评估、医疗保健、教育、人力资源、项目管理等。
有监督的机器学习模型往往具有显著的预测能力,很多学术文献为解释性提供了多样的、有时是稍有矛盾的描述,并提供了很多的技术来呈现可解释的模型。可解释性的定义并不明确,但是,人们还是都宣称他们的模型是可解释,尽管没有进一步的论据。问题在于,我们目前还不清楚这些关于模型可解释性技术的共同特性到底是什么。
图神经网络因其对图结构数据的强大表达能力而受到越来越多的关注,但它们仍然因为缺乏可解释性而受到质疑。当前可解释性人工智能方法受限于数据集,仅在社交网络等现实世界数据集上进行定性评估,缺少定量评估和比较。同时,可解释性方法生成的解释是否达到预期目的并提供可靠的答案也仍待探索。中山大学杨跃东教授团队联合星药科技研发团队在Cell Press旗下Patterns期刊发表了题为“Quantitative evaluation of explainable graph neural networks for molecular property prediction”的文章,该研究建立了五个分子可解释性基准数据集,定量评估了六种常用的可解释性方法与四种图神经网络模型的组合,并与药物化学家在可解释性任务上进行了直接比较。这是首次将可解释性方法与人类专家在可解释性任务上进行定量实验比较的研究。同时,基于模型学到的解释,研究人员开发了一种数据驱动的分子结构指纹,可作为分子属性预测中经典分子指纹的补充。相关成果[1]已于11月正式发表。
可解释人工智能 (XAI) 致力于开发对人类(包括用户、开发人员、政策制定者和审计人员)来说本质上更容易理解的人工智能模型。神经符号计算 (NSC) 处理将子符号学习算法与符号推理方法相结合。因此,我们可以断言神经符号计算是可解释人工智能下的一个子领域。NSC 也是最适用的方法之一,因为它依赖于结合现有的方法和模型。
AI研究与应用不断取得突破性进展,然而高性能的复杂算法、模型及系统普遍缺乏决策逻辑的透明度和结果的可解释性,导致在涉及需要做出关键决策判断的国防、金融、医疗、法律、网安等领域中,或要求决策合规的应用中,AI技术及系统难以大范围应用。XAI技术主要研究如何使得AI系统的行为对人类更透明、更易懂、更可信。
【导读】我们知道,近年来机器学习,特别是深度学习在各个领域取得了骄人的成绩,其受追捧的程度可谓是舍我其谁,但是有很多机器学习模型(深度学习首当其冲)的可解释性不强,这也导致了很多论战,那么模型的可解释
最近,这本名为《可解释性的机器学习》书在推特火了起来,两天内2千多人点赞,将近700人转发。
随着自然语言处理(NLP)领域的不断发展,对于模型的可解释性和公平性的关注逐渐增加。可解释性是指模型的决策过程能够以人类可理解的方式被解释,而公平性则涉及确保模型对不同群体的用户都能提供公正的结果。本文将深入讨论在NLP中应用可解释性和公平性的重要性,并通过实例展示如何通过技术手段推动智能系统更加透明和公正。
可解释性仍然是现代深度学习应用的最大挑战之一。计算模型和深度学习研究领域近期取得了很大进展,创建了非常复杂的模型,这些模型可以包括数千个隐藏层、数千万神经元。虽然创建高级深度神经网络相对简单,但理解如何创建这些模型以及它们如何使用知识仍然是一个挑战。最近,谷歌大脑(Google Brain)团队发表了一篇论文《Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)》,提出一种叫作「概念激活向量」(Concept Activation Vectors,CAV)的新方法,为深度学习模型的可解释性提供了全新视角。
可解释性仍然是现代深度学习应用的最大挑战之一。计算模型和深度学习研究的最新进展使我们能够创建极度复杂的模型,包括数千隐藏层和数千万神经元。效果惊人的前沿深度神经网络模型构建相对简单,但了解这些模型如何创造和使用知识仍然是一个挑战。
作者 | 王小贱(被编程耽误的设计师,热爱产品的数据民工) 来源 | BIGSCity知乎专栏 《深度学习的可解释性研究》系列文章希望能用尽可能浅显的语言带领大家了解可解释性的概念与方法,以及关于深度学习可解释性工作的研究成果。本文是该系列的第一部分。 01 深度学习的可解释性研究(一) 让模型具备说人话的能力 ▌可解释性是什么? 广义上的可解释性指在我们需要了解或解决一件事情的时候,我们可以获得我们所需要的足够的可以理解的信息。 比如我们在调试bug的时候,需要通过变量审查和日志信息定位到问题出在哪里。
近年来,可解释AI(eXplainable AI,XAI)是人工智能的一个热门方向,相关研究内容呈现快速增长趋势。在众多可解释AI相关开源工具中,微软的interpret是一个功能比较全面、展示效果较好的代表,个人在学习了interpret文档后,发现其一个demo中用到的数据集为Adult数据集——一个用于预测个人年收入是否大于50K(单位:$)的人口普查数据集。所以,刚好用interpret来分析一下,影响年薪收入的因素都有哪些,以及影响程度如何!
广义上的可解释性指在我们需要了解或解决一件事情的时候,我们可以获得我们所需要的足够的可以理解的信息。比如我们在调试bug的时候,需要通过变量审查和日志信息定位到问题出在哪里。比如在科学研究中面临一个新问题的研究时,我们需要查阅一些资料来了解这个新问题的基本概念和研究现状,以获得对研究方向的正确认识。反过来理解,如果在一些情境中我们无法得到相应的足够的信息,那么这些事情对我们来说都是不可解释的。比如刘慈欣的短篇《朝闻道》中霍金提出的“宇宙的目的是什么”这个问题一下子把无所不知的排险者卡住了,因为再高等的文明都没办法理解和掌握造物主创造宇宙时的全部信息,这些终极问题对我们来说永远都是不可解释的。
注意力机制在 NLP 系统中起着重要作用,尤其是对于循环神经网络(RNN)模型。那么注意力模块提供的中间表征能否解释模型预测的推理过程,进而帮助人们了解模型的决策过程呢?近期,很多研究人员对这个话题产生了浓厚的兴趣。一篇题目为《Attention is not Explanation》(Jain and Wallace, 2019) 的论文表示,注意力机制并不能提高模型的可解释性。
原标题 | This New Google Technique Help Us Understand How Neural Networks are Thinking
2020 年 6 月,杜克大学一项发表在 AI 顶会 CVPR 的研究曾经引发人们的讨论热潮。一个名为 PULSE 的人工智能算法可以把加了马赛克的人脸照片恢复成清晰的面部图像。
通过路径级别的网络变换(path-level transformation)、树形的架构搜索空间和树形的RL元控制器,可以在同样性能的情况下将AutoML的硬件算力节省240倍(48000 GPU-hours v.s. 200 GPU-hours)。在CIFAR-10和ImageNet(移动设置)上获得了更好的结果。
微软在可解释机器学习项目 InterpretML 的 GitHub 页面上这样写到。很显然,他们相信 InterpretML 会是打开机器学习黑箱的钥匙。
一般规律中,模型的复杂度和准确性往往是正相关的关系,而越高的复杂度也意味着模型越可能无法实现可解释性。那 AI 模型的准确性和可解释性就无法并存了吗?
机器之心分析师网络 作者:Jiying 编辑:H4O 本文结合《Explanation decisions made with AI》指南,重点对算法的应用场景和可解释性分析进行了梳理总结。 英国的 Information Commissioner’s Office (ICO)和 The Alan-Turing Institute 联合发布了《Explanation decisions made with AI》指南。该指南旨在为机构和组织提供实用建议,以帮助向受其影响的个人解释由 AI 提供或协助的程序
AI 研习社:本文作者 Cody Marie Wild,不仅是一位机器学习领域的数据科学家(目前任职 phos 公司),在生活中还是名不折不扣的猫咪铲屎官,她钟爱语言和简洁优美的系统,与此同时,Cody Marie Wild还标榜自己是一位专业求知欲者。
我曾经介绍过一本不错的书籍:《A Gudie for Making Black Box Models Explainable》,中文译为《可解释机器学习》。这本书是关于使机器学习模型和他们的决定变得可解释。
随着深度学习在金融、医疗等领域的不断落地,模型的可解释性成了一个非常大的痛点,因为这些领域需要的是预测准确而且可以解释其行为的模型。然而,深度神经网络缺乏可解释性也是出了名的,这就带来了一种矛盾。可解释性人工智能(XAI)试图平衡模型准确率与可解释性之间的矛盾,但 XAI 在说明决策原因时并没有直接解释模型本身。
「学习出一个通用智能行动者的潜力和局限性,算法公平方面细微的以及可以被真正规范化的挑战,以及现在的热门话题:能向人类解释、能被人类理解对模型来说意味着什么?」
但是AI一直黑箱问题存在,如果AI对过程都不能做到可解释,又怎么能放心让它来诊断病患呢。而关于机器学习可解释问题的书籍少之又少。
这本书向你解释了怎样让机器学习模型可解释,这章中包含了一些数学公式,但是即使没有这些公式,你也应该能够理解这些方法的思想。这本书并不适合于初学机器学习的同学,如果你是初学者,建议你去看下面这些内容,
过去几年来,人工智能研究人员在图像识别、自然语言理解和棋类等领域取得了重大突破。但由于缺乏对复杂机器学习模型的真正理解,导致模型在传播时出现了偏见,这种偏见在零售、面部识别和语言理解等领域的应用中出现了多次。
📷 来源:DeepHub IMBA本文约1500字,建议阅读5分钟本文为你介绍6个用于可解释性的Python框架。 随着人工智能的发展为了解决具有挑战性的问题,人们创造了更复杂、更不透明的模型。AI就
可解释性是深度学习中最具挑战性的方面之一。理解一个神经网络,它有成千上万的神经元分布在数千个隐藏层中。大多数深层神经网络的互联性和复杂性使其不适合于传统的调试工具。
通过Self-Attention和Co-Attention机制,Transformer在多个多模态下游任务中达到了SOTA的性能。这些注意模块也在其他计算机视觉任务中发挥了作用,包括目标检测和图像分割等任务。与只使用Self-Attention的Transformer不同,具有Co-Attention的Transformer需要并行考虑多个Attention Map,以突出模型输入与预测的相关性。
你是否也好奇,在大模型时代,可解释性人工智能技术(XAI)有怎样的使用价值?近日,来自佐治亚大学、新泽西理工学院、弗吉尼亚大学、维克森林大学、和腾讯 AI Lab 的研究者联合发布了解释性技术在大语言模型(LLM)上的可用性综述,提出了 「Usable XAI」 的概念,并探讨了 10 种在大模型时代提高 XAI 实际应用价值的策略。
📷 来源:DeepHub IMBA本文约1700字,建议阅读5分钟在本文中,将介绍6个用于机器学习可解释性的Python框架。 随着人工智能的发展为了解决具有挑战性的问题,人们创造了更复杂、更不透明的
随着人工智能的发展为了解决具有挑战性的问题,人们创造了更复杂、更不透明的模型。AI就像一个黑匣子,能自己做出决定,但是人们并不清楚其中缘由。建立一个AI模型,输入数据,然后再输出结果,但有一个问题就是我们不能解释AI为何会得出这样的结论。需要了解AI如何得出某个结论背后的原因,而不是仅仅接受一个在没有上下文或解释的情况下输出的结果。
AI一路发展至今,对其不信任的言论始终如影随形,究其根源,还是由于人们对AI在决策过程中的不了解引起的。
整个医疗保健链中的利益相关者正在寻求将人工智能(AI)纳入其决策过程。从早期药物开发到临床决策支持系统,已经看到了AI如何提高效率和降低成本的示例。本文讨论了应优先考虑的一些关键因素,以使AI在整个医疗保健价值链中成功集成。特别是,研究者认为对模型的可解释性的关注对于深入了解潜在的生物学机制并指导进一步的研究至关重要。此外,讨论了在任何AI框架中集成各种类型的数据以限制偏差,提高准确性并为医学的跨学科性质建模的重要性。
过去(包括现在),我们经常能在很多数据分析或BI产品上看到:在稀稀落落的散点图上,顺势一划,勾勒出一条曲线,再在横向时间轴上延展若干时间跨度,然后有人就告诉你——“喏!这就是你想要的预测!”。
近年来,对深度神经网络可解释性和可解释性方法的研究和探索已经取得了很大进展。目前,人工智能正被越来越多的关键任务部门所接受。但是应用在这些关键性人物的深度学习或基于人工智能的系统,哪怕是最轻微的计算错误,都可能导致信任丧失、金钱损失、社会经济稳定甚至人命损失。
近年来, 深度学习在图像分类、目标检测及场景识别等任务上取得了突破性进展, 这些任务多以卷积神经网络为基础搭建识别模型, 训练后的模型拥有优异的自动特征提取和预测性能, 能够为用户提供“输入–输出”形式的端到端解决方案. 然而, 由于分布式的特征编码和越来越复杂的模型结构, 人们始终无法准确理解卷积神经网络模型内部知识表示, 以及促使其做出特定决策的潜在原因. 另一方面, 卷积神经网络模型在一些高风险领域的应用, 也要求对其决策原因进行充分了解, 方能获取用户信任. 因此, 卷积神经网络的可解释性问题逐渐受到关注. 研究人员针对性地提出了一系列用于理解和解释卷积神经网络的方法, 包括事后解释方法和构建自解释的模型等, 这些方法各有侧重和优势, 从多方面对卷积神经网络进行特征分析和决策解释. 表征可视化是其中一种重要的卷积神经网络可解释性方法, 能够对卷积神经网络所学特征及输入–输出之间的相关关系以视觉的方式呈现, 从而快速获取对卷积神经网络内部特征和决策的理解, 具有过程简单和效果直观的特点. 对近年来卷积神经网络表征可视化领域的相关文献进行了综合性回顾, 按照以下几个方面组织内容: 表征可视化研究的提起、相关概念及内容、可视化方法、可视化的效果评估及可视化的应用, 重点关注了表征可视化方法的分类及算法的具体过程. 最后是总结和对该领域仍存在的难点及未来研究趋势进行了展望.
领取专属 10元无门槛券
手把手带您无忧上云