然而，在某些领域，例如在医学领域，有必要让领域专家理解，为什么算法得出了一定的结果。因此，可解释人工智能（xAI）领域迅速引起了全世界各个领域的兴趣，特别是在医学领域。...可解释的人工智能研究不透明人工智能/机器学习的透明度和可追溯性，并且已经有各种各样的方法。例如，通过逐层相关性传播，可以突出显示引起结果的神经网络的输入的相关部分和神经网络中的表示。...这是确保最终用户（例如医疗专业人员）承担人工智能/机器学习决策责任并引起专业人士和监管机构兴趣的第一个重要步骤。...交互式机器学习将人类专业知识的组成部分添加到人工智能/机器学习流程中，使他们能够重新制定和追溯人工智能/机器学习结果，例如让他们检查其合理性。这需要新的人机交互界面来实现可解释的人工智能。...为了构建有效且高效的人机交互界面，我们必须解决以下问题：如何评估可解释的人工智能系统给出的解释的质量。在本文中，我们介绍了系统因果关系量表来衡量解释的质量。
原文题目：On the Semantic Interpretability of Artificial Intelligence Models 摘要：人工智能模型正变得越来越强大和准确，支持甚至取代人类的决策...但是，随着功能和准确性的提高，也带来了更高的复杂性，使得用户很难理解该模型是如何工作的，以及其预测背后的原因是什么。...人类必须解释和证明他们的决定，在这个过程中支持他们的人工智能模型也是如此，使语义解释成为一个新兴的研究领域。...在本工作中，我们从更广泛的角度来看待可解释性，超越了机器学习的范围，涵盖了分布语义和模糊逻辑等不同的人工智能领域。...我们根据模型的性质对模型进行检查和分类，并根据它们如何引入可解释特性，分析每种方法如何影响最终用户，并指出仍然需要解决的差距，以提供更多以人为中心的可解释性解决方案。
编辑 | KING 发布 | ATYUN订阅号 机器学习的成功促进了人工智能应用的新潮流，这些应用为各个领域提供了广泛的好处。但是，许多AI系统无法向人类用户解释其自主决策和行动。...然而，在国防、医药、金融、法律等许多关键应用，解释是必要的，便于用户理解，信任，并有效地管理这些新的人工智能伙伴。 人工智能的最新进展很大程度上归功于以内部表示构造模型的新机器学习技术。...通常，性能最高的方法（例如DL）是最难以解释的，而最具解释性的（例如决策树）则是最不准确的。 ? 什么是XAI？ 可解释的AI（XAI）系统的目的是通过提供解释使人类的行为更易于理解。...完全可解释的模型给出完整而完全透明的解释。部分可解释的模型揭示了其推理过程的重要部分。...每个用户组可以具有首选的解释类型，该解释类型能够以最有效的方式传达信息。有效的解释将考虑系统的目标用户组，他们的背景知识和对所要解释内容的需求可能会有所不同。 ?
深度学习（Deep Learning）:一种基于机器学习中的神经网络的算法。它模拟人脑，通过对大量数据进行训练，找到其中的规律。3....词嵌入（Word Embedding）:单词转换成词向量的过程，用于表征词与词之间的关系。Word2vec 和 GloVe 是常用的词嵌入方法。8....人工智能(Artificial Intelligence,AI):指通过计算机技术实现的智能行为和思维能力，包括机器学习、自然语言处理、计算机视觉等。12....人工智障(Artificial Stupidity,AS):指由于设计缺陷或程序错误而导致人工智能系统做出愚蠢的行为或错误的决策。15....对抗性攻击(Adversarial Attack):一种针对人工智能系统的恶意攻击方式，通过故意制造对抗样本来欺骗系统。深度学习路线1. 学习计算机基础知识。
来源：专知本文约800字，建议阅读5分钟可解释性AI是打开AI黑盒的解释性技术的实践指南。 可解释性AI是打开AI黑盒的解释性技术的实践指南。...本实用指南将前沿研究简化为透明和可解释的AI，提供实用的方法，您可以轻松地用Python和开源库实现。...所有这些都对信任产生不利影响，从我的经验来看，这是企业抵制在整个企业部署人工智能的主要原因之一。解释人工智能是研究和行业的一个热门话题，因为现代机器学习算法是黑盒，没有人真正了解它们是如何工作的。...此外，在GDPR的“解释权”下，欧盟现在有解释人工智能的规定。因此，对于人工智能从业者来说，可解释性人工智能是一个非常重要的话题。...本书旨在通过提供对可解释性技术的简化解释，以及如何在Python中使用开放的公共数据集和库实现这些技术的实用指南，来填补这一空白。
可解释性AI是打开AI黑盒的解释性技术的实践指南。本实用指南将前沿研究简化为透明和可解释的AI，提供实用的方法，您可以轻松地用Python和开源库实现。...https://www.manning.com/books/interpretable-ai 随着图像识别、自然语言理解和桌面游戏等领域的突破，人工智能和机器学习正在彻底改变医疗、制造、零售和金融等各个行业...所有这些都对信任产生不利影响，从我的经验来看，这是企业抵制在整个企业部署人工智能的主要原因之一。解释人工智能是研究和行业的一个热门话题，因为现代机器学习算法是黑盒，没有人真正了解它们是如何工作的。...此外，在GDPR的“解释权”下，欧盟现在有解释人工智能的规定。因此，对于人工智能从业者来说，可解释性人工智能是一个非常重要的话题。...构建一个健壮的人工智能系统的过程 本书共分四部分，共九章。
但是生成这些类型的解释——即创造可解释的人工智能——是非常复杂的，而且即便系统对决策做出了解释，也有一些评论家认为「无法分辨它们是真的反对偏见，还是仅仅是掩饰偏见。」...可解释的人工智能以及GDPR是否会使技术更公平？如果不是，随着机器学习的使用变得更加普遍，我们还有什么替代方法可以防范偏见？...而这就是可解释的人工智能的用武之地。如果操作人员能够检查「推理」算法，就有可能在算法产生严重偏差之前进行纠正。...所以当人们想验证决策正确性时并不会去扫描大脑，而是通过相关数据以及过往的经验判断。） 可解释的人工智能要求机器学习算法可以自己证明决策的正确性。...更好的解释这些算法决策并加以监督，显然将有助于避免此类不良结果。 人们还需要做什么 虽然可解释的人工智能和神经网络的特征归因很有发展前景，但消除人工智能的偏见最终会归结为一件事：数据。
可解释性人工智能 PART.01 概述 1 可解释性人工智能（XAI）定义 随着机器学习和人工智能技术在各个领域中的迅速发展和应用，向用户解释算法输出的结果变得至关重要。...人工智能的可解释性是指人能够理解人工智能模型在其决策过程中所做出的选择，包括做出决策的原因，方法，以及决策的内容[1]。简单的说，可解释性就是把人工智能从黑盒变成了白盒。...2 研究的作用 可解释性是现在人工智能在实际应用方面面临的最主要的障碍之一。人们无法理解或者解释为何人工智能算法能取得这么好的表现。可解释性人工智能模型的作用主要有： 1....可解释性人工智能能增加用户的信任度：用户知道了人工智能决策的依据之后，会更加信任人工智能所做出的政策。 3 应用领域 1....可解释性人工智能才刚处于起步阶段，拥有非常广阔的研究前景。相信在不远的未来，可解释性人工智能会引领人工智能技术进行一次新的突破。
摘要： 当代人工智能技术在给人类带来多方面福利的同时，面临黑箱、鲁棒性和可解释性等问题，发展值得信赖的可解释人工智能已成为人工智能领域的核心关切。...论文在论证可解释人工智能为什么重要的基础上，对可解释人工智能的内涵进行界定，进而提出发展可解释人工智能需遵循的一些原则，它们也可看作可解释人工智能需达致的目标和要求。...论文在论证人工智能的可解释性为什么重要的基础上，精确定义人工智能的可解释性，阐释可解释人工智能的核心关切或需要达致的目标，进而提出实现可解释人工智能途径的一些构想。...可解释性是可信赖人工智能的基础 关于人工智能可解释性的研究文献中有一个被大量引用的关于图像识别和分类的例子。...三、可解释人工智能的内涵 一般说来，可解释人工智能是指具有可理解性的（understandability）人工智能，它是人工智能模型的一种性质。
现代人工智能仍是一种新事物，在过去的5年，大型科技公司对于人工智能的投资和研究才刚刚开始。而在此之前，已有几十年历史的关于人工智能的理论最终在2012年得到了证实。...Kiri Wagstaff是JPL的一名人工智能研究人员和发言人，他说，由于每一个决定都带来了巨大的风险，在使用人工智能之前，我们需要完全理解它的每个决定。...——但前提是人工智能知道一个“有趣”的图像是什么样的。...解读能力 不过微软研究人员Wallach说，要在解释性语言能力上开辟新领域，最大的挑战之一就是怎样简单地定义它。...使用人工智能治疗推荐系统的医生是否需要知道为什么采用特定的建议治疗方案，或者说我们还需要在医院里创建另一个角色——人工智能监测人员？
人工智能已经成为新时代先进生产力的代表，受益于大数据、计算力和算法的飞跃，人工智能已经进入了几十年来发展的最好时期。 就像前几年政府倡导的“互联网+”一样，现在很多行业都在寻求“AI+”。...更可怕的是，猪崽被母猪压死的事故在任何一个猪场都是比较常见的。 除了网易和高盛在养猪以外，今年阿里巴巴也对外宣布要用人工智能技术来养猪了。 他们想要做的事情是，利用人工智能技术，提升养猪效率。...人工智能在公安行业的应用逐渐落地，使得在海量的视频信息中，快速发现犯罪嫌疑人的线索成为可能。...在人工智能界有个很有名的人叫吴恩达，他去年成立了一个叫Landing.AI的公司，号称专门要解决人工智能在制造业的落地问题。...▌医疗 关于人工智能在医疗领域的应用，在这里举一个医疗影像的案例，我对在医院当护士的二婶说。 甲状腺结节您一定了解吧？
当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。...由于缺乏可解释AI（XAI）的严格定义，开发了大量与可解释性、可解读性和透明度相关的研究，以从不同角度解释和分析模型。因此，面对一长串的论文，要全面了解XAI研究的所有方面变得具有挑战性。...先验解释努力开发用户可以直接理解的透明模型，无需额外的解释工具，例如，决策树 [69] 和决策规则 [31]。事后解释旨在通过利用输入特征与模型预测之间的关系来解释训练过的黑盒模型。...事后解释可以进一步分为模型解释 [13, 45]、结果解释 [70, 84] 和模型检查 [18, 23]。模型解释涉及使用在全局级别上可解释和透明的模型来近似黑盒模型的整体逻辑。...由于缺乏真实基准，特征归因方法可能会产生不同的解释，这导致了确定哪个解释更可信的挑战。基于梯度的解释是有意设计来满足某些公理化原则的，例如敏感性和完整性，确保产生合理且期望的解释。
这期间，在企业客户却也始终存在一种怀疑态度：AI系统做出的产品部署是否真的值得被信赖呢？ 在我看来，这也是企业人工智能要着力攻克的下一个难题。...实际上，客户对人工智能模型的精确度不是特别在意，他们更担心的是数据科学家们无法解释的一个问题：“我如何相信它做出的决策？” AI系统--我如何信任它们？...这就产生了人工智能的新兴分支，称为“可解释的人工智能”(XAI)。 什么是可解释的AI(XAI)XAI是人工智能的一个新兴分支，用于解释人工智能所做出的每一个决策背后的逻辑。...AI系统部署中的角色 要实现可解释AI，我认为关键不在于工具和技术，而在于人类在这些人工智能系统中所扮演的角色。...但对解释者来说，情况就不那么乐观了。人工智能/机器学习算法在本质上是著名的黑箱理论的一种，因为它的基于训练数据的大量非线性性质的权重和偏差的学习机制。因此，解释者的任务变得异常艰难。
它今后将朝着怎样的方向发展？ 这些问题都与人工智能系统的可解释性（Explainability）息息相关。 为什么人工智能需要可解释性？...而现有人工智能可解释性的研究成果揭示，基于数据驱动的人工智能系统决策机制，离取得人类信任这一终极目标，至少还存在机器学习决策机制的理论缺陷、机器学习的应用缺陷、人工智能系统未能满足合规要求三方面的差距。...新加坡及中国香港的金融监管部门，均要求使用金融科技的机构对其技术标准和使用方式进行审慎的内部管理，并对其用 户履行充分的告知和解释义务，确保金融产品消费者的知情权（更多金融行业可解释人工智能内容，参见《...可解释人工智能导论》一书第 7 章）。...虽然对人工智能可解释性的监管要求已经在法律和规章制度层面逐步完善，但如何将这些制度层面的规则具体细化落实为可实现的技术方案，仍是可解释人工智能亟待研究和解决的挑战。
总结与展望 01 背景意义 1.1 什么是可解释性？ 首先，什么是可解释性。由于可解释性人工智能、机器学习、神经网络等方兴未艾，可解释性的定义依旧没有准确的确定。...随着人工智能的发展，知识图谱开始应用于更多的场景，关注度不断攀升，成为认知智能领域的核心技术之一。最重要的是，知识图谱逐渐成为人工智能应用的强大助力。...对比右图，人工智能模型借助医疗生物领域知识图谱，例如基于路径得出的解释，显然比左图更容易理解、更有说服力。...决策树解释vs知识图谱解释 对于知识图谱在可解释人工智能上带来的优势，以及它们当前方法理论、限制以及机遇，Freddy Lecue博士在2020年的论文On the role of knowledge...而本文主要从两个方法-基于路径的方法以及基于嵌入的方法对知识图谱在人工智能中的研究进行一个概述。 02 基于路径的方法 基于路径的解释方法主要应用在推荐系统上较多。
原文题目：A Survey on Explainable Artificial Intelligence (XAI): Towards Medical XAI 摘要：近年来，人工智能尤其是机器学习在从图像处理到自然语言处理等多项任务中表现出了显著的效果...，尤其是随着深度学习的到来。...随着研究的进步，机器学习已经渗透到许多不同的领域和学科。其中一些问题，如医疗领域，需要高度的问责性和透明度，这意味着我们需要能够解释机器的决定、预测和证明它们的可靠性。...这需要更好的可解释性，这通常意味着我们需要理解算法背后的机制。不幸的是，深入学习的黑匣子性质仍未解决，许多机器决策仍然很难理解。...我们对不同的研究作品所建议的可解释性进行了回顾，并对它们进行了分类，目的是为将来采用可解释性标准提供更易于接受的替代视角。我们进一步探讨了可解释性在医学领域的应用，说明了可解释性问题的复杂性。
人工智能（AI）的发展带来了巨大的变革，但也引发了一系列的伦理和社会问题。在人工智能应用的过程中，我们需要思考如何确保其责任、公平性和可解释性，以保障社会的发展和稳定。...1.人工智能的责任人工智能系统的决策可能会影响到个人和社会的利益，因此人工智能的责任问题变得尤为重要。...监督和审查机制：建立监督和审查机制，监督人工智能系统的运行和决策过程，确保其公平性和合理性。3.人工智能的可解释性人工智能系统的决策过程往往是黑盒子，缺乏解释性，这给用户和社会带来了不确定性和担忧。...因此，提高人工智能系统的可解释性是解决这一问题的关键。具体做法包括：透明度和可追溯性：确保人工智能系统的决策过程透明、可追溯，用户和相关利益方能够理解其决策原因和依据。...可解释性算法：研究和开发可解释性算法，使人工智能系统的决策过程更易于理解和解释。用户参与和反馈：鼓励用户参与人工智能系统的设计和评估过程，收集用户反馈，提高系统的可解释性和用户满意度。
该研究通过将积分梯度可解释人工智能（XAI）方法应用于图神经网络模型，提高了理性分子设计的建模透明度，并基于四个药理学相关ADME终点的实验，验证了所提出的方法能够突出与已知药效团基序一致的分子特征和结构元素...其中，消息传递神经网络（MPNN，通常被称为图神经网络）在基于配体的分子性质预测方面表现出了良好的性能，但对已建立的化学语言缺乏可解释性，其在药物发现中的实用性和可接受性受到了限制，且其存在的Clever...“可解释的”人工智能（XAI）则旨在通过使机器学习方法的决策过程对于人类思维更加透明，从而克服其中的一些限制。...此外，为了解释非特异性分子相互作用，还包括一个全连通的神经网络子架构以计算物理化学特征。...模型可解释性评估 之前的研究通过评估原子贡献的可加性或通过将它们与合成生成的结构-活性关系进行比较来量化所提供的分子着色的质量进而验证可解释的机器学习模型。
让编译器做事： javac是java对外提供的一个命令，他的底层对应着一整套java编译程序，其实就是用这个命令启动了一个编译程序，编译.java文件，就是对java的原文件进行检查，检查原代码的正确性...该命令的作用是：调用JDK当中的给我们提供的叫做编译程序，javac的意思就是启动编译器。 若编译失败(即报错)是不可能生成类文件的。...让虚拟机做事： java的底层对应的程序是：虚拟机，启动虚拟机帮我运行一个类，即java Demo，是因为运行环境中才包含虚拟机。 ...它就去指定的位置去找名称为Demo.class的文件，找到后将其加载到内存(因为任何程序运行需要加载到内存里运行，因为硬盘的速度比较慢，所以硬盘会把数据都转移到内存这个临时存储区后由CUP来进行运算，内存是个大的临时存储空间...若没有配置classpath环境变量时，虚拟机就在该当前目录上查找要运行的类文件，若没有找着就报错。 若配置的话，虚拟机就在你配置的目录下查找要运行的类文件。
可解释的AI（XAI）一直是人们研究的一个方向，在这篇文章中，我们将看到如何使用LIME来解释一个模型是如何学习扑克规则的。...在上面的图表中，LIME认为第3张牌对分类的贡献最大(尽管是负贡献)。如果不使用可解释的AI，我们根本没法想到这是为什么。...研究为什么这个确切的特征触发了LIME模型是做进一步探索性数据分析的一个极好的切入点。 我们再继续研究另外一套： 使用LIME解释 可以看到牌的数字比花色对同花顺的分类贡献更大。...如果不使用可解释的AI，我们很容易忽略这一点，但通过使用LIME，我们可以确保自己的假设得到验证。 LIME帮助解释为什么模型会做出这样的预测。...但是它们的缺点就是可解释性较低。2016年引入了LIME作为解决黑箱模型不透明问题的方法。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
