XAI——可解释的人工智能

编辑 | KING 发布 | ATYUN订阅号

机器学习的成功促进了人工智能应用的新潮流，这些应用为各个领域提供了广泛的好处。但是，许多AI系统无法向人类用户解释其自主决策和行动。对于某些AI应用程序，解释可能不是必需的，并且一些AI研究人员认为，对解释的强调是放错了位置，太难实现甚至可能是不必要的。然而，在国防、医药、金融、法律等许多关键应用，解释是必要的，便于用户理解，信任，并有效地管理这些新的人工智能伙伴。

人工智能的最新进展很大程度上归功于以内部表示构造模型的新机器学习技术。这些包括支持向量机（SVM）、随机森林、概率图形模型、强化学习（RL）和深度学习（DL）神经网络。尽管这些模型表现出很高的性能，但在可解释性方面却是不透明的。机器学习性能（例如预测准确性）与可解释性之间可能存在内在冲突。通常，性能最高的方法（例如DL）是最难以解释的，而最具解释性的（例如决策树）则是最不准确的。

什么是XAI？

可解释的AI（XAI）系统的目的是通过提供解释使人类的行为更易于理解。有一些通用原则可以帮助创建有效的，更易于理解的AI系统：XAI系统应该能够解释其功能和理解，解释它做了什么，现在正在做什么以及接下来将发生什么，并公开其作用的显着信息。

但是，每种解释都是在取决于AI系统用户的任务，能力和期望的上下文中进行的。因此，可解释性和可解释性的定义取决于领域，并且不能独立于领域进行定义。解释可以全部或部分。完全可解释的模型给出完整而完全透明的解释。部分可解释的模型揭示了其推理过程的重要部分。可解释的模型服从根据域定义的“可解释性约束”（例如，关于某些变量和相关变量的单调性服从特定的关系），而黑匣子或不受约束的模型则不一定服从这些约束。

用户的期望

XAI假定根据AI系统的决策，建议或操作向最终用户提供了解释，但是可能存在许多不同类型的用户，通常在系统开发和使用的不同时间点。例如，一种类型的用户可能是情报分析师，法官或操作员。但是，其他需要解释系统的用户可能是开发人员或测试操作人员，他们需要了解可能需要改进的地方。但是，另一个用户可能是决策者，他们正在尝试评估系统的公平性。每个用户组可以具有首选的解释类型，该解释类型能够以最有效的方式传达信息。有效的解释将考虑系统的目标用户组，他们的背景知识和对所要解释内容的需求可能会有所不同。

解释性—评估和测量

已经提出了许多评估和衡量解释有效性的方法。但是，目前尚没有测量XAI系统是否比非XAI系统更能使用户理解的通用方法。从用户的角度来看，这些度量中的一些是主观度量，例如用户满意度，可以通过对说明的清楚性和实用性进行主观评估来度量。更有效率的客观解释可能是任务执行；即，说明是否改善了用户的决策能力？可靠，一致地衡量解释的影响仍然是一个开放的研究问题。XAI系统的评估和衡量包括评估框架，共同点，常识和论证。

从以人为本的研究角度来看，对能力和知识的研究可以使XAI超越解释特定XAI系统并帮助其用户确定适当信任的角色。将来，XAI最终可能会扮演重要的社会角色。这些角色不仅可以包括向个人学习和解释，还可以与其他代理进行协调以连接知识，发展跨学科的见解和共同点，与人和其他代理进行教学合作以及利用先前发现的知识来加速进一步的发现和发展。应用知识。从知识理解和生成的这种社会角度来看，XAI的未来才刚刚开始。

END