Right for the Right Concept 交互解释符号Learning

CreateAMind

发布于 2023-09-01 08:32:44

1670

发布于 2023-09-01 08:32:44

文章被收录于专栏：CreateAMind

Right for the Right Concept: Revising Neuro-Symbolic Concepts by Interacting with their Explanations

https://github.com/ml-research/NeSyXIL

摘要

深度学习中的大多数解释方法将模型预测的重要性估计映射回原始输入空间。这些“视觉”解释通常是不够的，因为模型的实际概念仍然难以捉摸。此外，如果没有对模型的语义概念的深入了解，就很难(如果不是不可能的话)通过模型的解释来干预模型的行为，这被称为解释性交互学习。因此，我们建议对神经符号场景表示进行干预，这允许人们在语义级别上修改模型，例如“永远不要专注于颜色来做出你的决定”。我们编制了一个新的混杂视觉场景数据集，CLEVR-Hans数据集，捕捉不同物体的复杂组成。我们在CLEVR-Hans上的实验结果表明，我们的语义解释，即在每个对象水平上的组成解释，可以识别仅使用“视觉”解释不能识别的混杂因素。更重要的是，这个语义级别上的反馈使得从关注这些因素来修改模型成为可能。

next 预告：

1 介绍

当机器学习模型通过学习“错误”的东西来解决一项任务时，例如利用数据集内的混杂因素，可能会显示出聪明的思维。不幸的是，不容易发现一个深度神经网络是否犯了聪明的Clever-Hans类型的错误，因为它们没有反映在标准的性能测量中，例如精确度和召回率。相反，我们可以通过他们的解释来了解网络实际上使用的是什么功能[26]。通过与解释互动，人们甚至可以修正聪明的Clever-Hans。

然而，这种解释性互动学习(XIL Explanatory Interactive Learning)在很大程度上取决于所提供的解释。深度学习中的大多数解释方法将模型预测的重要性估计映射回原始输入空间[49，52，51，48，7]。这有点让人想起一个孩子，他指着某样东西，但不能说出为什么有些东西是相关的。换句话说，如果一项任务需要对模型的决策有概念层次的理解，那么“视觉”解释是不够的。如果没有概念层面的知识和符号，要纠正聪明Clever-Hans的行为仍然很困难——如果不是不可能的话。

为了说明这一点，考虑图1中描述的分类任务。它显示了一个由位置、形状、大小、材质和颜色各不相同的对象组成的复杂场景。现在，假设属于真实类的场景显示一个大立方体和一个大圆柱体。不幸的是，在训练中，我们的深层网络只能看到大的灰色立方体的场景。使用视觉解释检查深度模型的决策过程证实了这一点:深度模型已经学会主要关注灰色立方体来将场景分类为积极的。一个简单的解决办法是以“不要把注意力放在颜色上来做决定”的形式提供反馈，因为这样可以消除混淆因素。不幸的是，视觉解释不允许我们直接进入语义层面——它们没有告诉我们“灰色是手头任务的一个重要特征”，我们也不能在符号层面提供反馈。

由此引发，我们提出了第一个神经符号XIL方法，该方法基于将视觉场景分解为基于对象的符号表示，并且反过来，允许一个人计算并与神经符号解释互动。我们证明了NeSy XIL在一个新编译的，混杂数据集上的优势，称为CLEVR-Hans。它由可以根据对象属性和关系的特定组合进行分类的场景组成。重要的是，CLEVR-Hans以一种方式编码混杂因素，使得组成因素在原始输入空间中不可分离，这与以前许多混杂的计算机视觉数据集不同。

To sum up, this work makes the following contributions:

(i) We confirm empirically on our newly compiled confounded benchmark data set, CLEVR-Hans, that Neuro-Symbolic concept learners [34] may show Clever-Hans moments, too.

(ii) To this end, we devise a novel Neuro-Symbolic concept learner, combining Slot Attention [31] and Set Transformer [27] in an end-to-end differentiable fashion.

(iii) We provide a novel loss to revise this Clever-Hans behaviour.

(iv) Given symbolic annotations about incorrect explanations, even across a set of several instances, we efficiently optimize the Neuro-Symbolic concept learner to be right for better NeuroSymbolic reasons.

(v) Thus we introduce the first XIL approach that works on both the visual and the conceptual level.

These contributions are important to make progress towards creating conversational explanations between machines and human users [56, 36]. This is necessary for improved trust development and truly Explanatory Interactive Learning: symbolic abstractions help us, humans, to engage in conversations with one another and to convey our thoughts efficiently, without the need to specify much detail.

2 关于XIL的相关工作

我们的工作涉及可解释的人工智能、解释性互动学习和神经符号架构。

一般来说，可解释的人工智能(XAI)方法通过以一种人类可以理解的方式给出模型的解释，来评估(黑盒)模型决策的原因。当前的方法可以根据特征[58]分为不同的类别，例如它们的内在程度，或者它们是否基于反向传播计算。从基于反向传播的方法[52，2]到基于模型提取的方法[44]或基于原型的方法[28]，在XAI方法的范围内，通常通过突出显示或以其他方式将直接输入元素与模型预测相关联来创建解释，从而在输入空间的水平上可视化解释。

一些研究调查了产生除这些视觉解释以外的解释的方法，例如多模态解释[39，57，43]，包括视觉和逻辑规则解释[1，42]。[35，30]研究创建更具交互性的解释的方法，而[3]则侧重于创建单一模态、基于逻辑的解释。最近的一些工作也集中在创造基于概念的解释[19，63，9]。然而，上述研究都没有将解释作为干预模型的手段进行研究。

解释性互动学习(XIL) [46，50，53，47]将XAI与主动学习环境相结合。它结合了通过让用户参与学习过程中的XAI—在培训循环中就解释进行互动。更准确地说，人类用户可以向模型查询对单个预测的解释，并在必要时通过修正模型作出响应，对解释提供稍微改进的(但不一定是最佳的)反馈。因此，与主动学习一样，如果预测是错误的，用户可以提供正确的标签。此外，XIL还允许用户对解释提供反馈。这种接收解释和用户交互的结合对于获得模型行为的信任是非常必要的[53，47]。XIL可以应用于可微以及不可微的模型[47]。

神经符号架构[8，60，34，13，55，6]利用数据驱动的子符号表示和基于符号的推理系统。近年来，通过结合符号模型和子符号模型的优点，这一研究领域作为解决单个子系统问题的手段受到了越来越多的关注，例如许多神经网络的非分布泛化问题。例如，Yi等人[60]提出了一种基于神经符号的VQA系统，该系统基于从语言推理中分离视觉感知。他们系统的每个子模块处理不同的子任务，例如，他们的场景解析器将一个可视场景分解成一个基于对象的场景表示。他们的推理引擎然后使用这个分解的场景表示，而不是直接在原始输入空间中计算。这种方法也与Lampert等人的工作有关

3 激励示例:彩色MNIST

为了说明问题的设置，我们首先回到一个众所周知的混淆玩具数据集。ColorMNIST [18，45]由彩色MNIST数字组成。在训练集中，每个数字与特定的颜色混淆，而在测试集中，颜色关联被打乱或颠倒。

一个简单的CNN模型在训练集上可以达到100%的准确率，但在测试集上只有23%，这表明该模型已经学会在很大程度上专注于颜色以进行准确的预测而不是数字本身。图2描绘了被预测为9的0的视觉解释(这里使用GradCAM [49]创建)。请注意，零的颜色与训练集的所有九的颜色相同。从视觉解释可以清楚地看出，模型正集中在正确的对象上，然而，在不了解基础训练数据分布的情况下，不清楚为什么模型预测错误的数字标签。

重要的是，尽管模型因为正确的原因是错误的，但是与模型交互是一个重要的问题, 仅仅根据这些解释来修改使用XIL的决定。设置损失项以纠正解释(例如[46]) 就像用反例来发现数据集一样不平凡和不方便[53]。金姆（人名）等人[18]描述了如果偏倚已知的是，使用网络之间的相互信息对数据集的独立特征进行训练网络不侧重于偏见的特点。里格尔·艾尔。[45] propose对惩罚损失的一种解释类似于[46，50，47]，关注上下文分解[38]作为解释方法。然而，所采用的惩罚方法是taskspecific和脱离模型的解释，导致最终只有31%的精度略有提高(使用反转的色彩设置)。

4 神经符号解释交互学习

彩色MNIST的例子清楚地表明，尽管当前XAI方法的输入级解释是真正解释模型行为的重要的第一步，但在模型的决策过程中仍有许多模糊之处。仅用XIL对这些直观的解释，很难对一个模型进行恰当的干预。我们需要的是一个可理解的，清晰的表现层次，用户可以询问和干预。

Neuro-Symbolic Architecture。为此，我们构建了一个由两个模块组成的体系结构，一个概念嵌入模块和一个推理模块。概念模块的任务是创建输入空间的分解表示，可以映射到人类可理解的符号。推理模块的任务是基于这种符号表示做出预测。

Interchangeability of the Modules. Though both SlotAttention and Set Transformer have strong advantages as stated above, alternatives exist. Deep Set Prediction Networks [62], Transformer Set Prediction Networks [23] or MaskRCNN based models [11] are viable alternatives to the Slot Attention module as concept embedding module. The generation of visual explanations within these models, e.g.via gradientbased explanation methods, however, is not as straightforward.

Truly rule-based classifiers [41, 32], logic circuits [29], or probabilistic approaches [5, 40, 21, 33], are principally viable alternatives for the Set Transformer, though it remains preferable for this module to handle unordered sets.

5 The CLEVR-Hans Data Set

6 Experimental Evidence

User Feedback. As in [53, 50, 47], we simulated the user feedback. The exact details for each experiment can be found in the corresponding subsections

6.1 Visual XIL fails on CLEVR-Hans

6.2 Neuro-Symbolic XIL to the Rescue

how Neuro-Symbolic XIL improves upon visual XIL：

Receiving Explanations of Neuro-Symbolic model.

Revising Neuro-Symbolic Models via Interacting with Their Explanations

Quantitative Analysis of Symbolic Explanations

Revision via General Feedback Rules

完整内容请参考原论文