[ICLR 24] 如何可靠地评估可解释的图神经网络?
[ICLR 24] 如何可靠地评估可解释的图神经网络
Towards Robust Fidelity for Evaluating Explainability of Graph Neural Networks
作者：Xu Zheng1∗, Farhad Shirani1∗, Tianchun Wang2, Wei Cheng3, Zhuomin Chen1, Haifeng Chen3,Hua Wei4, Dongsheng Luo1
- Florida International University;
- Pennsylvania State University
- NEC Laboratories America
- Arizona State University
Accepted by ICLR2024 !
背景与贡献
如何评估解释子图的quality是 Explainable GNNs中一个重要问题。 现有的评估方法通常有两种，一通过和Ground Truth (GT)进行比较，二为通过
进行评估。
核心思想是比较子图预测结果和原图预测结果的差异。 本文展示了
指标 (包括
、
和
)固有的局限性。原因是在计算
的时候忽略了子图和原图的分布差异（Out-of-Distribution， OOD），导致了子图的预测结果并不可靠。 为解决这一问题，本文提出了一类 robust
指标，理论分析表明该指标能有效缓解 OOD 带来的影响。 文中使用合成数据集和真实数据集进行试验验证，实验结果表明本文提出的 robust
指标与 gold standard metrics保持一致。
论文地址[1]：https://openreview.net/forum?id=up6hr4hIQH
项目地址：https://trustai4s-lab.github.io/fidelity.html
代码地址：https://github.com/AslanDing/Fidelity
解释深度学习模型
可解释的人工智能可以帮助我们理解模型如何做出预测。在graph中，解释通常是子图，例如 Mutag 数据集中的 NH
和 NO
。在 NLP 任务中，解释是最重要的词。对于时间序列，解释是时间戳。在图像中，解释是模型关注的前景。在本文中，我们首先介绍我们在graph上的方法。下图展示了在 Mutag 数据集中，什么是原始图和用作解释的子图[2]。
与 Out-of-Distribution（OOD） 问题
在Explainable GNNs领域，
是用来评估可解释子图最常用的指标。 直观的想法是，如果用作解释的子图对于预测模型很重要，则意味着 1）去掉这部分子图会对预测结果产生较大影响。 2）模型可以只从该子图中推断出预测结果。 基于这个想法，我们可以有
。 其数学表达式如下：
其中，
是要解释的GNN模型。
是输入图，
是用作解释的子图。 根据该定义，我们可以看到
被用来预测子图的label。这种用法会导致OOD问题，即子图和
的训练集分布不同，从而导致结果的不可靠，在同期工作也有提及该问题,如OAR[3] 和 GInx-eval[4]。 我们使用下面一张图来说明这一现象[2]。
本文的解决方案：robust
为了缓解OOD 问题对
的影响，本文引入了一个新的指标，即robust
。在该方法中，通过使用随机删除部分可解释/非可解释子图来缓解OOD问题，并使用随机采样来近似无OOD的结果。在该方法中，使用超参数
来控制每次删除边的概率。基于此，robust
的数学形式可以表示为如下：
类似地，我们可以得到基于准确性的robust
：
该算法的流程可以总结如下：
实验
文中我们使用了两个图分类数据和节点分类数据. 实验以 GT 可解释子图作为基准，用不同的Edit Distanace的样本求robust
和
。Edit Distanace大意味着可解释子图与GT之间差距大，子图的解释准确性就越差。 所以一个好的
应该与 Edit Distanace 负相关，
则是正相关。 通过Spearman相关系数实验结果可以看出，原本的
在图分类和点分类任务中的表现并不一致。但robust
在绝大多数情况下保持了高度的一致性。
通过实验表明，本文提出的robust
能够更好的反应可解释子图是否忠于模型。更多实验结果请参考论文。
总结
这个工作分析了
作为指标的问题，并提出了 robust
缓解该问题，通过理论和实验进行分析验证该方法的有效性。
Reference
[1]. Zheng, Xu, et al. "Towards robust fidelity for evaluating explainability of graph neural networks." arXiv preprint arXiv:2310.01820 (2023).
[2]. Chen, Zhuomin, et al. "Interpreting Graph Neural Networks with In-Distributed Proxies." arXiv preprint arXiv:2402.02036 (2024).
[3]. Fang, Junfeng, et al. "Evaluating post-hoc explanations for graph neural networks via robustness analysis." Advances in Neural Information Processing Systems 36 (2024).
[4]. Amara, Kenza, Mennatallah El-Assady, and Rex Ying. "GInX-Eval: Towards In-Distribution Evaluation of Graph Neural Network Explanations." arXiv preprint arXiv:2309.16223 (2023).