Integrated Gradients：打开深度模型的黑箱

最近，关于Attention是否可以解释模型的输出受到越来越多的质疑，参见"Attention is not not Explanation"[1] 和 "Attention is not not Explanation"[2]。今天，我们介绍一种更加合理并且有效的解释模型输出的方法：Integrated Gradients，出自Google 2017年的一篇论文"Axiomatic Attribution for Deep Networks"[3]。

简单来说，「Integrated Gradients将输入的第

个特征的归因(attribution)定义为：从基线(baseline)

到输入

之间的直线路径的路径积分」：

其中

代表一个神经网络,

是

在第

维上的梯度。

因此想要使用这一方法来解释我们自己的深度模型需要做两步：

1. 「选择一个Benchmark」, 也就是上文中的baseline。文章推荐使用让网络输出接近0的baseline。对于CV任务，可以使用全黑图像或精心设计的对抗样本作为baseline。对于文本任务，可以使用全0的向量。
2. 「计算积分梯度」。在实际应用中，可以采用在从

到

的直线路径上插值，然后对这些插值的梯度求和的方式进行：

当然，这个方法已经在很多用于解释和理解模型的开源库中实现，这里推荐PyTorch官方提供Captum[4]，其中大部分的例子都使用了Integrated Gradients，可见其强大之处。

以上是这篇论文的简短概括。但其实这篇论文的很多篇幅是在说明Integrated Gradients具有的一些优良性质：

• 「Sensitivity」: 如果baseline和input在某一特征上不同，但却具有不同的输出，那么这一特征应具有非零的归因。Gradients方法违反了这一性质。
• 「Implementation Invariance」: 对于两个函数等效的网络（输入相同则输出相同），归因应当一致。使用离散梯度的LRP和DeepLift方法违反了这一性质。
• 「Completeness」: 对于输入

和baseline

，网络输出的差异等于这两者各维度归因的加和。

• 「Linearity」: 对于两个网络

和

的组合

，其归因等于这两个网络各自归因的加权和，权重为

和

。

• 「Symmetry-Preserving」: 对于一个满足

的网络

,其给予

和

的归因应当是完全相同的。