[IJCAI | 论文解读] AttExplainer：通过强化学习的注意力机制来解释 Transformer

简读分享 | 乔剑博 编辑 | 王宇哲

论文题目

AttExplainer: Explain Transformer via Attention by Reinforcement Learning

论文摘要

Transformer 及其变体基于注意力机制构建，最近在许多 NLP 任务中取得了显著的性能。大多数现有的关于 Transformer 解释的工作倾向于以定性的方式揭示和利用具有人类主观直觉的注意力矩阵。然而，巨大的维度直接挑战了这些方法来定量分析注意力矩阵。因此，在本文中，作者提出了一种新的基于强化学习 (RL) 的框架，用于通过注意力矩阵进行 Transformer 解释，即 AttExplainer。RL 代理通过观察注意力矩阵的变化来学习执行逐步屏蔽操作。作者已经将作者的方法调整到两种场景，基于扰动的模型解释和文本对抗攻击。与最先进的基线相比，在三个广泛使用的文本分类基准上进行的实验验证了所提出方法的有效性。其他研究表明，作者的方法具有高度可转移性，并且与人类直觉一致。

论文链接

https://www.ijcai.org/proceedings/2022/0102.pdf