用MLP代替掉Self-Attention

用MLP代替掉Self-Attention

这次介绍的清华的一个工作 “Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks”

用两个线性层代替掉Self-Attention机制，最终实现了在保持精度的同时实现速度的提升。

这个工作让人意外的是，我们可以使用MLP代替掉Attention机制，这使我们应该重新好好考虑Attention带来的性能提升的本质。

Transformer中的Self-Attention机制

首先，如下图所示：

self-attention

我们给出其形式化的结果：

其中， 同时

这里，我们给出一个简化版本，如下图所示：

simplified self-attention

也就是将 都以输入特征 代替掉，其形式化为：

然而，这里面的计算复杂度为 ，这是Attention机制的一个较大的缺点。

外部注意力 (External Attention)

如下图所示:

external-attention

引入了两个矩阵 以及 , 代替掉原来的

这里直接给出其形式化：

这种设计，将复杂度降低到, 该工作发现，当 的时候，仍然能够保持足够的精度。

其中的 操作是先对列进行Softmax，然后对行进行归一化。

实验分析

首先，文章将Transformer中的Attention机制替换掉，然后在各类任务上进行测试，包括：

• 图像分类
• 语义分割
• 图像生成
• 点云分类
• 点云分割

这里只给出部分结果，简单说明一下替换后的精度损失情况。

图像分类

image-cls

语义分割

semantic-segmentation

图像生成

generation

可以看到，在不同的任务上，基本上不会有精度损失。