ICME2020最佳学生论文SPANet，另附Attention中的空间结构反思

【Happy导语】该文获得了ICME2020最佳学生论文奖，它提出了一种空间金字塔注意力机制，即将空间金字塔嵌入到SE模块中，取得了超越SE的性能。请恕笔者眼拙，未能领会到为何该文能获得ICME2020的最佳学生论文，实验对比方面不够充分，实验数据集也并非ImageNet。 笔者在最后对注意力机制中SpatialStructure进行了一点点简单思考，感兴趣的可以直接看文末。另，文末附论文与代码下载方式。

Abstract

注意力机制在CV领域取得了极大成功，比如SENet、SKNet、DANet、PSANet、CBAM等注意力机制方法。在该文中，作者提出一种空间金字塔注意力网络以探索注意力模块在图像识别中的角色作用。

所提SPANet简单而好用，它通过横向添加SPA模块方式增强基础网络的性能。不同于其他注意力方法采用GAP统计空间上下文信息，所提SPANet同时考虑了结构信息与结构正则化。更进一步，作者探索了注意力路径连接的拓扑结构，并提出了三种形式的SPANet结构。SPA模块是一种“即插即用”模块，可以“无缝对接”嵌入到现有CNN架构中。

最后作者通过实验证实：相比其他CNN方法，所提方法可以极大提升识别精度且不会噪声过多的计算量增加。

Method

作者认为：已有的注意力机制(比如SE)仅考虑的通道方面的依赖性，而忽视了结构信息。为增强CNN的特征表达能力，作者提出了一种空间金字塔注意力机制(见下图)，它实现形式与SPPNet中的空金子相似，但两者的出发点不同：SPP出发点是为了获得定长特征向量，而SPA则是从编码结构信息角度出发。

Attention Path Connection

大多自注意力方法服从这样的的设计规则：以自身作为输入学习一个注意力图并作用于自身。比如SE、SK、BAM、CBAM等等均是这样的操作。

在SPANet中，作者探索了三种形式了注意力通路连接方式，并得到了三种形式的SPANet网络架构，见下图。

Spatial Pyramid Attention

Experiments

看到这里，是不是觉得这篇论文也太简单了吧，是的，所以直接上结果吧，懒得看分析了。下面给出了CIFAR100与ImageNet。注：这里的数据集是Downsample ImageNet，而不是ImageNet。DownsampleImageNet是什么鬼，第一次看到，汗-_-||

Conclusion

该文提出了一种空间金字塔注意力网络(SPANet)，它将空间金字塔结构嵌入到了注意力机制中，所提SPA可以同时集成结构信息与结构正则。

请恕笔者眼拙，未能得识SPANet因何获得ICME2020最佳学生论文奖。金字塔+SE取得超越SE的效果，那么是不是可以将金字塔与SK相结合呢？是不是又可以来一片会议paper呢？

Rethking Spatial Structure of Attention

以上纯属开玩笑。下面是个人自由发挥的地方了。言归正传，恰好笔者最近也在思考GAP相关的问题，所以就趁此简单的谈一下个人的一点点反思。

与该文比较类似的一点：Attention中的空间结构信息的保持问题。该文是对图像分类领域的空间结构信息的反思与改进。而笔者则考虑的是图像复原领域的Attention问题。

在图像超分领域，RCAN在过去很长时间里代表了PSNR性能的巅峰，它也采用SE注意力机制，但它在训练与测试阶段却存在着明显的空间结构不一致问题。在RCAN的训练阶段，输入图像块大小为，而在测试阶段，输入图像的大小不固定，可能是200+宽高，也可能是500+，甚至可能是1000+，乃至更大分辨率。那么此时就会产生这样的一个问题：在测试阶段到底应该是分块进行处理后再拼接呢，还是应该直接全图直接生成呢？要知道这两种形式得到的结果是不一样的。归根结底则是源自SE中的GAP，而这也是该文主要探索的一个点。

由此也就引出了这样一个疑问：在图像复原里面如何避免训练与测试阶段Attention-Resolution不一致性问题呢？如果确保了Attention-Resolution的一致性后，那么图像复原的性能是否还会进一步提升呢？笔者认为这是一个不错的思考方向，对此感兴趣想进一步探索的同学可以后台留言与笔者一同讨论哈。

论文与代码下载

在AIWalker公众号后台回复：SPANet。即可获得上述论文与代码下载链接。