【知识星球】ElementAI提出超复杂多尺度细粒度图像分类Attention模型

欢迎大家来到《知识星球》专栏，这里是网络结构1000变小专题。

作者&编辑 | 言有三

1 Attention模型

Attention机制已经被证明在很多的任务中都能提升其性能，我们在《AI不惑境》中已经专门总结了这个问题，今天给大家介绍一下来自于ElementAI的一个用于细粒度图像分类的复杂多尺度Attention模型。

有三AI知识星球-网络结构1000变

Pay attention to Activations

本文是一种多尺度的attention方法，它估计网络不同深度不同抽象层级的attention信息，最后在输出层进行attention信息融合获得最后的attention map。

作者/编辑 言有三

模型结构如上图所示，在不同抽象层级添加了Attention子模块，这里有两个概念，一个是AD，一个是AW。

所谓AD，就是感知深度，对应各个抽象层级的特征。所谓AW，就是感知宽度，对于需要感知的目标种类，如动物的头，四肢等。

一个Attention Module的具体结构如下：

它首先输入B*C*H*W的特征图，输出B*1*H*W的经过softmax的Attention head热图，如下：

此后output_head基于Attention head的输出，预测各个类别的概率，输入包括B*C*H*W的特征图，B*1*H*W的Attention head热图，输出B*Class*1*1。这就是基于空间位置，对整图类别的Attention。

另外，不同的heads(即感知的目标种类)也应该有不同的权重，因此还需要对其进行Attention。

综上，一个Attention模块的输出如下：

最后的特征输出为各个Attention模块输出和原始全连接预测的加权和。

这里的权重值g来自于最后池化后的特征使用一个全连接层学习而来。

结果如何呢？

上图反映了不同AD和AW对性能的影响，可知增大AD和AW都有利于提升性能。

上图展示了各个Attention Depth的各个Attention Heads的结果，可见成功实现了初衷。

下表展示了在各大细粒度分类数据集上的结果，在不实用预训练和高清输入时，若干数据集上取得了最好的效果。

[1] Lopez P R, Dorta D V, Preixens G C, et al. Pay attention to the activations: a modular attention mechanism for fine-grained image recognition[J]. IEEE Transactions on Multimedia, 2019.

2 更多网络结构

更多的Attention网络结构，可以移步知识星球阅读！