BMVC2018图像检索论文—使用区域注意力网络改进R-MAC方法

刚刚开源代码与预训练模型。

(关注“我爱计算机视觉”公众号，一个有价值有深度的公众号~)

来自BMVC2018会议论文：《Regional Attention Based Deep Feature for Image Retrieval》

使用卷积神经网络（CNN）进行有效图像检索的许多方法近年来都集中于特征聚合而不是特征嵌入，因为已经发现卷积特征具有合理的鉴别力。尽管如此，我们发现用于图像检索的众所周知的基于区域的特征聚合方法R-MAC仍然受到背景杂乱和区域重要性不同的影响。在这项工作中，我们通过一个简单有效的情境感知区域注意力网络（context-aware regional attention network）来解决这些问题，该网络根据全局注意力来衡量一个区域的注意力得分。我们在广泛应用的的图像检索数据集上进行了各种实验，证明我们的方法不仅显着改善了R-MAC基线方法，而且还在“pre-trained single-pass”类别方法中达到了新的state-of-the-art高度。此外，我们也证明了当与查询扩展（query expansion）方法结合使用时，我们的方法显示出比先前方法更高的准确度改进。这些结果归功于我们与R-MAC集成的新型区域关注网络。

上图显示了Oxford5k中背景和杂乱的两个具有挑战性的例子。在每个示例中，左边是查询，而右边是其对应的正例图像，将正例图像中我们区域关注网络的前五个关注区域标记为红色框。

上图是本文的网络架构，原R-MAC方法中是平等的对待每一块进行特征聚合的图像区域，二作者引入Regional attention module则根据图像显著性检测的原理生成不同的区域权重，然后R-MAC和区域的注意力权重加权聚合，获得最终的特征向量。

在多个数据集上都获得了显著的性能改进，如下图：

包含代码、预训练权重的项目主页：

https://sglab.kaist.ac.kr/RegionalAttention/