【定位】开源 | 基于注意力的图像地理定位网络SAIG，适应多个跨视图数据集，泛化性强！

论文地址： http://arxiv.org/pdf/2302.01572v1.pdf

来源： 深圳大学

论文名称：Simple, Effective and General: A New Backbone for Cross-view Image Geo-localization

原文作者：Yingying Zhu

内容提要

在这项工作中，我们针对一个重要但较少探索的问题，即针对跨视图地理定位任务的简单而有效的主干网。现有的跨视图地理定位任务方法通常具有以下特点：1)方法复杂，2) GPU消耗计算，3)严格假设空中和地面图像是中心或方向对齐的。为了解决以上三个跨视角图像匹配的挑战，我们提出了一种新的骨干网，命名为简单的基于注意力的图像地理定位网络(SAIG)。本文提出的SAIG有效地表示了patch之间的远程相互作用以及与多头自注意层的跨视图对应。SAIG的“窄深”架构在不降低性能的情况下提高了特征丰富度，而其浅而有效的卷积保留了局域性，消除了补丁边界信息的损失。SAIG在跨视图地理定位方面取得了最先进的结果，同时比以前的工作简单得多。此外，与最先进的模型参数相比，SAIG在不使用任何设计良好的特征聚合模块或特征对齐算法的情况下，只有15.9%的模型参数和一半的输出维度，可以很好地适应多个跨视图数据集。此外，SAIG在图像检索基准上获得了具有竞争力的分数，进一步证明了它的泛化性。该算法作为主干网，具有简单易用和计算量轻的特点，在实际应用中具有重要意义。此外，我们提出了一个简单的空间混合特征聚合模块(SMD)，可以将空间信息混合并投射到低维空间中以生成特征描述符。特别是SMD继承了不受模型严格假设约束的特性，进一步提高了跨视图任务的性能。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有