ICCV 2021 | 基于一致性学习的渐进式匹配筛选，可提升相机姿态估计精度

“针对关键点匹配中正负样本不平衡的问题，本文提出了一种基于一致性学习的渐进式匹配筛选方法，旨在通过渐进式筛选的方式，从包含大量错误匹配的初始匹配集中逐步剔除错误匹配，进而得到置信度较高的匹配子集。为保证每次筛选的筛选质量，本文提出了一种从局部到全局的动态图构建方法，并通过图卷积计算动态图中的一致性，基于一致性计算结果进行匹配筛选。与现有算法相比，本文所提方法在直线拟合、相机姿态估计和基于检索的图像定位任务中均取得了大幅度的性能提升。 ”

ChenZhao@知乎(已授权)丨作者

realcat丨编辑

论文链接：arxiv.org/abs/2101.00591

代码链接：github.com/sailor-z/CLNet

项目主页：sailor-z.github.io/projects/CLNet.html

简介

基于关键点的匹配筛选旨在从初始匹配集中筛选正确匹配，剔除错误匹配。在实际应用中，由于噪声的干扰，初始匹配中常包含大量的错误匹配，进而导致严重的类别不平衡问题。为解决该问题，本文提出了一种基于一致性学习的渐进式匹配筛选方法 (CLNet)。为保证筛选质量，我们设计了一种匹配“修剪”模块，通过从局部区域到全局区域构建动态图的方式，整合局部和全局信息，计算匹配的一致性分数，并根据一致性进行匹配筛选。我们通过串行方式连接多个“修剪”模块，以实现渐进性的匹配筛选。与现有算法相比，CLNet在直线拟合、相机姿态估计和基于检索的图像定位任务中取得了大幅度的性能提升，并针对不同的数据库和初始匹配分布展示出了良好的泛化性。

基于局部到全局一致性学习的渐进式匹配筛选

方法

现有匹配筛选方法通常通过二分类的方式将初始匹配一次性的划分为正确匹配和错误匹配，分类精度易受到初始匹配集中类别不平衡问题的干扰。对此，本文采用渐进式的方法从初始匹配集中逐步剔除错误匹配，以获得高精度的匹配子集。下图展示了所提CLNet的方法框架，该方法以串行的方式连接多个“修剪”模块，通过基于一致性学习的多次筛选从初始匹配中获得置信度较高的匹配子集，并根据该子集计算变换矩阵（以本质矩阵为例）；最终通过计算初始匹配在所求变换矩阵约束下的一致性获得初始匹配集中所有匹配的类别信息（正确匹配/错误匹配）。

CLNet方法框架

下图展示了所提“修剪”模块的网络结构，该模块首先通过在局部特征空间动态建图的方式，提取匹配数据的局部信息，并采用一种环形卷积的方法整合局部信息，计算所建特征图的一致性分数；之后根据所求一致性分数，将多个局部特征图整合为全局特征图，并使用图卷积的方法整合全局信息，计算全局特征图中所有匹配的一致性分数；最后根据所求全局一致性分数进行匹配筛选，保留一致性较高的匹配，剔除一致性较低的匹配。

“修剪”模块网络结构

实验

本文在直线拟合、相机姿态估计和基于检索的图像定位任务上进行了实验。

如下图所示，在直线拟合任务中，当初始数据中包含大量噪声干扰时（90% outliers），现有方法性能受到显著影响，但本文所提CLNet对噪声干扰具有较强的鲁棒性。

直线拟合实验结果

在相机姿态估计任务中，CLNet在室外数据集YFCC100M和室内数据集SUN3D上均取得了SOTA的性能。

相机姿态估计实验结果

针对基于检索的图像定位任务，本文提出将基于关键点匹配的方法作为基于图像相似度的检索方法的后处理。与现有检索方法相比，本文所提基于CLNet后处理的方法（CLNet-SFRS）取得了大幅度的性能提升。

基于检索的图像定位实验结果

下图展示了渐进式筛选的定性结果。由图可见，初始匹配中包含了大量错误匹配（红线）；在经过两次筛选后，大部分错误匹配被剔除，初始匹配中类别不平衡的问题得到极大缓解；最终在经过二次“修剪”的匹配子集中筛选的正确匹配（selected inliers）具有较高的置信度（绿线）。

总结和思考

为缓解初始匹配集中类别不平衡的问题，本文提出了一种基于一致性学习的渐进式匹配筛选的方法，通过从局部特征空间到全局特征空间动态建图的方式，提取整合局部和全局信息，计算匹配数据的一致性，根据所求一致性指导匹配筛选。本文目前使用固定的筛选比例，一定程度上易导致筛选不足或筛选过度的问题，我们在未来工作中将尝试设计一种自适应的筛选方法，以进一步提升筛选质量。