应用于SFM中像素特征精细化的方法（已开源）

文章：Pixel-Perfect Structure-from-Motion with Featuremetric Refinement

作者：Philipp Lindenberger1* Paul-Edouard Sarlin2* Viktor Larsson2 Marc Pollefeys

编译：点云PCL

代码：https://github.com/cvg/pixel-perfect-sfm.git

文章仅做学术分享，如有侵权联系删文。未经博主同意请勿擅自转载。

摘要

找到能够在多个视图中重复的局部特征是稀疏三维重建的基础，经典图像匹配式一次性地检测每个图像的关键点，这可能会产生局部性差的特征，并将较大的误差传播到最终的结构成果中。在本文中，我们通过直接对齐来自多个视图的低级图像信息，从运动中精细化结构的两个关键步骤：首先在任何几何估计之前调整初始关键点位置，然后作为后处理精细化该点和相机位姿，这种改进对大的检测噪声和外观变化具有一定的鲁棒性，因为它基于神经网络预测的密集特征优化特征度量误差，这能够显著提高了各种关键点检测器、具有挑战性的场景和现成深度特征的相机位姿和场景几何体的准确性，我们的系统可以轻松扩展到大型图像数据集中，实现大规模像素精细化的众包定位。我们的代码可以在github上公开使用。https://github.com/cvg/pixel-perfect-sfm.git作为流行的sfm软件COLMAP的附加组件进行使用。

主要贡献

在 3D 重建任务中，跨源的多视角可复检的特征点提取尤为重要，常见的的 SFM 框架中，特征提取之后其位置并不会发生改变，若这个提取过程中出现了误差（噪声干扰），势必造成后续几何结构的误差累计。

本文针对以上 SFM 框架中的两个步骤进行了优化：

1. 特征匹配后使用 Featuremetric (深度特征度量)对特征点位置进行优化；

2. 增量重建过程中通过类似的 Featuremetric 进行 BA（重投影误差变为 Featuremetric 误差）。

本文算法通过大量实验验证，其在三角化/ SFM 等任务中的表现非常优秀。

主要内容

本文的框架可在任何基于局部特征点的 SFM 流程中使用，首先使用 CNN 提取图像特征图(dense features)，根据稀疏的特征匹配得到初始的跟踪，这里的跟踪是指同一个3D点在不同图像中的2D观测，调整每一个 跟踪 对应的特征点在图像中的位置；根据调整后的位置进行 SFM 重建，重建过程中的 BA 优化残差由重投影误差变为 Featuremetric 误差。

总结器算法流程如下图所示，分为两阶段：首先refine 2D匹配点，然后利用SfM重建后精细化3D点和相机位姿。

关键点精细化

一旦检测到、描述和匹配了局部特征，就先对检测出的2D点进行精细化。

跟踪分离：匹配图中的连接的成分定义了临时轨迹–可能观察到相同3D点但其观察结果尚未经过几何验证的关键点集，一个3D点在一个图像上只能有一个投影点，使用跟踪分离方法可以快速去除错误匹配点。

捆集调整

使用相似的特征度量成本对估计的结构和运动进行精细化，特别注意这里的关键点通过3D点到2D图像平面的投影隐式定义，并且只优化位姿和3D点。具体可查看论文原文

实验

该实验的平台设备配置为8 CPU cores (Intel Xeon E5-2630v4) and one NVIDIA RTX 1080 Ti。

1，3D稀疏点的三角化

2， 相机位姿估计

3，SFM 性能

下图是算法优化前后特征点位置的分布，可以看到本文方法得到的特征点位置(绿点)在不同视角间是保持一致的，而原始的特征点(蓝点)容易受到提取噪声的干扰，导致了 SFM 重投影的 2D 点(红点)出现了错位。

4，耗时统计

总结

在本文中，从运动中获得精确的大尺度结构的方法是使用稀疏的局部特征进行初始粗略估计，然后使用局部精确的密集特征进行精细化，由于密集特征只需要具有局部区分性，因此它们可以捕获更低级别的纹理，从而获得更精确的对应。通过大量的实验，我们表明，这将导致更精确的相机姿态和结构；在具有挑战性的条件下，针对不同的地方特色，在针对稠密特征建图进行优化的同时，我们保持了SfM的稀疏场景表示，这不仅确保了该方法的可扩展性，还确保生成的3D模型与下游应用程序兼容，例如用于视觉定位的建图。由于我们的改进即使在观测很少的情况下也能很好地工作，因为它不需要平均掉关键点检测噪声，因此它有可能使用较少的图像获得更准确的结果。能够大幅度提升建图精度与后续的视觉定位精度方案，但是进行 BA 时需要占用较大的运行内存空间，特别是面对大规模场景重建时，具体使用时需权衡计算量与精度。