SOLD2：自监督有遮挡的检测和描述线段
文章：SOLD2 : Self-supervised Occlusion-aware Line Description and Detection
作者: Remi Pautrat ， Juan-Ting Lin， Viktor Larsson Martin R.
编译：点云PCL
代码：https://github.com/cvg/SOLD2
文章仅做学术分享，如有侵权联系删文。未经博主同意请勿擅自转载。
摘要
与检测和描述特征点特征相比，检测和匹配线段是更具有挑战的任务，然而，对于多视图任务，线特征是对点特征的补充，线段特征即使在纹理较差的区域也经常出现，在此介绍第一个在单个深度网络中联合检测和描述线段的方法，采用了自监督训练方法，该方法不需要任何带标注的线段，可以推广到任何数据集，该检测器提供了图像中线段的可重复和精确定位，利用描述子学习的最新进展，本文提出的线描述子具有高度的可区分性，同时对视点变化和遮挡保持鲁棒性，在几个多视图数据集上评估了我们的方法，这些多视图数据集是由同形扭曲和现实世界的视点变化采集的，与之前的线检测和描述子方法相比，提出的方法是有效的。我们的完整方法具有更高的可重复性、定位精度和匹配度量。代码：https://github.com/cvg/SOLD2.
主要贡献
在 sold2中，作者联合学习了线段的检测与描述，受LCNN 和Super-Point的启发，文章引入了一个可以在没有任何标签的图像数据集上进行训练的自监督网络，在合成数据集上进行预训练后，将sold2推广到了真实环境的图像中。sold2提出的线检测旨在最大程度地提高线的可重复性和准确性，使其可以尽可能准确地应用于几何估算任务,通过引入一种新颖的基于动态规划的线匹配技术，sold2所学习到的描述子对遮挡具有一定的鲁棒性，同时与点描述子具有相同的可区分度，对标最新的特征点方法，sold2提供了一个通用的方案。总结来说，其所作出的贡献有以下三点：
（1）提出了首个用于联合线段检测和描述子的深度网络；
（2）自监督的线段检测方法，使其能在任一真实图像数据集上进行训练；
（3）线匹配对遮挡具有一定的鲁棒性，在图像匹配任务上实现了SOTA。
主要内容
sold2方法可以分为以下四个部分：
- 端点之间的常规采样；
- 自适应局部最大值搜索；
- 平均得分
- 局内点比率
详细论文内容可查看原文:https://t.zsxq.com/vNRrjEy
实验
线检测评估
作者用结构和正交距离比较了重复性和错误阈值为5个像素的定位误差。与其他基准相比，sold2 提供了可重复最强且准确的线检测。
描述子评估
对遮挡的鲁棒性
匹配精度和召回率
线匹配的可视化
图7，与其他方法的对比，其中绿色是正确匹配的线段，红色是错误匹配，蓝色是未匹配线段
图8：来自合成数据集的图像示例，第一行：渲染图像，第二行：带有估计连接和线段标签的图像。
与其他方法进行对比的线段检测效果：
总结
sold2作为首个用于图像中线段联合检测与描述的深度学习方法，采用自监督训练方案，可以推广应用于绝大多数图像数据集，同时，受益于深层特征描述子的识别能力， 能够处理在被遮挡和定位不佳的线端点等线段描述中的常见问题。在一些室外数据集上的评估中都证明了该方法在提高可重复性和精度等匹配性能上的卓越能力。虽然与目前已经较为成熟的特征点匹配技术相比， 还存在许多需要继续改进的地方，也仍然有很长的一段距离。
注：论文可在知识星球中下载。