RSS 2021 | 相机图像在3D点云中鲁棒跨域定位

“本文提出了一种在室内和室外场景中相对于点云图的单相机定位算法，即在激光地图中使用相机进行定位。这个问题很有挑战性，因为3D点云的特征与2D图像特征之间是存在巨大差异的。当外部环境发生变化时(即不一致)，如光照、天气和季节性变化时，该定位任务会变得更加艰难。本文方法可以通过提取跨域对称的区域描述子来匹配等角图像和三维点云投影。本文的主要观点是通过设计的生成对抗网络从有限的数据样本中保留条件不变的三维几何特征，同时消除与条件有关的特征。基于这些特征，本文进一步设计了球面卷积网络(spherical convolution networks)来学习视点不变量的对称位置描述子。本文在自采数据集上进行了评估，其中包括长期（不同的外观条件）、大规模（长达2公里的结构/非结构化环境）和多层（四层的封闭空间）。本文方法超越了目前的其他算法，在不一致的环境中取得了约3倍的地点检索率，在线定位的准确率也提高超过3倍。为了突出本文方法的通用能力，本文还评估了不同数据集的识别能力。通过一个单一的训练模型，i3dLoc可以在随意环境条件和视点下实现可靠的视觉定位。 ”

论文链接见文末。

背景

近年来，随着基于高清地图的准确定位的发展，移动机器人和自动驾驶汽车已经进入我们的日常生活。照相机具有巨大的潜力，可以针对点云地图提供低成本、紧凑和独立的视觉定位。然而，视觉方法在本质上受到现实世界中不一致的环境条件的限制，例如光照、天气、季节和视点差异。同时，由于传感器的稀疏性，没有足够的纹理特征保证，在点云数据上进行精确的匹配可能是一个挑战。基于过渡几何学的方法隐含地假设了一个静态环境，如稳定的照明条件、晴朗的天气和固定的季节属性。最近基于学习的视觉定位方法要么在极限环境下受到限制（结构道路），要么只适合于有限的视角（在街道上向前或向后）。目前的图像到点云的定位方法很难在现实世界的应用中得到利用，同时很难解决上述问题。

本文框架

i3dLoc的框架。它是由二维图像域和测距预测域之间的两个生成器网络、一个估计环境条件的分类模块和一个区分生成的测距预测与真实LiDAR投影的鉴别器模块组成。

创新点

• 提出了一种新的端到端大规模视觉定位方法，在离线三维地图的协助下，提供可靠的三维定位；
• 引入了一个基于生成对抗网络（GAN）的跨域转移学习网络，以提取条件不变的特征，同时消除与定位条件有关的因素；
• 设计了一个创新的对称特征学习网络，即球面卷积网络(spherical convolution networks) ，其内在特征自然有助于在不同的视角下进行描述子匹配；
• 设计了一个评估框架（包括长期、大规模和多历史数据集），它可以分析在显著的环境外观变化、随意视角下的视觉定位性能，以及对未见过的数据集的泛化能力；

关键结果

训练和评估数据集

• 长期数据集：我们通过生成2020/06~2021/01的轨迹创建了15个长期数据集，其中有不同的季节和天气变化。每条轨迹的距离约为200~400米。轨迹1~10用于训练，11~15用于评估。
• 大规模数据集：我们通过在结构化/非结构化的户外环境中穿越1.5~2公里的路线，创建了一个有8个轨迹的大规模户外数据集。轨迹1~6用于训练过程，轨迹7~8用于评估。
• 多层数据集：我们通过在白天/夜间在一个多层区域内穿越8条轨迹来创建一个室内数据集。室内程序的平均距离为100~150米。我们使用轨迹1~6进行网络训练，7~8进行评估。

这些数据集是通过LiDAR（VLP16）设备、360相机和惯性测量单元（IMU）收集的。我们通过记录上述传感器的原始数据来收集室内和室外的数据集。由于在室内或其他没有GPS的环境中缺乏真实位置，我们使用LiDAR的输出作为轨迹真值。

图像召回与精度

参考

• 论文: https://arxiv.org/abs/2105.12883
• 主页: https://theairlab.org/i3dloc

-END-

— 版权声明 —

本微信公众号所有内容，由计算机视觉SLAM微信自身创作、收集的文字、图片和音视频资料，版权属计算机视觉SLAM微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿意在本号刊登内容，请及时通知本号，予以删除。