ICRA 2020 | 通过共享2D-3D嵌入空间在激光雷达地图中进行全局视觉定位

标题：Global visual localization in LiDAR-maps through shared 2D-3D embedding space

作者：D. Cattaneo, M. V aghi, S. Fontana, A. L. Ballardini, D. G. Sorrenti

来源：2020 IEEE International Conference on Robotics and Automation (ICRA)

编辑：泡泡机器人

摘要

对于许多机器人应用来说，全局定位是一个重要且被广泛研究的问题。例如，在自动驾驶领域中，可以利用位置识别方法来解决该任务。虽然大多数基于视觉的方法将图像与图像数据库相匹配，但激光雷达地图中的全局视觉定位仍有待探索，尽管主要由激光雷达生成的高清晰度3D地图的道路是清晰的。在这项工作中，我们利用深度神经网络(DNN)方法来创建图像和激光雷达地图之间的共享嵌入空间，允许图像到3D激光雷达位置识别。我们训练了一个2D和一个3D DNN，它们分别从图像和点云创建嵌入，无论它们指的是同一个地方，它们都彼此靠近。提出了一个广泛的实验活动来评估该方法的有效性，包括不同的学习范式、网络架构和损失函数。所有评估都是使用牛津机器人车数据集进行的，该数据集涵盖了广泛的天气和光照条件。

图1 现有相关定位方法的简短概述。我们首次实现了从图像到城市尺度3D地图的全局定位，通常从激光雷达获得。这使得车辆上只能使用廉价的汽车级摄像头，以及即将上市的商用高清网格地图。

图2 我们利用基于DNN的方法在图像和激光雷达点云之间创建共享嵌入空间，允许图像到三维激光雷达位置识别。

图3 在训练阶段，“三元组”技术考虑关于查询的正样本和负样本。请注意，3D-DNN和关联的网络层的权重在点云样本之间共享，这意味着我们使用相同的网络。

表1 最佳模型VS所有运行

表2 3D位置识别比较

表3 消融研究

表4 召回%1不同的子组件

图4 考虑到多达K = 25个类似地方的召回措施。这里将挑战性的天气和时间条件，即雪、夜和黎明，与“阴天”数据库进行比较。我们还提供了使用所有可用数据集运行的平均召回图。

Abstract

Global localization is an important and widely studied problem for many robotic applications. Place recognition approaches can be exploited to solve this task, e.g., in the autonomous driving field. While most vision-based approaches match an image w.r.t. an image database, global visual localization within LiDAR-maps remains fairly unexplored, even though the path toward high definition 3D maps, produced mainly from LiDARs, is clear. In this work we leverage Deep Neural Network (DNN) approaches to create a shared embedding space between images and LiDAR-maps, allowing for image to 3D-LiDAR place recognition. We trained a 2D and a 3D DNN that create embeddings, respectively from images and from point clouds, that are close to each other whether they refer to the same place. An extensive experimental activity is presented to assess the effectiveness of the approach w.r.t. different learning paradigms, network architectures, and loss functions. All the evaluations have been performed using the Oxford Robotcar Dataset, which encompasses a wide range of weather and light conditions.

- End -