第一个「视觉惯性里程计+深度图」 的数据集 && 用VIO实现的无监督深度图补全方法

第一个提出 「视觉惯性里程计+深度图」 的数据集 “Visual Odometry with Inertial and Depth” (VOID) dataset

论文名称 《Unsupervised Depth Completion from Visual Inertial Odometry》

期刊：ICRA2020

作者：加州大学洛杉矶分校

本文代码：https://github.com/alexklwong/unsupervised-depth-completion-visual-inertial-odometry

本文制作的首个VOID数据集：https://github.com/alexklwong/void-dataset

本文使用的VIO方法：https://github.com/ucla-vision/xivo

本文描述了一种通过摄像头运动和视觉惯性里程计估计的稀疏深度推断密集深度的方法。不同于来自激光雷达或结构光传感器的产生的点云，我们只有几百到几千的点，不足以了解场景的拓扑结构。我们的方法首先构建了场景的分段平面的框架，然后使用这些框架、图像和稀疏点推断密集深度。我们使用一种预测的交叉模态标准，类似于 “自我监督”，测量不同时间的光度一致性、前后姿态一致性以及与稀疏点云的几何兼容性。

本文提出了第一个视觉惯性 + 深度数据集，我们希望这将有助于进一步探索视觉和惯性传感器的互补优势。为了将我们的方法与之前的工作进行比较，我们采用了无监督的 KITTI 深度完成基准，在该基准中我们实现了最优的性能。

本文的工作实现了如下图所示功能：左上为输入RGB图像，左下为来自VIO的轨迹和稀疏重建点。右上为本文方法得到的稠密点云结果

在这里插入图片描述

本文算法框架如下图所示：

在这里插入图片描述

如何利用神经网络学习来对深度图结果进行refine？如下图所示

在这里插入图片描述

在KITTI数据集上的可视化结果如下所示：

在这里插入图片描述

在我们的数据集VOID上的可视化结果：

在这里插入图片描述

在VOID数据集上的量化结果：

在这里插入图片描述

VOID数据集介绍

总共包括56个视频序列，其中48个序列是训练集，每个包括4万张图片，另外8个序列是测试集。 数据集覆盖室外、室内各种场景，包括classrooms, offices, stairwells, laboratories, gardens等。

下图左侧是网络输入的RGB原图，右侧是输出的补全的深度图投影到三维空间的点云。

在这里插入图片描述

在KITTI 深度图补全测试数据集上的结果

在这里插入图片描述