专栏首页计算机视觉life第一个「视觉惯性里程计+深度图」 的数据集 && 用VIO实现的无监督深度图补全方法

第一个「视觉惯性里程计+深度图」 的数据集 && 用VIO实现的无监督深度图补全方法

第一个提出 「视觉惯性里程计+深度图」 的数据集 “Visual Odometry with Inertial and Depth” (VOID) dataset

论文名称 《Unsupervised Depth Completion from Visual Inertial Odometry》

期刊:ICRA2020

作者:加州大学洛杉矶分校

本文代码:https://github.com/alexklwong/unsupervised-depth-completion-visual-inertial-odometry

本文制作的首个VOID数据集:https://github.com/alexklwong/void-dataset

本文使用的VIO方法:https://github.com/ucla-vision/xivo

本文描述了一种通过摄像头运动和视觉惯性里程计估计的稀疏深度推断密集深度的方法。不同于来自激光雷达或结构光传感器的产生的点云,我们只有几百到几千的点,不足以了解场景的拓扑结构。我们的方法首先构建了场景的分段平面的框架,然后使用这些框架、图像和稀疏点推断密集深度。我们使用一种预测的交叉模态标准,类似于 “自我监督”,测量不同时间的光度一致性、前后姿态一致性以及与稀疏点云的几何兼容性。

本文提出了第一个视觉惯性 + 深度数据集,我们希望这将有助于进一步探索视觉和惯性传感器的互补优势。为了将我们的方法与之前的工作进行比较,我们采用了无监督的 KITTI 深度完成基准,在该基准中我们实现了最优的性能。

本文的工作实现了如下图所示功能:左上为输入RGB图像,左下为来自VIO的轨迹和稀疏重建点。右上为本文方法得到的稠密点云结果

本文算法框架如下图所示:

如何利用神经网络学习来对深度图结果进行refine?如下图所示

在KITTI数据集上的可视化结果如下所示:

在我们的数据集VOID上的可视化结果:

在VOID数据集上的量化结果:

VOID数据集介绍

总共包括56个视频序列,其中48个序列是训练集,每个包括4万张图片,另外8个序列是测试集。 数据集覆盖室外、室内各种场景,包括classrooms, offices, stairwells, laboratories, gardens等。

下图左侧是网络输入的RGB原图,右侧是输出的补全的深度图投影到三维空间的点云。

在KITTI 深度图补全测试数据集上的结果

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CVPR2020——D3VO论文阅读

    我们提出的D3VO单目视觉里程计框架从三个层面上利用了深度学习网络,分别是:利用深度学习的深度估计,利用深度学习的位姿估计,以及利用深度学习的不确定度估计。首先...

    zjkkk
  • SLAM综述(3)-视觉与惯导,视觉与深度学习SLAM

    视觉SLAM的稳定性是一项技术挑战。因为基于单目的视觉SLAM需要初始化、尺度的不确定性和尺度漂移等问题[1]。尽管立体相机和RGB-D相机可以解决初始化和缩放...

    点云PCL博主
  • 如何将深度学习方法用于SLAM等三维视觉领域?牛津大学发布最全面综述

    论文地址:https://arxiv.org/pdf/2006.15507.pdf

    AI算法修炼营
  • 最新综述 | 基于深度学习的SLAM方法:面向空间机器智能时代

    A Survey on Deep Learning for Localization and Mapping Towards the Age of Spatia...

    用户1150922
  • Paper Reading | VINet 深度神经网络架构

    2017年3月10日,Momenta老司机带你读Paper,第三趟车已出发!你,跟得上吗?

    用户1908973
  • 用于机器人导航辅助的6自由度姿态估计的平面辅助视觉惯性里程计

    Plane-Aided Visual-Inertial Odometry for 6-DOF Pose Estimation of a Robotic Navi...

    计算机视觉
  • 问答 | 怎么评价基于深度学习的deepvo,VINet?

    1.DeepVO: A Deep Learning approach for Monocular Visual Odometry;

    AI研习社
  • Kimera实时重建的语义SLAM系统

    Kimera是C++实现的一个具有实时度量的语义SLAM系统,使用的传感器有相机与IMU惯导数据来构建环境语义标注的3D网格,Kimera支持ROS运行在CPU...

    点云PCL博主
  • 双目视觉惯性里程计的在线初始化与自标定算法

    标题:An Online Initialization and Self-Calibration Method for Stereo Visual-Inerti...

    3D视觉工坊

扫码关注云+社区

领取腾讯云代金券