前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >OmniSLAM:多鱼眼相机的SLAM系统

OmniSLAM:多鱼眼相机的SLAM系统

作者头像
3D视觉工坊
发布2020-11-19 16:47:29
1.2K0
发布2020-11-19 16:47:29
举报

文章:OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems

作者:Changhee Won, Hochang Seok , Zhaopeng Cui , Marc Pollefeys , and Jongwoo Lim

翻译:分享者

论文摘要

本文提出了多鱼眼相机的定位和稠密SLAM系统,该系统使用超大视角(FOV)鱼眼相机,可以360°覆盖环境的立体环境。为了更实用、更精确的重建,首先引入改进的、轻量的深度神经网络来进行全方位深度估计,它比现有的网络更快、更精确。其次,将鱼眼相机深度估计整合到视觉里程表(VO)中,并添加一个循环闭合模块以实现地图全局一致性。利用估计的深度图,我们将关键点重新投影到另一个视图上,从而得到一个更好、更有效的特征匹配过程。最后,我们将鱼眼相机深度图和估计的姿态融合到TSDF中,得到三维地图。评估了方法在具有真值和数据集上的性能,大量的实验表明,该系统在合成和真实环境中都能产生良好的重建效果。

上图:输入具有挑战性的室内环境的示例图像。下图:一栋复式建筑的稠密重建图,带有估计的轨迹。轨迹的颜色代表高度值。

相关工作与介绍

主要贡献总结如下:

(i) 提出了一种轻量化和改进的网络鱼眼相机的深度估计。网络的精度、参数个数、运行时间等都比以前的版本有了很大的提高,使本系统更加实用。

(ii)通过将深度图集成到ROVO(鲁棒的视觉里程计)中,并增加回环闭合模块,构建了一个鲁棒的全向视觉SLAM系统。在具有挑战性的室内和大型室外环境中,估算的轨迹精度比以前的版本有所提高。

(iii)提出了一个完整的全方位定位和稠密地图系统,并在合成环境和真实的室内外环境中进行了大量的实验,结果表明我们的系统能够为各种场景生成重建良好的三维稠密地图

系统的流程图。首先使用给定的鱼眼图像估计深度图和位姿。如果可用,深度图将集成到视觉里程计中。将输出深度图和位姿融合到TSDF中,以构建3D地图。在后处理过程中,利用回环模块修正后的姿态建立全局一致的地图。

内容精华

A、 全深度估计

采用端到端网络OmniMVS,并在此基础上提出了Light-weighted OmniMVS。

B、视觉SLAM

定位也是三维稠密SLAM的重要组成部分,根据提出的ROVO[14]对全向立体鱼眼相机系统的姿态进行了稳健估计。在文章中,ROVO有四个步骤:鱼眼相机的投影、跟踪和匹配、姿态估计和联合优化。首先,将输入的鱼眼图像进行视觉矫正,在投影图像中检测到球的特征。其次,利用KLT对检测到的球体特征进行光流跟踪,并在相邻摄像机之间进行特征匹配。然后,跟踪上的特征被三角化到每个对应的3D点。第三,利用2D-3D特征对应关系,利用多视点P3P-RANSAC初始化姿态,并通过pose only bundle平差(BA)进行优化。最后,利用局部光束平差(LBA)同时对估计的姿态和观测到的三维点进行优化。

C. 基于TSDF稠密地图

为了获得全局的3D地图,将估计的全深度图和姿态融合到TSDF中。

实验

稠密地图结果的评估。顶部:完整性,底部:准确性。图例中显示了每种方法的平均比率。我们使用OmniMVS[15]、OmniMVS+和Tiny+作为深度;GT轨迹、ROVO[14]和ROVO+用于姿势。

我们对Wangsimni数据集是否有闭环检测的影响对比。与检测到的回路闭合的轨迹比较结果。

数据集的稠密SLAM结果。

(a)光照强烈的环境下。绿色代表GT地图。我们的ROVO+减少了估计姿态的漂移误差。

(b) 车库环境下。绿色表示前摄像头的估计轨迹

Wangsimni数据集的定性结果。左图:在卫星图像上垂直投影的估计轨迹。右:对应的稠密映射结果。我们将直方图均衡化应用于顶点颜色的可视化。

总结

本文提出了一种适用于多鱼眼相机的定位与稠密地图的SLAM系统。该方法在参数较少的情况下,快速、准确地估计出全方位深度图。然后将输出深度图集成到视觉里程计中,提出的视觉SLAM模块实现了较好的姿态估计性能。实验表明,该系统能够生成良好的合成环境和真实环境三维地图。

本文仅做学术分享,如有侵权,请联系删文。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-11-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 3D视觉工坊 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
图像处理
图像处理基于腾讯云深度学习等人工智能技术,提供综合性的图像优化处理服务,包括图像质量评估、图像清晰度增强、图像智能裁剪等。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档