前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >rgbd slam v2_rgb数据格式

rgbd slam v2_rgb数据格式

作者头像
全栈程序员站长
发布2022-09-29 11:52:52
4380
发布2022-09-29 11:52:52
举报
文章被收录于专栏:全栈程序员必看

大家好,又见面了,我是你们的朋友全栈君

系统版本: Ubuntu16.04 + ROS-Kinect

1、安装运行

首先rgbdslamv2 是2014年开源出来的一个机遇RGBD相机构建点云地图的框架【1】,作者已经在github上开源出了代码【2】,并且给出了一个一键安装的脚本(install.sh)。但是我们会发现,我们直接运行这个install脚本会在~/Code目录下创建一个rgbdslam_catkin_ws 工作空间,然后我们按照传统的catkin_make命令进行编译会发现代码直接编译通过,,不会提示任何错误信息,但是在使用命令

代码语言:javascript
复制
roslaunch rgbdslam rgbdslam.launch

启动rgbdslam节点的时候会提示你 “required process[rgbdslam-2] has died” 这样的问题。在博客【3】中作者也给出了一个解决的方法,但是其中有些操作是不需要的,本质上来讲主要是作者使用的g2o和PCL版本的问题,我们只需要把ROS中自动安装的g2o版本卸载掉,然后安装作者提供的 g2o和PCL(1.8.0)版本即可。

1.安装依赖项

代码语言:javascript
复制
sudo apt-get install libsuitesparse-dev libeigen3-dev

2.删除之前安装的g2o (保证g2o完全删除)

代码语言:javascript
复制
 sudo apt-get purge ros-kinetic-libg2o libqglviewer-dev 
 sudo rm -rf /usr/local/include/g2o
 sudo rm -rf /usr/local/lib/libg2o_*

3.下载作者使用的g2o:

代码语言:javascript
复制
    git clone https://github.com/felixendres/g2o.git
    mkdir build
    cd build
    cmake ..
    make
    sudo make install 

4.下载安装PCL1.8

代码语言:javascript
复制
   cd ~/Code/
   wget https://github.com/PointCloudLibrary/pcl/archive/pcl-1.8.0.tar.gz  

按照博客【3】的说明:修改PCL1.8 中的 cmakelist.txt,在其第146行加入并保存 “SET(CMAKE_CXX_FLAGS “${CMAKE_CXX_FLAGS} -std=c++11”)”

随后开始编译安装点云库

代码语言:javascript
复制
   cd pcl-pcl-1.8.0
    mkdir build
    cd build
    cmake ..
    make VERBOSE=1
    sudo make install 

5. 根据博客【3】的说明,修改rgbdslam_v2包下的CMakeList.txt文件,

  • a. 将rgbdslam_v2包下的cmakelist.txt文件的第79行,find_package(PCL 1.7 REQUIRED COMPONENTS common io) 改为 find_package(PCL 1.8 REQUIRED COMPONENTS common io)
  • b.同时关闭使用GPU ,将rgbdslam_v2包下的cmakelist.txt文件的第7行,set(USE_SIFT_GPU 1 CACHE BOOL “build with support for siftgpu”) ,改为 set(USE_SIFT_GPU 0 CACHE BOOL “build with support for siftgpu”)

安装了作者使用的g2o和PCL1.8版本的点云库以后,删除掉 rgbdslam_catkin_ws 目录下的 devel 目录和 build目录 重新编译这个ROS工作空间就可以正常运行rgbdslamv2

代码语言:javascript
复制
roslaunch rgbdslam rgbdslam.launch

随后我们修改包中的rgbdslam.launch文件,将算法接收的topic改为以下值。并启动rgbdslam节点

<param name=”config/topic_image_mono” value=”/camera/rgb/image_color”/> <param name=”config/topic_image_depth” value=”/camera/depth/image”/>

新开一个终端,播放TUM RGBD的数据集【5】中任意一个包就可以运行建图程序了

代码语言:javascript
复制
rosbag play rgbd_dataset_freiburg1_xyz.bag

效果如下:

我自己修改注释后的代码放在了这个地址【4】

2、算法流程解析

rgbdslam结合了QT界面,使得保存地图,轨迹和octomap的操作界面化了,因此我想深入挖掘以下其中的代码框架,从作者的论文【1】来看,rgbdslam的算法并不复杂,该算法主要分为4个部分:

  • 1、对每一帧RGB图像提取特征点、计算特征点描述子。作者使用的特征点包括SIFT特征点和ORB特征点,使用的特征点种类可以通过launch文件进行选择,同时该框架也支持使用gpu加速SIFT(做工程的同学可以尝试尝试)
  • 2、利用RANSAC和ICP算法计算两帧图像之间的相对旋转和平移(R,t),这是RGBD SLAM中的常用算法
  • 3、利用作者提出的EMM测量模型判断估计值是否可以接受(判断投影点的深度),这也是作者的核心贡献
  • 4、作者使用最小生成树模型进行回环检测(这与我们接触到的BOW词袋库模型有所不同),构建位姿图优化模型,最后利用g2o优化工具求解这个优化问题。

作者将前三个步骤作为前端,第四部分作为后端。作者在后端优化中只优化了相机的位姿,没有像ORB-SLAM那样同时优化3D点的位置和相机位姿,这可能是rgbdslam建图不准确的原因之一。因为深度相机在物体边缘处的深度值通常有很大的跳变,因此我们不能完全相信特征点的 值,尤其是边缘处的特征点的深度。 这个现象在高博的论文中也提到过,所以高翔博士使用了平面特征和边缘特征对特征进行了分类。

这里我们先简要的分析了算法的流程和功能模块,接下来我们将深入阅读作者的代码,分析代码的逻辑结构。

(未完待续)

参考资料:

【1】”3D Mapping with an RGB-D Camera”, F. Endres, J. Hess, J. Sturm, D. Cremers, W. Burgard, IEEE Transactions on Robotics, 2014.

【2】代码链接:https://github.com/felixendres/rgbdslam_v2

【3】 https://blog.csdn.net/zhuoyueljl/article/details/78536996?reload

【4】修改后的代码:https://gitee.com/cenruping/rgbdslam-v2

【5】TUM数据集 http://vision.in.tum.de/data/datasets/rgbd-dataset

【6】rgbdslam分析:https://www.cnblogs.com/voyagee/p/7027076.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/193582.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年9月15日 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1、安装运行
  • 2、算法流程解析
  • 参考资料:
相关产品与服务
GPU 云服务器
GPU 云服务器(Cloud GPU Service,GPU)是提供 GPU 算力的弹性计算服务,具有超强的并行计算能力,作为 IaaS 层的尖兵利器,服务于生成式AI,自动驾驶,深度学习训练、科学计算、图形图像处理、视频编解码等场景。腾讯云随时提供触手可得的算力,有效缓解您的计算压力,提升业务效率与竞争力。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档