ORB-SLAM3理论讲解与代码精析（第2期）

01

背景介绍

自主导航是机器人基础性和关键性技术，是机器人实现其他更高级任务的前提。视觉 SLAM (Simultaneous Localization And Mapping) 利用视觉传感器获取环境图像信息，基于多视图几何算法构建环境地图。视觉SLAM技术广泛应用于无人驾驶、元宇宙、游戏、智能机器人等领域。在无人驾驶方面，一些大厂如腾讯、阿里、百度、华为、小米、商汤等企业投入重金研发，开放大量关于视觉SLAM职位。同时，国内许多独角兽无人驾驶公司如Momenta、AutoX、小马智能和图森未来等举重金招募视觉SLAM人才。随着元宇宙的火爆，国内互联网巨头尤其字节跳动，纷纷将大量资金投入元宇宙，致使视觉SLAM人才进一步稀缺，引发视觉SLAM更高的薪酬与福利。

02

ORB-SLAM3介绍

视觉SLAM是一种基于视觉传感器的 SLAM 系统，与激光传感器相比，视觉传感器具有成本低、保留环境语义信息的优点，能够与深度学习进行大量结合。ORB-SLAM系列算法是视觉SLAM中具有最广泛关注与应用的算法。ORB-SLAM3是一个支持视觉、视觉+惯导、混合地图的SLAM系统，可以在单目、双目和RGB-D相机上利用针孔或者鱼眼模型运行。在大场景/小场景、室内/室外，ORB-SLAM3都能鲁棒地实时运行，被广泛应用于商业化产品中。

03

学习难点

在学习ORB-SLAM3过程中，需要熟悉视觉SLAM的基本原理，吃透ORB-SLAM3算法原理和底层代码，懂得在实际工程中如何部署使用ORB-SLAM3。主要难点包括：

1. 熟悉关键帧、共视图、因子图等重要概念，掌握ORB特征提取和特征匹配算法；

2. 深入理解多视图几何方法，如对极几何、PnP以及ICP，理解IMU预积分的推导过程，并掌握视觉SLAM的运动变化与优化方法；

3. 深刻理解跟踪线程、局部建图线程、闭环与地图合并线程之间的算法逻辑关系，掌握ORB-SLAM3代码含义。

为此我们推出了ORB-SLAM3理论精讲与代码解析课程，从理论与工程角度帮助大家尽快入门进阶！

04

课程大纲

05

课程亮点

1. 从理论与工程角度系统性讲解ORB-SLAM3课程，详细讲解理论算法，代码精析；


2. 富有挑战性的作业习题，将加深你对ORB-SLAM3理论体系的理解，并能对进一步的工程落地和学术研究带来帮助；

3. 专属的学习交流群，可以与讲师，各大院校和企业的人才进行沟通交流，一起分析和讨论遇到的难题，促进能力快速提升；

4. 面向工程落地与学术研究的技术分享，满足学员的不同需求。

06

讲师介绍

曾铂，博士毕业于电子科技大学，江苏省“双创博士”，前华为公司机器人顾问，中国计算机学会智能机器人专委会、计算机视觉专委会委员。

长期从事机器人导航、视觉SLAM、深度强化学习导航方面的研究工作， 在包括IEEE Transactions等SCI期刊和国际会议上发表多篇学术论文，出版机器人专著1项。同时担任IEEE TETCI、IEEE JAS、IROS、自动化学报等多个机器人SCI期刊和国际会议审稿人。

精通主流视觉SLAM算法和基于深度强化学习的视觉导航算法。本课程将详细讲解ORB-SLAM3算法原理及代码精析，帮助同学们掌握ORB-SLAM3，并对视觉SLAM更快入门和更深理解。

07

学后收获

1. 掌握ORB-SLAM3基础理论及代码实现；

2. 真正动手使用ORB-SLAM，并知道结合具体应用场景对ORB-SLAM3算法进行改进；

3. 结合深度学习和深度强化学习，知道如何在学术方面对ORB-SLAM3进行算法改进；

4. 对视觉SLAM常见算法存在的优势与劣势、适应的场景有深刻的理解。

08

课程安排

开营时间：2023年3月24日

上课形式：课程为录播形式，每周解锁一章内容

答疑服务：专属答疑群，主要提供开课到结课期间的答疑（购买课程后请务必添加小助理微信，拉入答疑群）

训练营有效期：为提高学习效率，拒绝拖拉，训练营观看有效期为1年

09

课程作业

本课程暂定设置的作业内容包括如下（也会根据课程的推进，作业内容也会有所调整），希望所有学员在学完本门课程后，都能轻松解决如下问题。

作业1. 使用OpenCV实现ORB算法对图像的特征提取，并完成特征匹配；

作业2. 根据RANSAC计算并分解基础矩阵，求解相机位姿R，t，完成求解代码。

作业3. 深入理解IMU预积分和VIO的基本原理，手写主要的数学公式。

作业4. 多视图几何算法的公式推导与代码实现，如对极几何、PnP和ICP方法。

作业5. 利用公开数据集EuRoc和TUM-VI，完成ORB-SLAM3的部署，实现对数据集进行实时定位与建图；并根据数据集计算定位轨迹的均方差，验证ORB-SLAM3定位准确性。

10

课程设置

1. 系统要求

Ubuntu16.04/18.04/20.04，win10/11，macOS，推荐安装Ubuntu18.04

2. 编程语言：C++

3. 基础要求：有一定C/C++编程基础，熟悉图像处理相关基础知识。