专栏首页计算机视觉life从零开始一起学习SLAM | 不推公式,如何真正理解对极约束?

从零开始一起学习SLAM | 不推公式,如何真正理解对极约束?

版权声明:本文为博主原创文章,未经博主允许不得转载。违者必究。 https://blog.csdn.net/electech6/article/details/83818218

自从小白向师兄学习了李群李代数和相机成像模型的基本原理后,感觉书上的内容没那么难了,公式推导也能推得动了,感觉进步神速,不过最近小白在学习对极几何,貌似又遇到了麻烦。。。

小白:师兄,对极几何这块你觉得重要吗? 师兄:当然重要啦,这个是多视角立体视觉的核心啊

小白:那师兄一定得帮帮我讲清楚啊,最近在看书上这部分内容,感觉很难理解呢! 师兄:哪里不理解?书上公式推导的挺详细了都

小白:这么说吧,公式推导我也能大概看懂,但总觉得不知道为啥这么推导,这样推导的物理意义是什么? 师兄:哦哦,明白啦,就是不能转化为直观的理解方式吧

小白:是的,只能被动接受推导结果,但不能理解背后的原理,这种感觉好差。。 师兄:嗯,那我想想,怎么给你讲。。。说实话,你这个问题挺有意义的

小白:太好啦!开讲吧师兄,小板凳我都搬好啦,瓜子花生都准备好啦

对极几何基本概念 师兄:好。那我就从几何意义的角度来推导一下对极几何中的对极约束吧。先看下面这个图,很熟悉吧,对极约束中很常见的图。它表示的是一个运动的相机在两个不同位置的成像,其中:

左右两个平行四边形分别是相机在不同位置的成像平面 C0, C1分别是两个位置中相机的光心,也就是针孔相机模型中的针孔 P是空间中的一个三维点,p0, p1分别是P点在不同成像平面上对应的像素点

小白:嗯,这个图见到很多次了,不过一直理解的不透彻 师兄:你看上面左侧的图,如果将点P沿着C0-p0所在的直线移动,你会发现P在左边相机的成像一直不变,都是p0,这时候P在右边相机的成像点p1是一直在变化的

小白:对,好像是沿着右边那条红色的线滑动 师兄:嗯,你看C0-C1-P-p0-p1他们都是在同一个平面上的,你可以想象C0-C1-P组成的平面是一个三角尺,它所在的平面称之为极平面(epipolar plane),它像一把锋利的刀,切割了左右两个成像平面

小白:哇塞,这样感觉直观多了 师兄:嗯,其中和成像平面相交的直线称之为极线(epipolar line),两个光心C0, C1和成像平面的交点叫做极点(epipole)。

小白:师兄,好多新的术语啊,都要记吗? 师兄:不用死记,知道是哪个就行了。我们重点来说说极平面,你看下面这个图,C0-C1-P-p0-p1他们是不是都是在极平面上?

小白:嗯,是的,它们都是共面的。

不推公式,如何理解对极约束? 师兄:还记得我们在《从零开始一起学习SLAM | 为什么要用齐次坐标?》里讲的叉乘的定义吗?两个向量的叉乘结果是一个同时垂直于这两个向量的向量。 小白:记得呢,叉乘只在三维空间中有定义,比如两个向量 a和b 的叉乘写作 a x b,它是与向量 a, b都垂直的向量,其方向通过右手定则决定。

师兄:对,除了叉乘,还有点乘,a点乘b的定义是 a * b = ||a||* ||b|| *cos(θ) 因此如果两个互相垂直的向量点乘,cos(θ) = 0,点乘结果也为0。 小白:师兄,这些我都记得呢!可是怎么突然说这个呢,和对极几何有什么关系吗?

师兄:当然有关系!刚刚你说了点乘和叉乘的特点,现在我们把极平面中C0-C1-p0-p1单拎出来,看下面的图

我们能够得到下面的 结论1:

你自己说说为什么这个等式成立? 小白:我看看哈,额,根据叉乘的定义

的结果是一个同时垂直于它们的向量,也就是说垂直于C0-C1-p0-p1组成的极平面,因此这个叉乘的结果再点乘

结果就是0了。是吧,师兄? 师兄:完全正确,用到的都是我们前面刚刚讲过的基础知识~ 小白:可是,师兄,叉乘不是仅在三维空间中有定义吗?我们这里的p0, p1都是图像上的二维点啊

师兄:这个问题问的好!确实如你所说,p0, p1都是图像上的二维点,不过,这里我们会把它变成三维的方向向量来考虑 小白:啥是方向向量啊?

师兄:就是我们只考虑它的方向,而不考虑它的起点或终点的向量。我们假设一个归一化的图像平面,该平面上焦距f =1 ,因此我们可以定义在以C0为原点的坐标系下

而在以C1为原点的坐标系下

小白:这样定义可以吗? 师兄:可以的,事实上,你在C0-C1-p0-p1组成的极平面上,保证

的方向不变,在极平面上随便移动,结论1中等式都成立。同样的道理,在极平面上,保证

方向不变,在极平面上随便移动,结论1中等式仍然都成立。 小白:确实是这样,师兄,下一步怎么办?好像p0, p1不在同一个参考坐标系里?

师兄:是的,前面说过,p0在以C0为原点的参考坐标系,p1在以C1为原点的参考坐标系,所以我们还是需要转换坐标系。这里我们把所有点的坐标都转换到以C0为原点的坐标系。前面说过这些向量都是方向向量和向量起始位置无关,所以这里坐标系变换只考虑旋转就可以。我们记 R 为从C1坐标系到C0坐标系的旋转矩阵 小白:那么 Rp1 就是p1 在以C0为原点的C0坐标系了 师兄:对的~现在再看看结论1

最左边向量C0-p0就可以用p0表示,向量C0-C1就是光心C1相对于C0的平移,我们记为t, 向量C1-p1根据前面的讨论,可以用 Rp1 来表示,那么结论1可以表示为以下的结论2:

这个式子是根据对极几何得到的,我们称之为对极约束。 小白:哇塞,师兄,原来对极约束也可以这样得到啊!我现在能完全理解啦!

如何得到极线方程? 师兄:对,这就是对极约束最直观的解释,一般把中间的部分拿出来,像下面这样,记为本质矩阵或本征矩阵(Essential Matrix)。

然后我们就得到了如下的结论3:

小白:厉害了师兄,这下彻底明白啦,不过之前提到的极线什么的好像也没说怎么求啊? 师兄:其实根据上面结论3就可以求出极线方程啦!

小白:啊,怎么求极线方程? 师兄:还记得我们在《从零开始一起学习SLAM | 为什么要用齐次坐标?》里讲过的点p在直线l上的充分必要条件就是 直线l 的系数与p的齐次坐标p’的内积为0

小白:记得呢!那节课的习题我都认真做了,所以印象深刻! 师兄:不错!那结论3我们就可以把Ep1看做是直线的方程,p0看做是直线上的点,也就是说Ep1就是以C0为原点坐标系中的极线了。如下图中红色线条所示,就是极线啦,它的方程是E*p1。

小白:原来如此,看来以前的基础很重要啊!哪里都能用上。谢谢师兄,今天没有推导公式,我竟然能够得到极线约束的式子,太神奇了,而且印象很深刻!

师兄:嗯,相信以后你肯定不会忘记啦! 小白:师兄,我们去吃大餐庆祝一下吧! 师兄:走起~

师兄:等下,今天的作业还没留呢! 小白:(我晕,师兄记性真好。。)

作业 作业1: 证明:对三维列向量下面等式恒成立。其中等式左边 X 表示叉乘,等式右边上三角符号表示反对称矩阵。

作业2: 题目:现有一个运动着的相机拍摄的连续两张图片,其中特征点匹配部分已经完成。请根据两帧图像对应的匹配点计算基础矩阵,并利用该矩阵绘制出前10个特征点对应的极线。 参考结果是这样的:

原文链接:从零开始一起学习SLAM | 不推公式,如何真正理解对极约束? 相关阅读 从零开始一起学习SLAM | 为什么要学SLAM? 从零开始一起学习SLAM | 学习SLAM到底需要学什么? 从零开始一起学习SLAM | SLAM有什么用? 从零开始一起学习SLAM | C++新特性要不要学? 从零开始一起学习SLAM | 为什么要用齐次坐标? 从零开始一起学习SLAM | 三维空间刚体的旋转 从零开始一起学习SLAM | 为啥需要李群与李代数? 从零开始一起学习SLAM | 相机成像模型 零基础小白,如何入门计算机视觉?

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 从零开始一起学习SLAM | 点云到网格的进化

    版权声明:本文为博主原创文章,未经博主允许不得转载。违者必究。 https://blog.c...

    用户1150922
  • 智能手机双摄像头原理解析:广角+长焦

    智能手机双摄像头原理解析(上)中介绍了普通彩色相机+ 彩色相机、彩色相机 + 黑白相机的组合方式。下面继续说说广角镜头 + 长焦镜头的组合方式。这种组合最大的优...

    用户1150922
  • 从零开始一起学习SLAM | 为啥需要李群与李代数?

    很多刚刚接触SLAM的小伙伴在看到李群和李代数这部分的时候,都有点蒙蒙哒,感觉突然到了另外一个世界,很多都不自觉的跳过了,但是这里必须强调一点,这部分在后续SL...

    用户1150922
  • 【python-leetcode210-拓扑排序】课程表Ⅱ

    在选修某些课程之前需要一些先修课程。 例如,想要学习课程 0 ,你需要先完成课程 1 ,我们用一个匹配来表示他们: [0,1]

    绝命生
  • 23 列表渲染与“就地复用”原则

    除了使用for in,还可以使用for of。以of代替in,在数组遍历与对象遍历中是通用的。

    李艺
  • 信号处理之频谱原理与python实现

    EEG信号是大脑神经元电活动的直接反应,包含着丰富的信息,但EEG信号幅值小,其中又混杂有噪声干扰,如何从EEG信号中抽取我们所感兴趣的信号是一个极为重要的问题...

    脑机接口社区
  • Linux下搜狗输入法和快捷键Ctrl+Space冲突的解决

    把搜狗的启动快捷键给删了(如果有两个键盘【英+中】,你按Shift就可以切换了,完全没必要占着茅坑)

    逸鹏
  • 详解如何在Android Studio中添加RecyclerView-v7支持包

    一直知道RecyclerView可以代替ListView、GridView使用,听说功能很强大,但还没有去学习过。今天想学习,没想到还没开始便撞墙了。输入Rec...

    砸漏
  • CV学习笔记(二十三):发票类OCR识别

    在基本完成了银行卡识别之后,开始新的任务:发票类OCR识别。发票类OCR识别一直以来也是OCR之中的热点,包括证件类识别等等,后续都要一步步来。

    云时之间
  • Dubbo与SpringBoot整合的三种方式(12)

    3.主配置类中规定扫描类的路径,使用@EnableDubbo(scanBasePackages="com.sangyu.gmall")

    桑鱼

扫码关注云+社区

领取腾讯云代金券