对极几何概论
数字图像是真实世界中的对象通过光学成像设备在光敏材料上的投影。在3D到2D的转换过程中，深度信息会丢失。从单个或多个图像中恢复有用的3D信息需要使用立体视觉知识进行分析。本文分别介绍了针孔摄像机模型和对极几何的基本知识。
针孔相机
针孔相机是简化的相机模型。光线沿直线传播，被物体反射的光穿过针孔以在成像表面上形成反转图像。针孔与成像表面之间的距离称为焦距。一般而言，针孔越小，图像越清晰，但是针孔太小会导致衍射，从而使图像模糊。
从外部世界的点X发出的光穿过小孔，并投射在像平面上的点x上。
3D空间中的点X和成像平面上对应的点x坐标之间的定量关系为：
我们可以按以下形式表示3D和2D之间的转换。
在实际计算中，我们首先将3D点转换成4维向量（在结尾填充1），然后在左面乘以变换矩阵。这个矩阵P被称为相机投影矩阵，它是完全由相机参数决定的。
上式假定主点p在坐标的原点。实际情况可能并非如此，因此映射变为
该矩阵K被称为相机校准矩阵。
另外，我们的像素也有可能不是正方形，因此，当我们以像素为单位测量图像坐标时，我们需要在每个方向上引入一个非等效的比例因子mx，my。具体来说，在x和y方向上图像坐标每单位距离的像素数为mx，my，则为我们的校准矩阵。
最后，为了提高通用性，我们还需要考虑失真参数s，尽管我们当前的标准相机通常s = 0，
我们可以在世界坐标系X中的点和图像平面中的点x之间做一个映射，表示为
K中的参数称为相机内部参数，其余参数R和C称为相机外部参数。
对极几何
对极几何是两个视图之间固有的射影几何。它与场景结构无关，仅取决于摄像机的内部和外部参数。
对极几何通常用于解决双目匹配和寻找对应点的问题。
在上图中，两个摄像机的中心为C和C'，X为三维空间点，在两个摄像机的成像平面上的投影点分别为x和x'。我们常称：
基线：两个摄像机CC'的光学中心之间的连接。
对极平面：这是一个包含基线的平面。有一组对极平面（以基线为轴旋转）。上图中的一个示例是CXC '
对极线：对极平面和像平面之间的相交线。在上面的图片的例子是xe与x'e'。
对极几何有什么用？
一种是立体匹配问题。当两个视点之间的空间位置关系已知时，由于对极几何的几何模型定义的约束条件，立体图像对上的搜索空间仅位于两个图像中。需要在相应的对极线搜索，并且原始的二维搜索问题直接简化为一维搜索。双目测距是这方面的应用之一。
第二个是确定两个目标点的相对位置和姿态。在未知视角位置的情况下，通过在图像对中搜索匹配点，可以获得两个位置和姿势之间的相对关系。这通常用于机器人导航，地图生成，三维重建等。
基本矩阵
为了表达对极约束中两个成像平面上各点之间的相对关系，在数学中，我们只需要添加一个矩阵（本质矩阵或基本矩阵）即可简洁地写出两者之间的方程关系。
如下图所示，假设已知摄像机参数，则对于空间中的点P，它将唯一确定对极几何与两个摄像机的中心点O和O'之间的几何关系。极、对极线和极平面将全部确定，并且所有空间点都将在平面π上成像为p，它们必须投影在平面π'的极线上，反之亦然。
在实际应用中，我们可以直接使用此属性，但并不是那么简单。因此，在数学中，我们介绍的本质矩阵和基本矩阵使用非常简洁的方程式来总结这种关系。
基本矩阵：我们知道从摄像机1到摄像机2的运动是一个刚体，因此可以通过刚体变换将摄像机1坐标系中观察点P的坐标转换为摄像机2坐标系。
其中R和T分别表示旋转和平移。如果我们将其左侧乘以T，我们得到：
如果将左点乘以P'，则T x P'表示对极平面的法线，
由于P'垂直于法线TxP'，因此存在
我们知道，两个向量的叉积可以转换为一个向量与另一个向量的反对称矩阵的点积，因此
其中，[Tx]代表T的反对称矩阵，我们令E = [Tx] R，然后
基本矩阵E是两个矩阵的乘积，其中R的秩为3，T的秩为2，因此E的秩为2。
基本矩阵的自由度包括三个平移和三个旋转自由度，加上等价的比例，因此基本矩阵的自由度为5。
派生基本矩阵
从上面我们知道基本矩阵的自由度是5，所以至少我们可以使用5对点来求解基本矩阵。但是，由于它们的许多固有属性都是非线性的，因此使用最少的点数求解会比较麻烦，因此通常只考虑比例等价，然后使用8对点求解。这也称为八点法。
考虑一对匹配点及其像素坐标。
根据极线约束，有：
展开上面的矩阵，并以向量的形式编写它：
此时，上述极限约束方程可写为
将八个点的对极约束放在一起可以得到一个方程组：
本质矩阵和基本矩阵可以通过求解方程组来求解。
参考
- Multiple View Geometry in Computer Vision (Second Edition)
- 视觉SLAM十四讲
- Hartley, R. & Zisserman, A., 2003. Multiple view geometry in computer vision, Cambridge university press