双目立体视觉

双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。双目立体视觉直接模拟了人类视觉处理景物的方式，成为波动光学三维传感方法中最重要的距离感知技术，同时也是计算机视觉的核心问题，在计算机视觉研究中占有重要地位。80年代美国麻省理工学院人工智能实验室的Marr 提出了一种视觉计算理论并应用在双眼匹配上,使两张有视差的平面图产生有深度的立体图形,奠定了双目立体视觉发展的理论基础。

一．双目立体视觉原理

1.1人眼的双目视觉

人眼系统对信息的处理是一个非常复杂的过程，大致过程为人眼的光学系统接受场景中反

射的可见光，通过视网膜的感光细胞处理传递来的光信号并将其转换为神经冲动，继而变换得到视束，并传递给中枢神经系统，最终在眼底视网膜上形成具体的物像。如图1,1所示为人眼的双目视觉模型，人眼两瞳孔之间存在着一定的间距，大致为 6~7cm，这样使得人的双眼从稍有不同的两个角度去观察客观的三维世界的景物，由于几何光学投影，左右眼视网膜的成像存在着细微的差别，这就是双目视差（Disparity）；双目视差能反映场景中物体的深度信息，也是人眼系统感知立体知觉的生理基础。人类大脑皮层对具有视差的左右眼图像进行融合后，便能提取信息并感受到具有层次感的立体视效，这就是人眼立体视觉的基本原理，计算机视觉技术也是基于此原理发展而来的。

1.2双目立体视觉系统模型

双目立体视觉技术模拟双眼成像原理，由两台不同位置的摄像机（或一台经过移动或旋转

摄像机）来拍摄同一场景，获得两幅数字图像，并通过各种匹配算法来获得对应的像点，由于摄像机拍摄的图像平面和场景中的物体构成了一系列几何三角形，采用三角测量方法，经过计算场景中的空间点在两幅图像中的双目视差便能获得该点的三维空间坐标值，并利用这些深度信息实现更进一步的研究和应用。

1.2.1小孔成像模型

小孔成像模型也称为针孔模型，是计算机视觉中最理想的一种也是最简单的一种成像模型，它近似为线性结构。摄像机的成像模型的一个主要作用便是将真实空间中的点与拍摄的平面图像上的点建立起联系。考虑到小孔成像模型的计算简便、便于分析等众多优点，它的使用率比其他两种模型正交投影模型和拟透视投影模型都要高。

在小孔成像模型中，主要由光心、光轴和成像平面几个部分组成，且假设所有成像过程都

满足光的直线传播条件。根据光的直线传播理论，空间中的物点反射光在经过光心后，投影到平面为一个倒立的像点。虽然作为理想的成像模型小孔成像物理性质极佳，但在实际的摄

像机光学系统中大多是由透镜组成，在透镜成像中需要满足以下条件：

其中，f ’表示透镜的焦距，u 表示物距，v 表示像距。在视觉应用的多数情况中都认为透镜摄像系统的成像模型与小孔成像模型拥有一致的成像关系，近似认为 v≈f’。因此小孔成像模型一直以来都作为相机成像的基本模型来使用。

由于小孔成像的像点倒立，不方便分析和计算，常将光心与视平面进行位置对调。其如图

1.2所示：

1.2.2平行式与会聚式双目立体视觉系统模型

相机的摆放位置不同，系统模型的空间几何结构也不相同，相应的计算方式也会发生改变。

依据相机的摆放方式，双目立体视觉系统模型主要分为两种：平行放置方式和会聚放置放式。

如图1.3所示，其中，由于平行放置方式计算简便，没有垂直方向的视差，是最为常用的模型。会聚方式两台相机的摆放位置要求不严格，相对比较随意。按这种方式放置的相机灵活性较强，能依据现场环境、采集对象特点来进行调整，通过改变摄像机间的距离和角度来获得最好的测量效果。这种方式的一大缺点是计算相对复杂，虽然灵活的调整能保证了两个相机的共同视野足够大，但同时也使得后续的处理变得更加麻烦，左右图像的匹配难度增加了不少。 相机水平平行放置方式又称为标准放置方式，要求两个相机的光轴平行，光心在同一水平线上。在双目立体视觉技术中要求两相机的内部参数是一样的，两个相机之间的距离称为基线，在水平平行放置模型中，理想情况是左相机沿基线距离移动后能与右相机完全重合，在有些场合将单相机安装在导轨上来进行拍摄便是一种很好的选择，这种情况下相机的内部参数一致度高，导轨也保证了水平方向的平行度，但这种方式需要移动相机比较不方便，而且无法实现实时测量。双相机平行放置模型最为简单实用，大大减少了计算量也便于分析，尤其在相机的标定校正上可以非常方便。当然它也存在一些缺点，比如当目标和相机较近时比较容易出现盲区，增大视角的话又可能带来一些畸变，但随着相机制造水平的提高这种相机模型依然是最佳的选择，本文采用相机平行放置方式进行分析计算和实验。

1.3双目立体视觉的工作原理及光路结构

综合上述分析，采用双目立体视觉技术中的小孔成像和平行放置两个基本模型来进行立体

视觉深度和视差的计算分析，其成像原理结构图如图1.4 所示。

理想情况下，两摄像机的光轴平行，并且摄像机的水平扫描线位于同一平面时（即理想的平行视点模型），设P点在左、右图像平面中成像点相对于坐标原点OL和OR（OL和OR是左、右摄像机透镜光轴与图像平面的交点）的距离分别为x1、x2 ，则 P 点在左、右图像平面中成像点位置差x1-x2 被称为视差（disparity）。相机平行放置的一个优点是校正后的图像没有垂直方向上的视差而只有水平方向上的视差即水平视差，也就是说图像中坐标存在 y1= y2 的关系。相机的两个光心之间的距离d 即为基线，当d的值在人双眼间距的变化范围内，那么这个系统便构成了模拟人眼的双目立体成像系统。基线的长度越长所测得的三维场景重构就越精确，但同时双相机的共同视野就越小，存在的遮挡问题就越严重。下图中f’是透镜的焦距，d是两透镜中心之间的距离(基线长度)，z为P点距透镜中心的距离。由图中三角形相似关系得：

由上两式可得P点距透镜中心的距离

z=

当摄像机的几何位置固定时，视差x1-x2 只与距离 z 有关，而与 P 点离相机光轴的距离无关。视差越大说明物体离透镜的距离越近；反之，则越远。该式把物体与像平面的距离（即 3D 信息中的深度）与视差直接联系了起来，所以要得到物体的深度以恢复出物体的三维信息，关键是正确求出视差信息。