55. 对极TOF成像 - 超越传统ToF的方案(TOF系列5)

本文同步发表在我的微信公众号和知乎专栏“计算摄影学”，欢迎扫码关注，转载请注明作者和来源

挑战1：环境照明导致的信噪比问题

挑战2：散射介质和几何原因，材质属性导致的多径干扰问题

不仅如此，我们还需要再提到3D相机所面临的一个新挑战：随着包括ToF设备在内的3D相机越来越普及，这些设备之间的干扰带来的问题也会凸显起来。比如大家的手机上如果都带有ToF相机，特别是不同型号、品牌的手机之间互相没有约定好的协议，那显然会对深度成像带来干扰。

虽然前两篇文章已经介绍了Gupta教授的相位成像方法，一定程度上解决了前两个问题。然而相位成像需要更复杂的成像设备（两个光源频率），且对场景有比较强的假设。例如在论文中，教授提到：

我们的技术假设全局光传输在时间上是连续的和平滑的。虽然这一假设适用于广泛的场景，但对于具有高频光传输的场景(如镜面互反射)，所提出的技术容易出错。

在这种情况下，显然需要一种更好的方法来解决这些问题。这就是今天将要给大家介绍的“对极ToF成像(Epipolar Time of Flight Imaging)”。

事实上，解决ToF成像的各种挑战的思路总结起来，基本上就是两点：集中能量，以及分离光路。而在我之前的文章：利用极线探测技术分离直接光照与非直接光照 已经介绍了O‘Toole的一种非常棒的方法，能够高效的利用光源能量，且有效的分离直接光和间接光，这就是所谓的极线探测技术。利用间接光不满足极线约束关系的原理，可以很容易的分离直接光和间接光。

基于O'Toole的思想，CMU的Supreech Achar等几位学者一起将极线探测运用到了结构光成像上，开发了一个叫做Episcan3D的系统：

http://www.cs.cmu.edu/~ILIM/episcan3d/html/index.html

Episcan3D传感器对不同条件的稳健性源于其独特的成像能力。传感器可以捕捉环境光源(如太阳)的大部分光线被遮挡的地方的图像。它还可以根据光路的类型(单次或多次反弹)或相应的深度范围选择性地对光路进行图像处理。其原型我们已经在以前的文章中展示过：

这个系统获取场景深度的原理是结构光成像，它的光栅扫描投影仪一次照亮场景中的一条扫描线。相机和投影仪是极线对齐的，因此根据对极几何原理，一条投影仪扫描线对应于每个相机中的单行像素。相机上的滚动快门是同步的，以便曝光的行与激活的投影仪扫描线同步。

相比传统的结构光成像，Episcan3D获取的深度图很准确, 如图所示

然而结构光成像自身有其固有的缺陷，深度依然是通过较为复杂的几何原理计算出来的，和ToF这类主动获取深度的方法相比有其不足之处。因此，相关学者就在Episcan的基础上，将同样的核心思想用在了ToF领域，设计开发了EpiToF系统。我们来看看其相对传统ToF成像的优势：

1. 屏蔽环境光，提升信噪比

EpiToF将能量集中到了一条扫描线上，这使得其信噪比很高。传统ToF相机在阳光下会完全无法准确成像，EpiToF的原型样机能够在阳光照射下拍摄320x240分辨率的深度图像，每秒7.5帧，距离可达15米。如果仔细设计和实现各个组件，还能够实现实时深度探测。

2. 仅直接光路成像，避免多径干扰

EpiToF可以区分直接从表面反射的单反射光和涉及相互反射和散射的更复杂的多反射光路径。传统3D成像系统面对复杂光路时通常会出现各种各样错误，但EpiToF对这些类型的光路是健壮的，并能产生准确的测量结果。我们看看图片：

使用常规ToF摄影机时，墙和天花板之间的漫反射会导致高估深度和圆角。而在极线成像中，墙壁看起来则是直的，并以锐利的直角相接

会议桌在掠过的角度上看起来像镜面反射，镜面反射会导致传统ToF发生错误，但EpiToF仅捕捉到第一个直接反射光路，所以结果依然准确。

在卫生间场景中，由于镜子反射而在墙上产生了重影。传统ToF面对这个挑战性的场景会出现明显错误，但这些重影却被EpiToF很好的抑制了，从而得到了更好的结果

饮水台场景特别具有挑战性，因为它的金属表面的直接回光非常微弱，但表面反射回传感器的间接光却很多，EpiToF获得的表面深度更加准确。

3. 支持多相机成像

正如前面所说，随着连续波ToF摄像机出现在越来越多的设备中，它们必须能够在不相互干扰的情况下工作。由于EpiToF的原理，因此即使对于调制频率和光源波长完全相同的设备，它也可以实现无干扰的实时3D成像，如图所示

4. 避免运动模糊

传统的ToF成像一般需要至少两帧图像才能计算深度，当相机或目标物体发生运动时，就会出现成像的错误。经过仔细设计的EpiToF可以一定程度上避免这种运动带来的干扰：

EpiToF可以认为是下一代ToF成像系统，相比现在常见的Microsoft Kinect，Intel Realsense以及其他那些只能在室内或弱光环境使用的传统飞行时间系统，它能适应各种各样的环境。在下面这个视频里面我们可以明显看出EpiTOF的优势。

现在的自动驾驶汽车通常都带有昂贵的激光雷达，它们成像虽然准确，但是获取深度的速度较慢。而EpiTOF能够以很高的帧率获得比较准确的深度图，如图所示

而且即便对着强光源，EpiTOF也能够准确得到深度信息

这个技术展示确实让人激动，我们现在来看看这个系统的原型：这里面包含一个传统的CWToF相机，以及一个经过特别设置和安装的光源。这套系统能够以7.5Hz的频率获取到分辨率为320x240的深度图，且有效范围达到阴天20米，晴天15米。

这里面最特别的是光源设备，经过其中的Powell Lens和Galvomirror的作用，激光光源发出的光最终会变成方位受控的线状，并与相机同步。

在对极线的约束下，光源一次照亮场景中的一条扫描线。在每一行，摄像机在调制波的不同相位捕捉场景的多个图像。然后利用这些图像根据相移原理计算深度图。由于对极线的约束，绝大多数环境光无法被相机所接收，因此成像主要是依赖于直接光路，避免了多径干扰。再加上光源能量被集中到了一条扫描线上，因此信噪比也很高。特别有意思的是，因为这个原理，使得别的相机光源发出的光也被屏蔽了，因此也就避免了多相机之间的干扰。

根据此项目的官网， 作者团队已经为这个技术申请了专利，正在审批中。不得不说，从能够解决的问题看来，这的确是一种很有价值的技术。

今天这篇文章大多数素材都取自EpiToF和Episcan3D的官方网页，感兴趣的读者可以去查看更多的信息。也再次对作者团队的创新精神及开放精神致敬！

本文同步发表在我的微信公众号和知乎专栏“计算摄影学”，欢迎扫码关注，转载请注明作者和来源