54. 多径干扰-3D相机面临的另一个挑战 (TOF系列4)

在上一篇文章：53. 3D相机面临的困难问题和解决方案 (TOF系列3)中，我们看到了影响3D相机在实际环境中使用的第一个因素：环境光照

今天我要给你介绍的是对3D相机的第二个重要挑战：光的互反射。我们依然讲解Mohit Gupta教授在2015年ICCV Tutorial中的课件：Core Challenges Faced by Time-of-Flight Cameras

我们来看看用3D相机测量这个房间时会发生什么。正如你在图所看到的，在用3D相机测量这个房间时，到达传感器的光线由互反射光和直接反射光构成，因此它测量得到的距离显然会是多种光路的综合结果。

这样的综合结果是有较大误差的。比如这个3米见方的房间，用连续波TOF实际测量时误差可以到1米，这显然是不能接受的。

让我们看看其中的细节，正如在52. 光的飞行时间技术 (TOF系列2)中介绍的，连续波调制TOF通过光源向目标发射经过调制的光波，并计算接收的光波与发射光的相位差来计算距离。其中，相移正比于传输距离——这个原理对于仅有单条直接反射的光路时是成立的。

然而当场景变得复杂，使得有明显的互反射的情况下，反射的光线会有多条。

此时对相位差的计算就会有较大的误差了，因此深度计算也就不再准确。

互反射是一个经典的问题-它已经在许多不同领域的学术论文中进行了研究，包括明暗处理，光度立体，以及结构光和TOF。但是，以前大多数解决方案都假设摄像机接收的所有间接光都来自2到3条离散稀疏的光路。

这显然和实际情况不符合，实际上传感器接收到的光线可能来自于很多条、甚至无限条不同的光路。

以前那些只能处理稀疏间接光路的方法就不管用了，有什么更好的方法吗？下面就来介绍一下Mohit Gupta教授在下面这篇论文中提出的一种方案

这种方案非常先进，在刚才展示的测量封闭房间3D结构的测试中，所得到的结果(橘红色线）很接近真实情况，这是如何做到的呢？

Gupta认为，我们虽然无法直接将直接光和间接光分离开，但是如果有办法将间接光的影响降低或者消除，那么也能够达到同样的目的。首先，他观察到虽然直接光和间接光的相位和幅度不同，但是他们和原始发射光都有着共同的频率：

传统上我们只用光强来表示一条光线，现在我们可以将正弦调制后的光波表示为“相量(Phasor)”，这是一种矢量，既包括光强信息，还包括相位信息，如下图所示。你可以看到相量表达这里没有显式表现频率信息。

相量表达很容易表现光传播的各种形态，比如自由空间传播时仅有相位改变。

反射发生时，幅度改变

介质导致相位和幅度同时改变

多条光路叠加形成新的相位

现在我们看看图中两条相邻的光路，他们具有大致相同的幅度，但是长度略微不同。因此，对应的相量的相位略有不同，但振幅相同。

我们接着考虑从这个小光锥开始的光路连续体。同样，它们都有大致相同的强度，但长度不同，所以相量在相量域中描绘出这个连续的扇区。

成像时，这些光路会叠加到传感器上，形成对光路的测量结果。这里要提醒一个事实，即相位角与距离以及调制频率成正比，这意味着频率越高，相位角越大

而不同方向向量的叠加会导致幅度抵消，最终会使得高频互反射分量叠加为常量

需要提醒的一点是，通过提高频率我们能做到的是将所有互反射光路的震荡抵消掉，使之最终成为一个直流常量（而不是消除掉互反射光）。这个直流常量是未知的，但它不会影响掉相位差，这就足够了。Gupta在论文中证明，如果使用足够高的频率，即使在具有无限数量的间接光路的一般情况下，也有可能解决互反射问题。

然而，这里又会引入另外一个问题：深度模糊。因为我们通过计算相位差来推导距离，但当B点足够远时有可能超出最大周期，使得最终相位差与A点一样 ，这就使得最终计算的相位无法推断出到底目标位于B点还是A点。

如果只采用一个调制频率，那么我们就只有降低频率，扩大周期，才能确保探测距离足够远，尽量减少一定距离范围内的深度模糊问题。这就和Gupta所想的提升频率解决多路干扰问题的方法冲突了。

幸运的是，可以通过两个非常接近的高频来模拟低频信号来解决这个矛盾，这个概念叫做beat frequency， 在音乐、声学等领域也经常用到。

直观来说，即便在某个高频信号上两个不同距离的目标反射的光呈现出相同的相位，在另外一个相邻的高频信号上调制的反射光却会表现出不同的相位，我们据此可以推断出正确的距离。

通过这种原理，Gupta提出了一种叫做Micro ToF的技术方案，这里光源由两个频率接近的高频信号调制。传统的连续波调制ToF需要拍摄三张图像来确定场景的深度，而Micro ToF只需要拍摄四张图像，就可以在获取深度的同时解决互反射问题以及深度模糊问题。

Gupta教授在讲义中还展示了一个挑战性的例子，如图所示。在这个实验中我们需要在两扇墙面的夹角一定的情况下测量一个V字形的墙面的几何结构，而两个墙面之间有大量的互反射干扰判断。

换个角度看看是这样

实测结果是，当墙面夹角45度时，传统ToF的测量误差平均是86.6毫米，而Micro ToF只有2.8毫米。

当墙面夹角分别为60度、90度时，Micro ToF的结果依然是稳定优异的

由此可见Gupta提出的确实是一个非常不错的方法，因此相应论文的引用量也是很高的。

上述思想不仅仅用在了ToF 3D成像中，也被用到了条纹结构光技术中。这种技术通过投影条纹到目标上，然后相机获取到覆盖了条纹的目标图像后计算空间的三维信息，这里面最重要常用的技术叫做Phase Shift(相移）

传统的条纹结构光技术采用的是低空间频率的条纹

而Gupta等提出的Micro Phase Shift技术，则采用了高频条纹

这种方案很好的解决了互反射等多光路导致的问题。比如，在测量下面这个凹形的碗时，碗的内壁会导致大量的互反射，传统测量方式会产生严重的错误

而采用Gupta等提出的方案，这个问题被轻松解决

还有一个例子是测量浴帘形成的平面。由于浴帘是半透明的，因此光会穿过浴帘在后方的墙面上反射回来，形成多路干扰。采用传统方案很难测量准确这样的场景。

事实上传统相移确实会得到非常差劲的结果——而Gupta等的微相移(Micro Phase Shift)则可以得到非常完美的结果。

事实上，即便是因为散射介质存在引起的多条互反射光路，也是可以利用两个甚至多个相邻高频调制光来解决，这确实是一个非常好的方案。

到此为止，我已经介绍了影响ToF在内的3D相机在实际应用时的因素和解决方案，包括环境照明、散射介质、几何原因等，剩下的材质属性也是一个大的话题，在我引用的课件中Gupta教授也进行了阐述。

总而言之，未来的3D相机，包括ToF相机的发展方向一定是在任何场景、环境下都能够得到准确的场景三维信息，让我们拭目以待。

参考资料

这篇文章主要讲解了Mohit Gupta教授在2015年ICCV Tutorial中的课件

这份课件最好的地方就是每一页都有老师的演讲稿，在此向老师的开放精神致敬！