用于实时 3D 重建的深度和法线的高速同测量
来源：SPIE 2021 主讲人：Leo Miyashita 内容整理：王炅昊 深度估计和法线估计在不同空间频率上各有优势，且在3D形状测量中时常互补。然而，传统的深度和法线测量通常是：1. 时分测量 2. 并没有实现高速同时测量。在本文中，作者提出了一种新的光学系统设置，使用主动立体视觉方法和光度立体视觉方法，实时、同时测量深度和法线。此外，作者还提出了一种使用 GPU 的高速 3D 形状重建方法，该方法结合了从两次测量中获得的互补的信息。作者评估了原型系统的吞吐量，结果显示高速深度和法线同时估计以及 3D 形状重建的速度可以达到 500 fps。
- 引言
- 光学系统
- 高速深度-法线融合
- 并行化稠密化方案
- 深度-法线融合
- 实验设置&结果
- 实验设置
- 3D形状的重建
- 吞吐量和延迟
- 参考文献
引言
物体的 3D 形状测量有许多应用领域，如机器人，3D接口、存档和复制等，而 3D 扫描仪已经商用。尽管如此，现存大多数 3D 形状测量系统捕获多个子帧，来测量单个深度图或单个点云，帧速率仅为 30 fps。这种方法在测量动态对象时，系统可能会因子帧之间的模糊或位移而导致噪声和误差。因此，需要单帧高速测量方法来处理移动或变形的目标，例如传送带上的产品、手势和非刚体。另一方面，在仅具有单帧的基于三角测量的方法中，测量的 3D 点云将是稀疏的，因为它难以获得密集的对应关系。而在使用飞行时间 (ToF)相机的情况下，由于散粒噪声，单帧深度的精度也相对较低。因此，为了实现对动态物体的密集、准确和高速的 3D 形状测量，不仅需要简单地在单帧中加速过程，还需要用别的方式提升测量精度和效率。
对于高速测量，使用高速相机和高速图像处理的基于三角化的方案是可选方案之一。除此之外，波分测量允许在单个帧的相同时间段内复用多个测量。特别是近红外 (NIR) 波长的相机和光学系统，可以与使用可见光 (VIS) 的传统测量系统一起有效工作，因为用于可见光区域的高速相机通常也对 NIR 区域具有灵敏度，可以在各自的波长下与不同的测量方案同步工作。此外，为了获得目标的高质量 3D 形状，整合在每个波长测量的不同物理量是一种实用的策略，就如此前提到的深度和表面法线，两者是互补的，它们的融合有可能产生高质量的 3D 形状。深度提供关于绝对位置的信息，即低频分量，它意味着深度测量适合粗略地掌握目标的形状，但不足以详细捕捉表面的不平整度。另一方面，表面法线包含表面轻微倾斜和凹凸的信息，即高频分量，但缺乏距离信息。
光学系统
本文所提出的光学系统如下图所示：
在作者提出的光学系统中，五个高速相机用于同时、高速测量深度和法线。具体而言，相机1、2和投影仪在可见光区域中采用一次性结构光法形成深度测量系统，而相机3、4、5与红外区域的三色光照一起，使用三色光度立体视觉法测量表面法线。光学系统中的冷镜（cold mirror）将入射光分离为可见光和近红外光，而近红外光通过其他分色镜再次分裂为三种波长。通过这些光学元件，相机 2、3、4、5 虚拟地位于相同的位置，这种布局可以省略 3D 形状重建中的坐标变换。此外，每台相机都配备了带通滤波器，以提高波长分离性能并确保测量的准确性。
高速深度-法线融合
并行化稠密化方案
基于 Nehab 等人提出的方法[1]，为了有效地将深度信息和法线信息融合，系统所测量的稀疏深度信息需要与法线信息一样有着同样的密度。虽然通过插值来密集点云的方法有很多，但该系统的设计中需要并行化的无条件判断分支，并且还需要队表面法线进行有效利用，以高速、合理地得到所需的形状。为此，作者引入了下式中的稠密化方法：
若
是一个插值得到的3D点，其对应的相机坐标系下的2D点为
， 而
是对应于2D点
的3D测量点，而
分别对应相机的光心位置、焦距和法向量的各分量。除此之外，
是一个权重函数，它根据输入的2D距离给出一个权重，距离越小，权重越大。该插值基于以下假设：目标的表面局部区域非常光滑，以至于足够相邻的点位于测量的表面法线定义的同一平面上。由此得到下面的等式：
(2)
其中
是测量得到的
的法线向量。该插值方式只有在满足等式2的邻近点充足的情况下才能实行。但是，它同时也帮助避免了邻域搜索和条件分支。结果证明，该方案可以高效并行地对每一个
进行计算。
深度-法线融合
稠密化后，稠密深度和法线相结合，可以通过解一个最小二乘问题来解出优化后的深度：
这里，
是将所有深度值放在
深度图上的向量，稠密化后得到的初始值都带有后缀0。参数
决定了优化中深度和法线之间的影响比，
表示距投影中心的距离。此外，
是从微分滤波器导出的切向量。由于这是一个线性问题，方程3中的问题可以通过计算
的伪逆矩阵来简单解决。然而，矩阵
可能是一个很大的稀疏矩阵，很难在与测量速率同步的帧率上计算伪逆矩阵。例如，当图像的大小为 VGA (640 x 480 pix) 时，稀疏矩阵将有大约 90 万行、大约 30 万列和大约 460 万个非零元素。由于在这种情况下计算量与行数的立方成正比增加，因此输入的图像越大，实时3D重建就越困难。
为了解决该问题，作者将整个图像分成重叠的
块，如下图所示，并通过对每个块中深度进行局部优化后，将他们整合起来的方式，获得对该问题的近似解。这种深度和法线的逐块融合仅考虑每个块中的信息，因此会在块的边界处造成
的间隙。但是，可以通过截断重叠区域来抑制间隙。此外，作者通过 QR 分解并行解决公式 3 中的问题，因为该算法可以在 GPU 上有效执行。
实验设置&结果
实验设置
如下图所示，实际测量系统由五台高速相机（Basler、ace acA640–750um、640×480@500fps）、一台DLP投影仪（Texas Instruments、LightCrafter4500、1280×800）、三颗大功率NIR LED（OSRAM、SFH）组成4786S、SFH 4715AS、SFH 4725S、810 nm、860 nm、940 nm）和三个分色镜，包括一个冷镜（SIGMA KOKI，特殊订单）。此外，在实现中，在64GB RAM的CPU（Intel，Xeon E5-2687W @ 3.10 GHz，2个处理器）上进行了图像采集、图像去失真和深度测量，在GPU上进行了正常测量、稠密化和重建（NVIDIA、Titan RTX、4608 个 CUDA 内核和 24GB VRAM）。在本实验中，作者测量了下图中(b) 所示的带有详细雕刻的白色兔子雕像，使用了公式4中的高斯加权函数，其中
，而参数
和
。
3D形状的重建
作者通过泊松表面重建 和拉普拉斯平滑从测量得到的点云重建3D形状表面，并与用于 3D 表面测量和重建的商业产品（Artec Group，Artec Eva）测量的结果进行比较，如下图所示。在商用产品的结果中，尽管目标在测量中是静态的并且需要大约一分钟的时间进行测量，但表面上的雕刻仍然很模糊。与此同时，图中显示作者所提出的方法提供了更精细的凹槽，即使目标是被高速测量且在测量过程中动态移动的。此外，作者还比较了分块与不分块计算的结果，法线两者差距并不明显。
吞吐量和延迟
该系统的单帧处理效率如下表所示：
作者还提到，稠密化的处理时间与稀疏点云中的点数成正比，并且在当前系统设置中可用点的最大数量为 904 为 1.5ms。因此，最大吞吐量受限于重建的线程，而其为400 fps。此外，单帧的延迟被描述为处理时间的总和。测量的线程是并行执行的，因此较短的测量时间被排除在总和之外，系统的延迟结果约为 7.8 ms。此外，如果有更多的并行计算核心可用，不同的重建线程可以同时处理多个帧，吞吐量和延迟将得到改善。
参考文献
[1] Nehab, D., Rusinkiewicz, S., Davis, J., & Ramamoorthi, R. (2005). Efficiently combining positions and normals for precise 3D geometry. ACM transactions on graphics (TOG), 24(3), 536-543.
最后附上演讲视频：