NeurIPS2022的Spotlight文章，性能超出当前SOTA的神经隐式表面重建方法20%

作者：付前程，徐青山，Yew-Soon Ong，陶文兵

单位：华中科技大学，南洋理工大学

• 论文链接： https://arxiv.org/abs/2205.15848
• 代码链接： https://github.com/GhiXu/Geo-Neus

1 引言

近年来，通过基于体渲染技术的神经隐式表面学习来实现多视图三维重建成为计算机三维视觉领域研究的热点。然而，目前仍然存在一个关键性问题亟待解决：现有的方法缺乏明确的多视图几何约束，因此通常无法实现几何一致的三维重建。为了应对这一问题，我们提出了一种几何一致的神经隐式多视图三维重建算法。首先，我们从理论上分析了基于积分的体渲染技术和基于空间点的符号距离函数（SDF）建模之间存在着固有偏差。为了消除这一偏差，我们直接定位到SDF网络的零测度集，并通过利用来自运动恢复结构(SFM)的稀疏三维信息和多视图立体视觉（MVS）中的光度一致性约束来显式地对表面进行多视图几何优化。这保证了我们的符号距离函数优化无偏，并使得多视图几何约束聚焦于真正表面的优化。大量实验表明，我们提出的方法在复杂的精细结构和大范围的平滑区域都实现了高质量的三维重建，从而在性能上大大优于现有技术。

2 研究动机

受到从输入图像学习体密度和辐射场的神经渲染技术[1,2]的启发，最近三维重建领域的一些工作[3,4]开始使用符号距离函数（SDF）[5]表示表面，并引入基于SDF的密度函数，使得现有方法在体渲染过程中能够学习隐式SDF表示。然而，目前这些工作在本质上仍然侧重于利用体积分来进行颜色场的建模，而没有利用多视图信息进行几何优化。因此，现有方法还无法实现几何一致的表面重建。

图1：（a）体渲染示意图（b）NeuS和我们提出方法的定性对比图

体渲染技术沿每条光线采样空间点，将颜色表示为空间点对应颜色的积分，离散化为沿光线间隔采样点颜色的加权和，输出当前视图下每个像素点对应的颜色。这一过程如图1（a）所示，这意味着在体渲染的过程中优化的对象是辐射场的积分，而不能定位到真实的表面位置。这显然给几何建模带来了偏差，从而阻碍了对于真实表面的优化。在图中，我们展示了目前的先进方法NeuS的重建结果，我们可以直观地观察到渲染颜色和真实几何之间的偏差。渲染颜色基于MLP表示的颜色场，通过沿光线的体渲染生成。表面颜色为SDF网络预测的表面位置（SDF=0处）对应的颜色。我们可以很容易发现渲染颜色和表面颜色之间的差异。因此，尽管目前方法可以渲染出高质量的视点合成图像，但其重建的物体表面是不精确的。这一情况表明颜色渲染和隐式几何建模之间存在偏差。

为了解决上述问题，我们提出了Geo-Neus，设计了一个显式的神经几何优化模型，利用体渲染学习几何一致的神经隐式表面，实现了更加精确的多视图三维重建。具体地，我们直接定位了SDF网络的零测度集，并利用运动恢复结构（SFM）生成的稀疏几何信息和多视图立体视觉（MVS）中的光度一致性约束来显式地进行多视图几何优化。这种模型有许多优点：首先，直接定位SDF网络的零测度集保证了我们的几何建模是无偏的，使我们的方法能够专注于真正表面的优化。其次，正如图1（b）所示，显式地施加多视图几何约束于SDF网络使得我们的方法可以实现几何一致的表面重建。之前已有的神经隐式表面学习方法主要利用颜色渲染损失来隐式地优化SDF网络，这导致在训练过程中存在几何上的歧义。通过引入两种显式的几何约束，我们的方法可以重建出精确的几何结构，包括复杂的精细结构和大范围的平滑区域。

3 方法介绍

给定物体已知相机姿态的多视图图像，我们的目标是利用神经体渲染急速重建高精度的表面。物体的空间场由符号距离函数（SDF）表示，并使用SDF的零测度集提取相应的表面。在体渲染过程中，我们的目标是优化符号距离函数。在本节中，我们首先分析颜色渲染中的固有偏差，这会导致渲染颜色和隐式几何之间的不一致。然后我们介绍显式SDF优化以保证几何一致。我们的方法流程如图2所示。

图2：方法总体流程图

3.1 颜色渲染中的偏差分析

在体渲染的过程中，渲染结果与物体的真实几何之间存在偏差。渲染颜色与物体表面的真实颜色不一 致。

在这里假设我们考虑的都是不透明的刚性物体。那么当我们的眼睛看到颜色或者我们用相机捕捉到颜色时，简单来说这些颜色是沿着光线进入我们的眼睛或相机的光。基于不透明刚性物体的固有光学特性，我们可以将图像中的颜色C近似为相机位置发出的光线与物体表面相交位置的颜色：

其中，表示物体的表面。这一假设是合理的，经过透射后穿过不透明物体的光可以忽略。因为当光穿过不透明物体的表面时，其强度急剧衰减到约为零。

而对于通过体渲染技术生成的颜色可以表示为：

其中为沿相机发出射线上的点到相机位置的距离，为网络预测的颜色场，为了书写方便公式中的、被省略。沿射线间隔采样进行离散化处理：

需要注意的是，视图合成的目标是对颜色进行精确估计，将GT图像的颜色与预测颜色之间的差异最小化：

在表面重建任务中，比起颜色我们更关注物体的表面。这样，预测颜色可以改写为：

其中

对应空间点的SDF预测值为0，为距

最近的采样点，是由于采样操作造成的偏差，是由于体渲染中加权和操作造成的偏差。训练使得预测颜色趋于GT图像的颜色：

基于此，物体表面颜色与网络预测表面颜色的偏差表示为：

3.2 针对SDF网络的显式监督

SDF网络是我们需要优化的关键，网络预测空间中任一点到物体表面的符号距离。因此，我们提出了一种利用三维空间中的点云对SDF网络进行显式监督的方法，以确保网络的准确性。我们利用运动恢复结构（SFM）得到的稀疏点云信息，基于这些点位于物体表面上的假设，引入其对应的SDF值为零的约束。在渲染过程中，我们考虑到存在物体可能存在遮挡的情况，提出了一种遮挡自适应的监督方法。在SFM恢复稀疏点云的过程中，能够生成二维图像间的特征匹配对。对于图像，其对应相机位置，当前视图下的可见点与特征点具有一致性：

其中,,为对应的相机矩阵。基于此，在渲染一副视图时，我们只将当前视图下可见的稀疏点引入约束，构建SDF损失：

3.3 利用多视图约束的几何一致性监督

为了更好优化SDF网络表示的几何结构，我们通过一阶近似找到网络预测的表面位置，并将多视图约束直接应用于表面上。

首先我们利用体渲染过程中使用的采样点，找到相机射线上SDF符号改变的位置：

通过线性插值，我们找到射线与SDF网络预测表面的交点：

考虑存在的遮挡问题，每条射线上我们只取相交的第一个点：

这些点近似地组成了当前视图下我们SDF网络预测的可见表面。基于此，我们采取类似MVS中patch warp的方法[6]来找到不同视图中对应物体同一位置的patch 与：

进一步地，我们利用归一化交叉相关性（NCC）来度量patch间的光度一致性[7,8]：

考虑遮挡情况，我们选择当前视图和其他视图中NCC最优的四副视图构成光度一致性损失：

3.4 损失函数

在渲染一副视图时，我们的损失函数可以表示为：

其中代表GT颜色和渲染颜色之间的差异:

而是正则项，对SDF网络的梯度进行正则化：

4 实验结果

4.1 数据集和评价指标

我们在DTU数据集和BlendedMVS数据集上对方法进行了评测。在DTU数据集上，我们对方法的倒角距离指标进行了统计。

4.2 定量评测结果

我们在DTU数据集上进行了定量测评，结果如表1所示。我们的方法大幅地超过了基准方法NeuS, 同时相比目前最先进的方法，其在重建精度上也有20%以上的提升。

表1：DTU数据集定量评测结果

4.3 消融实验

针对我们提出来的两种几何约束，我们在DTU数据集上进行了消融实验。如表2所示，我们以NeuS为baseline，逐步添加所提出的损失。可以看到，我们提出的损失函数均有明显作用。

表2：消融实验

4.4 定性实验结果

图3中展示了一些重建的可视化结果对比。

图3：定性结果对比