没有3D卷积的3D重建方法，A100上重建一帧仅需70ms

机器之心

发布于 2022-09-13 13:45:16

3540

发布于 2022-09-13 13:45:16

文章被收录于专栏：机器之心机器之心

选自arXiv

作者：Mohamed Sayed等

机器之心编译

编辑：陈萍、小舟

来自 Niantic 和 UCL 等机构的研究者使用精心设计和训练的 2D 网络，实现了高质量的深度估计和 3D 重建。

从姿态图像重建 3D 室内场景通常分为两个阶段：图像深度估计，然后是深度合并（depth merging）和表面重建（surface reconstruction）。最近，多项研究提出了一系列直接在最终 3D 体积特征空间中执行重建的方法。虽然这些方法已经获得出令人印象深刻的重建结果，但它们依赖于昂贵的 3D 卷积层，限制其在资源受限环境中的应用。

现在，来自 Niantic 和 UCL 等机构的研究者尝试重新使用传统方法，并专注于高质量的多视图深度预测，最终使用简单现成的深度融合方法实现了高精度的 3D 重建。

论文地址：https://nianticlabs.github.io/simplerecon/resources/SimpleRecon.pdf
GitHub 地址：https://github.com/nianticlabs/simplerecon
论文主页：https://nianticlabs.github.io/simplerecon/

该研究利用强大的图像先验以及平面扫描特征量和几何损失，精心设计了一个 2D CNN。所提方法 SimpleRecon 在深度估计方面取得了显著领先的结果，并且允许在线实时低内存重建。

如下图所示，SimpleRecon 的重建速度非常快，每帧仅用约 70ms。

SimpleRecon 和其他方法的比较结果如下：

‍

‍‍

‍‍

方法

深度估计模型位于单目深度估计与平面扫描 MVS 的交点，研究者用 cost volume（代价体积）来增加深度预测编码器 - 解码器架构，如图 2 所示。图像编码器从参考图像和源图像中提取匹配特征，以输入到 cost volume。使用 2D 卷积编码器 - 解码器网络来处理 cost volume 的输出，此外研究者还使用单独的预训练图像编码器提取的图像级特征进行增强。

该研究的关键是将现有的元数据与典型的深度图像特征一起注入到 cost volume 中，以允许网络访问有用的信息，如几何和相对相机姿态信息。图 3 详细地显示了 feature volume 构造。通过整合这些之前未开发的信息，该研究的模型能够在深度预测方面显著优于之前的方法，而无需昂贵的 4D cost volume 成本、复杂的时间融合以及高斯过程。

该研究使用 PyTorch 来实现，并使用 EfficientNetV2 S 作为主干，其具有类似于 UNet++ 的解码器，此外，他们还使用 ResNet18 的前 2 个块进行匹配特征提取，优化器为 AdamW ，在两块 40GB A100 GPU 上耗时 36 小时完成。

网络架构设计

网络是基于 2D 卷积编码器 - 解码器架构实现的。在构建这种网络时，研究发现有一些重要的设计选择可以显著提高深度预测准确率，主要包括：

基线 cost volume 融合：虽然基于 RNN 的时间融合方法经常被使用，但它们显著增加了系统的复杂性。相反，该研究使得 cost volume 融合尽可能简单，并发现简单地将参考视图和每个源视图之间的点积匹配成本相加，可以得到与 SOTA 深度估计相竞争的结果。

图像编码器和特征匹配编码器：先前研究表明，图像编码器对深度估计非常重要，无论是在单目和多视图估计中。例如 DeepVideoMVS 使用 MnasNet 作为图像编码器，其具有相对较低的延迟。该研究建议使用很小但更强大的 EfficientNetv2 S 编码器，虽然这样做的代价是增加了参数量，并降低了 10% 的执行速度，但它大大提高了深度估计的准确率。

融合多尺度图像特征到 cost volume 编码器：在基于 2D CNN 的深度立体和多视角立体中，图像特征通常与单尺度上的 cost volume 输出相结合。最近，DeepVideoMVS 提出在多尺度上拼接深度图像特征，在所有分辨率上增加图像编码器和 cost volume 编码器之间的跳跃连接。这对基于 LSTM 的融合网络很有帮助，该研究发现这对他们的架构也同样重要。

实验

该研究在 3D 场景重建数据集 ScanNetv2 上训练和评估了所提方法。下表 1 使用 Eigen 等人 (2014) 提出的指标来评估几个网络模型的深度预测性能。