CVPR 2024 | VastGaussian：用于大型场景重建的3D高斯

作者：Jiaqi Lin, Zhihao Li, Wenming Yang等 来源：CVPR 2024 论文题目：VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction 论文链接：https://arxiv.org/abs/2402.17427 内容整理：梁焕雄 3D 高斯在小规模和以对象为中心的场景中效果很好，但由于训练显存大和优化时间长，难以扩展到大型场景。为此，作者提出了 Vast-Gaussian ，一种基于 3D 高斯的大型场景重建和实时渲染的方法。论文中，作者提出了一种渐进式分区策略，将大场景划分为多个单元，其中摄像机和点云按照空域感知可见性标准进行划分。这些单元经过并行优化后合并成一个完整的场景。同时，作者将解耦外观模块引入优化过程，以减少渲染图像中的外观变化。该方法优于现有的基于 NeRF 的方法，并在多个大型场景数据集上实现了 SOTA 效果，实现了快速优化和高保真的实时渲染。

引言

基于NeRF的方法在处理大型场景时，渲染时间长且渲染效果差。而现有基于3D高斯的方法由于训练内存大、优化时间长和外观变化剧烈，难以扩展到大型场景。

为解决 3D 高斯应用于大型场景的问题，作者提出了基于 3D Gaussian Splatting 的大型场景重建 (Vast 3D Gaussian)。首先，将一个大场景划分为多个单元，独立优化每个单元，最后将它们合并成一个完整的场景。此外，通过合并新单元或微调特定区域可以实现场景的拓展，而无需重新训练整个大场景。为了减少由外观变化引起的漂浮物，作者提出了解耦外观模块辅助优化。对几个大型场景的实验证实了该方法相对于基于 NeRF 的方法和原 3D Gaussian Splatting 方法的优越性。

方法

渐进式分区策略

图1. 渐进式分区策略

将一个大场景划分为多个单元，并将部分点云

和视图

分配给这些单元以进行优化。每个单元包含较少数量的 3D 高斯点，并行优化时减少所需训练时间和内存。渐进式分区策略的流程如图 1(a)-(d) 所示。

基于相机位置的区域划分

如图 1(a) 所示，根据投影到地平面上的相机位置对场景进行分区，使每个单元包含相似数量的训练视图，以确保不同单元之间的迭代次数相同。首先将地平面沿一个轴划分为

个部分，每个部分包含大约

个视图。然后这些部分中的每一个都沿着另一个轴进一步细分为

段，每个段大约包含

个视图。该分区策略同样适用于其他划分方法，例如扇形划分和四边形划分。

基于位置的数据选择

如图 1(b) 所示，通过扩展边界增加每个单元的训练视图

和点云

。具体来说，让第

个区域以

矩形为界，将原始边界扩大一定比例，论文为20%，得到尺寸更大的矩形

。根据扩展边界将训练视图 V 分割为

，并以同样的方式将点云

分割为

。

基于可见性的相机选择

选择的相机数量不足可能导致渲染细节差或漂浮伪影。为此，需要基于可见性标准添加增加相机数量，如图所示如图 1(c) 所示。给定一个尚未选择的相机

，令

为图像

中第

个单元的投影面积，并令

为

的面积，可见度定义为

，选择能见度值大于预定义阈值

的摄像机。由于该可见度与空域无关，仅考虑物体表面，可能导致渲染时产生漂浮物。对此，引入了空域感知的能见度计算，如图 1(f) 所示。具体地，由第

个单元中的点云形成轴对齐的边界框，其高度被选择为最高点与地平面之间的距离。将边界框投影到

上并获得面积

。该方案考虑了所有可见空间，确保在给定可见性阈值下，选择出对该单元的优化重要的相机。

基于覆盖范围的点选择

在向第

个单元的摄像机集

添加相机数量后，将

中所有视图覆盖的点添加到

中，如图 1(d) 所示。新选择的点可以提供更好的初始化，如图1(g) 所示。对新增的点云进行初始化，可以得到正确的新 3D 高斯以进行优化，而不是在第

个单元中生成漂浮物。在单元优化后，单元外部生成的 3D 高斯点将被移除。

解耦外观模块

图2. 解耦外观模块

不均匀照明所拍摄的图像会存在明显的外观变化。为此，在优化过程中引入解耦外观模块，生成一个变换图来调整渲染图像以适应训练图像中的外观变化，如图2所示。

首先对渲染图像

进行下采样，防止变换图学习到高频细节，并减少计算和内存的负担。然后，将长度为

的外观嵌入

连接到下采样图像的每个像素，从而获得具有

通道的 2D 图

。

输入到卷积神经网络 (CNN)，该网络逐步对

进行上采样，生成与

具有相同分辨率的

。最后，

对

进行逐像素变换

获得外观变体图像

：

外观嵌入和 CNN 与 3D 高斯一同优化，损失函数如下：

由于

主要决定结构差异，因此将其应用在

和原图

之间使得

中的结构信息接近

。损失

应用于外观变化渲染

和

之间，用于拟合可能与其他图像具有明显外观变化的真实图像

。

无缝合并

在独立优化所有单元之后，需要将它们合并以获得完整的场景。对于每个优化的单元，在边界扩展之前删除原始区域之外的 3D 高斯。然后，合并这些不重叠单元的 3D 高斯。合并的场景在外观和几何形状上是无缝的，没有明显的边界伪影，合并场景中包含的3D高斯总数可以大大超过作为整体训练的场景，从而提高了重建质量。

实验结果

对比实验

图3. 三种SOTA方法和 VastGaussian 对UrbanScene3D 数据中住宅场景的渲染

表1. VastGaussian与其他SOTA方法在5个大型场景上的定量评估

如表1 所示，VastGaussian 在 SSIM 和 LPIPS 指标中都显著优于其他方法，表明其重建质量高，渲染效果好。VastGaussian 的高质量重建部分归功于其大量的 3D 高斯点。以 Campus 场景为例，Modified 3DGS 中的 3D 高斯数量为 890 万，而对于 VastGaussian，高斯数量为 2740 万。

表2. 训练时间、训练显存消耗（VRAM）和渲染速度的比较

如表2 所示，VastGaussian 训练时间短。与 Modified 3DGS 相比，VastGaussian大大降低了单GPU的显存消耗。由于 VastGaussian 在合并场景中比 Modified 3DGS 有更多的3D高斯点，因此其渲染速度比 Modified 3DGS 慢，但仍然比基于 NeRF 的方法快得多。

消融实验

图4. 基于可见度的摄像机选择和基于覆盖范围的点选择可以减少空域中的飘浮物

表3. 分区策略、可见性计算和解耦外观模块的消融实验

如图4 和表3 所示，基于可见度的相机选择（VisCam）和基于覆盖的点选择（CovPoint）均提高了重建质量。基于可见性的相机选择确保相邻单元之间有更多的公共相机，消除了边界伪影。

如表3 所示，解耦外观模块明显提升了渲染图象的质量，因为该模块减少了渲染图像中的外观变化，3D 高斯可以从具有外观变化的训练图像中学习一致的几何形状和颜色。

表4. 不同分区数量的影响

如表4 所示，更多的单元数量可以重建更好的细节，从而获得更好的 SSIM 和 LPIPS 值，并缩短训练时间。但是当分区数量大于16时，重建质量的仅略微增加，且 PSNR 稍有下降。

结论

作者提出了VastGaussian，这是第一个针对大规模场景的高质量重建和实时渲染方法。引入的渐进式数据分区策略允许独立单元优化和无缝合并，获得具有足够3D高斯点的完整场景。同时，引入的解耦外观模块解耦了训练图像中的外观变化，并实现了不同视图之间的一致渲染。优化后可以丢弃该模块以获得更快的渲染速度。虽然 VastGaussian 可以应用于任何形状的空间划分，但没有提供应考虑场景布局、单元数量和训练相机分布的最佳划分解决方案。另外，场景较大时，3D高斯分布较多，可能需要较大的存储空间，显着降低渲染速度。