街道场景的环境光源估计

来源：ECCV 2022 论文标题：Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion 作者：Zian Wang et al. 内容整理：陈梓煜 论文链接：https://arxiv.org/pdf/2208.09480.pdf 项目链接：本工作聚焦于街景环境光源估计，基于单目图片完成环境光照的估计，根据环境光源和太阳光源的特点，对全场景的光源进行了混合式设计，并支持插入虚拟物体完成光照渲染，以实现光影细节高度真实的编辑效果。

目录

• 简介
• 方法
  • 混合式光场表示
  • 网络结构
  • 可微物体插入
  • 训练及约束
• 实验结果
  • 光场预测

简介

本工作旨在解决从单目图像进户外环境光照估计的任务，尤其是街道场景。这是一个重要的任务，因为它支持虚拟对象插入，可以满足许多下游应用，例如虚拟建筑群中加入新的建筑，逼真地渲染游戏角色到周围环境中，或者作为一种数据增强方法来制作现实中很难采集的数据集，例如道路上的碎片和突然闯入动物，以训练更健壮和高性能的计算机视觉模型。

图1 概览

应用在AR中的光照估计需要考虑复杂的5D（空间位置+方向）光线传输，该任务本身非常具有挑战且难以优化，而户外场景还需要考虑额外的问题，即极端高动态范围的太阳光，这对于渲染出真实的阴影效果至关重要。本工作提出了一种统一的方法，克服了已有工作的限制，从单个图像估计 HDR 场景光场。针对户外场景，我们提出了一种混合照明表示，它由两部分组成：HDR 天空穹顶和周围场景的体素化光场表示。我们采用可被解码为 HDR 环境图的潜向量来表示天穹顶，该环境图旨在模拟太阳强烈的光照强度。我们采用体积球面高斯表示道路和建筑物等非无穷大环境的光场。这样的混合式环境光照设计自然地与体积渲染相结合。作者进一步设计了一个物理化的的虚拟对象插入方法，该方法可以渲染插入的虚拟对象及其在场景上投射的阴影。作者利用光线追踪来捕捉二阶光照效果，光照渲染过程是完全可微的。作者用监督和自监督损失对网络进行训练，并使用针对合成 AR 图像的对抗性训练补充监督信号，以改善光场估计的效果。

方法

混合式光场表示

我们的目标是建模5D光场，即将空间坐标和光照方向映射成为HDR光线，与室内场景不同的是，室外场景需要同时建模极端高动态范围的天空和周围的环境，前者的亮度峰值可能是后者的几个数量级。针对这个问题，我们提出了使用混合式光场表征分别建模无限远处的天空光照和有限周围环境的光照，这种解构方式使得我们能够在捕捉极端的天空峰值亮度的同时保留对周遭环境的空间光照效应。

• HDR天空表示：天空的结构相对简单，主要包含天空、太阳，部分情况存在云朵，表征纬度相对较低。相比于直接预测高分辨率的2D环境图，我们学习天空的特征空间，然后使用特征向量表示天空。该特征向量可以进一步被解码为HDR天空环境图。

图2 天空预训练

• 空间变化的环境表示：户外场景通常包含了复杂的几何结构，导致光照中高光和阴影效果通常和空间位置强相关，因此不能简单得用环境图表示空间光照。针对这个问题，我们使用体素化球面高斯（Volumetric spherical Gaussian，VSG）表示图片中的周遭环境。VSG是一个8通道的体素化张量，用下列公式表示：

其中，每个体素包含了一个球面高斯：

其中

表示光线方向，

表示球面高斯中心、方差、颜色的7维参数值，与此同时，每个体素存在一个

表示占有率，该5D光照场可以被索引以完成体素渲染。

• 光线函数：我们的混合式环境光场表示同时利用天空穹顶和体素光场，每个空间点到每个方向的环境光线颜色可以被索引得到，为了计算体素内的光线的颜色值，我们考虑光线射出体素场并最终照射到天空穹顶上，因此我们可以使用类似于体素积分的加权光线颜色计算方法，空间中的光线颜色计算公式如下：

其中

是穿透率。该公式将被应用于渲染虚拟物体的插入。

网络结构

• 天空建模：为了学习天空的特征空间，我们设计了一个天空网络如图2所示。该编码器将LDR全景图编码成天空特征向量，然后解码器将其解码成原始的HDR天空穹顶。该网络首先进行预训练，完成预训练后在之后的光照估计中固定解码器。
• 混合式光照预测：如图3所示，我们使用两个分支预测天空穹顶光照和环境光照场。其中HDR天空预测分支为，输入一张环境图片，天空分支直接预测天空特征，网络结构为Resnet，然后预训练的固定的天空解码器将特征向量映射为HDR天空环境图；体素光照场分支，首先使用MLP将光场特征映射为特征体素，然后将输入图片逆投影成为RGBa体素，我们采用 3D UNet 融合两个体积场并预测 VSG。由于非投影需要深度信息，我们采用现成的单目深度估计器 PackNet 来预测密集深度图。

图3 网络结构

可微物体插入

我们的目标是让物体插入模块可微分，包括阴影渲染，这样就可以实现从图像合成的损失到光场参数的梯度反向传播。由于户外场景的真实光照情况不容易获取。我们认为合理的补充监督信号是虚拟对象插入后的渲染质量。因此，针对合成图像的对抗训练可以成为监督照明估计的有效方法。我们还认为，即使能够获得真实光照信息，优化端到端对象插入的质量也可能会带来更好的结果。

• 前景物体外观渲染：我们使用我们预测的混合式光照表征，用物理化的方法渲染插入的虚拟物体。我们使用的是迪士尼BRDF建模来完成光照渲染。我们首先从相机的原点出发射光线，然后使用光线和mesh相交的探测方法，对于每条光线，我们为交点的位置、表面法向量、材料属性等创造了一个G-buffer。我们根据蒙特卡洛采样方法计算交点处的反射光线，渲染公式为：

• 背景阴影渲染：插入的对象会改变场景中的光传播路径并影响背景像素的颜色值，通常会导致阴影。受经典比率成像技术的启发，我们采用光线追踪为插入的对象生成真实的比率阴影贴图 。背景像素的阴影比率计算公式如下：

训练及约束

我们首先在一组户外 HDR 全景图上预训练天空模型，然后在接下来的训练过程中将其固定以进行混合式场景光场预测。我们的混合式场景光场模块的监督来自两个部分：（1）从训练数据中学习的光源方向的监督，（2）根据最终编辑结果的真实性进行对抗训练的监督。

实验结果

光场预测

光场预测方面，作者将本工作与目前的SOTA工作进行对比，在定量评估方面，表1展示了天空峰值的方向预测误差，本工作超过了参与对比的两个工作。

表2展示了不同方法在nuScenes数据集上LDR外观预测的结果。

表3展示了插入物体的用户喜好度调查，用户更接受使用本工作的方法插入虚拟物体的效果：

图4展示了环境光场预测的结果，我们的方法是唯一一个可以展现出极端动态范围、角度清晰且具备空间变化光照的方法。

图4 光场预测

图5展示了不同方法虚拟物体插入的效果：

图5 虚拟物体插入

图6展示本方法阴影生成的效果，模拟了物体在阴影中、阴影边界、阴影外的阴影生成效果：

图6 阴影效果