从单个图像同时估计反照率、法线、深度和 3D 空间变化照明通常具有挑战性。现有方法的问题在于它们被表述为图像到图像的转换,而忽略了场景的 3D 属性。室内场景的 2D 表示不足以捕捉光线在 3D 空间中的移动方式,这并不奇怪。
来自 NVIDIA、多伦多大学和 Vector Institute 的研究人员提出了一种估计反射率、形状和 3D 空间变化照明的新方法,通过使用 3D 照明表示以端到端可训练的方式制定完整的渲染过程。他们提出了一种新颖的用于照明的体积球面高斯表示,一种用于场景表面的体素单元表示。
每个体素都分配有一组球形高斯参数,用于控制其光源的发射方向和锐度。这样,可以毫无问题地处理强定向照明。由于缺乏 HDR 照明的基本事实,研究团队设计了基于光线追踪的可微渲染器,以利用其照明表示。它可以用来制定一个节能的图像形成过程。渲染器用于在不牺牲准确性的情况下确保预测在物理上是正确的。
根据研究论文,研究团队提出的方法优于现有的最先进的逆渲染和光照估计方法。本研究中的研究人员引入了一个整体的单目逆渲染框架,可以联合估计反照率、法线、深度和 HDR 光场。提出的体积球面高斯表示非常适合在空间和角度上处理高频细节。尽管仅使用 LDR 图像进行过训练,但该模型能够正确预测 HDR 照明。这些结果证明了该模型在增强现实 (AR) 应用程序(例如虚拟对象插入)方面的巨大潜力。
论文:
https://arxiv.org/pdf/2109.06061.pdf
项目:
https://nv-tlabs.github.io/inverse-rendering-3d-lighting/