大家好,我是 阿潘~
今天跟大家分享一个来自CVPR2022的工作,效果太过惊艳啦。
更多CVPR2022工作整理:
https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo
https://space.bilibili.com/288489574
主页:https://shsf0817.github.io/hdr-nerf/
论文:https://arxiv.org/abs/2111.14451
从(a)具有不同曝光的多个 LDR 视图中恢复了高动态范围的神经辐射场。本文的系统能够渲染 (b) 具有任意曝光的新颖 LDR 视图和 (c) 新颖的 HDR 视图。
Low Dynamic Range (LDR) High Dynamic Range(HDR)
本文提出了一种从不同曝光的低动态(LDR)输入视点恢复高动态神经辐射场(HDR NeRF)的方法。核心为:使用MLP对tone-mapper进行建模,模拟radiance到pixel的映射过程。传统NeRF动态范围为0-255,而本文的方法重建的HDR-NeRF其动态方法可达0-2^16。基于恢复的HDR NeRF,本文可以渲染HDR新视点以及控制LDR新视点的曝光。基于MLP的tone-mapper或许可以成为NeRF的基础模块
主要贡献:
1、提出了一种端到端方法 HDR-NeRF,以从具有不同曝光量的多个 LDR 视图中恢复高动态范围神经辐射场。
2、相机响应函数建模,HDR视图和不同曝光的LDR视图都是从辐射场渲染的。
3、收集了一个新的 HDR 数据集,包括合成场景和真实场景。与 SOTA 相比,我们的方法在该数据集上实现了最佳性能。
将介绍我们的方法 HDR-NeRF 用于恢复高动态范围神经辐射场。如图 2 所示,我们的方法由本节描述的两个主要模块组成。我们的目标是通过使用不同曝光的 LDR 图像作为监督来恢复辐射在 0 到 +∞ 之间的真实辐射场。主要挑战是如何有效地聚合 LDR 图像中的信息以获得 HDR 辐射场。
该方法由两个模块组成:
Scene Representation
为了渲染新颖的 HDR 视图,将场景表示为有界 3D 体积内的 HDR 辐射场。一个称为辐射场的 MLP F 用于对 HDR 场景辐射进行建模,类似于 NeRF。对于给定的射线原点 o 和射线方向 d,辐射场 F 输出射线的辐射率 e 和密度 σ, r(s) = o + sd,公式为:
请注意,NeRF 中隐式函数的输出是颜色和密度,而我们的输出是辐射度和密度。
Implicit Tone-mapping
用 HDR 辐射场表示场景,关键是如何确保辐射场在没有 HDR ground truth 监督的情况下输出射线的辐射率。受 CRF 校准的启发,即确定像素的数字值与相应辐照度之间的映射(高达比例因子)的过程,引入了色调映射器来模拟 HDR 光线到 LDR 光线的非线性映射。具体来说,我们使用 MLP f 来估计相机的 CRF,并将我们预测的辐射度映射到颜色中。根据方程式(4)
预测的辐射 e 由公式 (5) 然后色调映射到颜色 c。我们将可微色调映射操作表述为:
其中 Δt(r) 表示相机捕获光线 r 的曝光时间。我们可以轻松地从包含照片元数据的 EXIF 文件中读取曝光时间,例如曝光时间、焦距、f 值等。实际上,图像的 RGB 通道使用不同的 CRF 进行色调映射,因此三个 MLP 在我们的方法中用于独立处理每个通道。
遵循 Debevec 和 Malik [11] 的经典非参数 CRF 校准方法,我们将所有图像转换为对数辐射域以优化网络。具体来说,我们假设色调映射器 f 是单调且可逆的,因此我们可以重写公式(6) 如:
其中:
Neural Rendering
使用传统的体积渲染技术来渲染穿过场景的每条光线的颜色。结合辐射场模块和色调映射器模块,我们替换公式 (8) 进入公式 (1)。具有近边界和远边界 sn 和 sf 的射线 r(s) 的预期颜色 Cb(r, Δt) 由下式给出:
更多细节请参考原文!