CVPR2022 | MLP模拟tone-mapper或成主流? HDR-NeRF自监督重建高动态神经辐射场

大家好，我是 阿潘～

今天跟大家分享一个来自CVPR2022的工作，效果太过惊艳啦。

更多CVPR2022工作整理：

https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo

https://space.bilibili.com/288489574

主页：https://shsf0817.github.io/hdr-nerf/

论文：https://arxiv.org/abs/2111.14451

标题：HDR-NeRF: High Dynamic Range Neural Radiance Fields

从（a）具有不同曝光的多个 LDR 视图中恢复了高动态范围的神经辐射场。本文的系统能够渲染 (b) 具有任意曝光的新颖 LDR 视图和 (c) 新颖的 HDR 视图。

Low Dynamic Range (LDR) High Dynamic Range（HDR）

摘要：

本文提出了一种从不同曝光的低动态（LDR）输入视点恢复高动态神经辐射场（HDR NeRF）的方法。核心为：使用MLP对tone-mapper进行建模，模拟radiance到pixel的映射过程。传统NeRF动态范围为0-255，而本文的方法重建的HDR-NeRF其动态方法可达0-2^16。基于恢复的HDR NeRF，本文可以渲染HDR新视点以及控制LDR新视点的曝光。基于MLP的tone-mapper或许可以成为NeRF的基础模块

主要贡献：

1、提出了一种端到端方法 HDR-NeRF，以从具有不同曝光量的多个 LDR 视图中恢复高动态范围神经辐射场。

2、相机响应函数建模，HDR视图和不同曝光的LDR视图都是从辐射场渲染的。

3、收集了一个新的 HDR 数据集，包括合成场景和真实场景。与 SOTA 相比，我们的方法在该数据集上实现了最佳性能。

HDR Neural Radiance Fields

将介绍我们的方法 HDR-NeRF 用于恢复高动态范围神经辐射场。如图 2 所示，我们的方法由本节描述的两个主要模块组成。我们的目标是通过使用不同曝光的 LDR 图像作为监督来恢复辐射在 0 到 +∞ 之间的真实辐射场。主要挑战是如何有效地聚合 LDR 图像中的信息以获得 HDR 辐射场。

该方法由两个模块组成：

1. HDR 辐射场对目标场景的辐射和密度进行建模；
2. 色调映射器对 CRF 进行颜色建模。

Scene Representation

为了渲染新颖的 HDR 视图，将场景表示为有界 3D 体积内的 HDR 辐射场。一个称为辐射场的 MLP F 用于对 HDR 场景辐射进行建模，类似于 NeRF。对于给定的射线原点 o 和射线方向 d，辐射场 F 输出射线的辐射率 e 和密度 σ， r(s) = o + sd，公式为：

请注意，NeRF 中隐式函数的输出是颜色和密度，而我们的输出是辐射度和密度。

Implicit Tone-mapping

用 HDR 辐射场表示场景，关键是如何确保辐射场在没有 HDR ground truth 监督的情况下输出射线的辐射率。受 CRF 校准的启发，即确定像素的数字值与相应辐照度之间的映射（高达比例因子）的过程，引入了色调映射器来模拟 HDR 光线到 LDR 光线的非线性映射。具体来说，我们使用 MLP f 来估计相机的 CRF，并将我们预测的辐射度映射到颜色中。根据方程式（4）

预测的辐射 e 由公式 (5) 然后色调映射到颜色 c。我们将可微色调映射操作表述为：

其中 Δt(r) 表示相机捕获光线 r 的曝光时间。我们可以轻松地从包含照片元数据的 EXIF 文件中读取曝光时间，例如曝光时间、焦距、f 值等。实际上，图像的 RGB 通道使用不同的 CRF 进行色调映射，因此三个 MLP 在我们的方法中用于独立处理每个通道。

遵循 Debevec 和 Malik [11] 的经典非参数 CRF 校准方法，我们将所有图像转换为对数辐射域以优化网络。具体来说，我们假设色调映射器 f 是单调且可逆的，因此我们可以重写公式(6) 如：

其中：

Neural Rendering

使用传统的体积渲染技术来渲染穿过场景的每条光线的颜色。结合辐射场模块和色调映射器模块，我们替换公式 (8) 进入公式 (1)。具有近边界和远边界 sn 和 sf 的射线 r(s) 的预期颜色 Cb(r, Δt) 由下式给出：

更多细节请参考原文！