AISP之Tone Mapping | HDR中智能色调映射

⚡ AISP之Tone Mapping | HDR中智能色调映射 ⚡

本文主要介绍HDR中色调映射算法，包括传统算法和AI自动算法。

😀 HDR中的色调映射

图像由像素组成，每个像素都有一种颜色，包括黑色和白色。色调映射是一种数字图像处理技术，用于修改像素的色调值。换句话说，色调映射包括调整具有高动态范围的图像的色调值，以便可以在数字显示器上查看。它会缩小动态范围，同时尝试保留原始图像的外观。因此，色调映射应用于 HDR 图像，以揭示其完整细节并赋予其动态扭曲和逼真的外观。

现代相机即使拥有大型精美传感器，也无法在任何给定场景中捕捉到人眼可以看到的那么多细节。这意味着即使使用最清晰、最高分辨率的照片，也无法在单帧中真实地描绘场景，因为动态范围不存在。

为了捕捉更多细节，您需要拍摄同一场景的多张照片并将它们合并。但您无法合并同一张照片，因为它不会影响动态范围。您需要做的是拍摄一张曝光平衡的照片，然后拍摄更多曝光不足和曝光过度的照片。当您合并这些照片时，您最终会得到更多高光和阴影的细节。

现在你有了一张包含很多细节的照片，但它的对比度并不特别高，也不真实。这就是色调映射算法的用武之地。

动态色调映射用于使平面 HDR 图像看起来有力且充满细节。色调映射涉及减少图像中的色调值，使其适合在数字屏幕上查看。例如，动态范围为 100,000:1 的 HDR 照片需要进行色调映射，以使色调值落在 1 到 255 之间。

大多数显示器能够显示 [0,255][0,255] 范围内的 RGB 值。然而，在现实生活中，入射到一个点上的光“能量”的数量是没有限制的。大多数渲染器在 [0,∞)[0,∞) 中输出线性辐射值，需要将其映射到可视范围。这些辐射值被描述为高动态范围 (HDR)，因为它们是无限的，可视目标范围被描述为低动态范围 (LDR)，因为有 255 的固定限制。简单地说，色调映射是一个将 [0,∞)[0,∞) 中的 HDR 值映射到 LDR 值（例如 [0,255][0,255] 或 [0.0,1.0][0.0,1.0] 中的值）的过程。

🥵 传统色调映射算法

算法分类

有两种类型的色调映射算法：

1 Local operator

局部算子记录图像中每个像素的定位并进行相应的处理。换句话说，该方法根据图像的每个像素的位置计算其亮度的自适应。生成的图像变得更容易被人眼看到并具有更多细节，但处理时间可能会更长。

2 Global operator

相反，全局算子根据每个像素的全局特征来映射每个像素，而与它们的定位无关。该方法计算整个图像的单个匹配亮度。因此处理速度更快，但生成的图像细节较少。

色调映射问题考虑如何将现实世界中的高动态范围辐射值映射到低动态范围显示亮度值，使得暗区和亮区的细节也可见。我实现了 Reinhard 和 Durand 的两种算法。

Reinhard's algorithm 莱因哈德算法

该算法的灵感来自于 20 世纪 40 年代开发并被摄影师广泛使用的区域系统。区域系统的主要思想是将场景的中间亮度映射到显示介质的中间亮度，从而很好地捕捉到整个场景的整体亮度。该算法的主要3步如下图所示：

1. 计算与人类感知场景的平均亮度相对应的辐射值。由于人类的亮度感知与场景辐射亮度成对数关系，因此我们需要先计算场景辐射亮度的对数平均值，然后将其映射回辐射亮度值。假设Lw(x,y)是场景位置 (x,y) 的辐射亮度值，场景中的像素总数为 N ，则平均辐射亮度为：

1. 缩放辐射值，以便将第一步计算出的平均辐射值映射到 a ，它是显示介质的中间亮度（例如，中灰色）。 a 通常设置为 0.18，但可以调整以改变图像的整体亮度。

1. 在第二步之后，非常亮的像素仍可能被映射到大于1的值，这是显示介质的亮度上限。由于现代摄影倾向于主要压缩高亮度，因此我们需要应用非线性变换将高亮度压缩到小于 1 的值，并保持低亮度几乎完好无损。下面显示了一种可能的非线性变换，其中Lwhite 默认设置为场景中的最大亮度。

该算法的结果如下所示。虽然不明显，但如果我们放大，新图像中确实会显示更多细节。

Durand's algorithm 杜兰德算法

该算法的主要思想是将辐射图像分解为两层：编码大规模变化的基础层和细节层。仅降低基础层的对比度，从而在色调映射图像中保留细节。该算法也可以用 3 个步骤来说明：

1. 通过对辐射图像的对数应用边缘保留滤波器（即双边滤波器）来获得基础层。使用辐射图像对数的原因在莱因哈德算法的第一步中进行了解释。双边滤波器是一种非线性滤波器，其中每个像素的权重是使用空间域中的高斯乘以强度域中的影响函数来计算的，该影响函数会降低强度差异较大的像素的权重。应用此滤镜的结果是图像变得模糊，但边缘被保留。从数学上来说，这一步可以表示为：

1. 通过从辐射图像的对数中减去基础层来提取细节层。

1. 基础层首先被移动并降低对比度。然后将细节层添加回其中。最后，我们取其指数作为最终亮度值。移位的目的是确保来自基础层的指数后的分量小于亮度值的上限，即1。

实验结果

• 原始图像

• Reinhard's Algorithm

• Durand's Algorithm

👻 AI自动色调映射算法

本文以2023年发表在NeurIPS 《Lookup Table meets Local Laplacian Filter》为例，介绍基于AI的自动色调映射算法。

🏳️‍🌈 摘要

色调映射旨在将高动态范围 (HDR) 图像转换为低动态范围 (LDR) 表示，这是相机成像管道中的一项关键任务。近年来，基于 3 维查找表（3D LUT）的方法因其能够在增强性能和计算效率之间取得良好的平衡而受到关注。然而，这些方法通常无法在局部区域提供令人满意的结果，因为查找表是色调映射的全局运算符，其基于像素值工作并且无法合并关键的局部信息。为此，本文旨在通过探索一种利用封闭式拉普拉斯金字塔分解和重构来集成全局和局部算子的新策略来解决这个问题。具体来说，我们采用图像自适应 3D LUT 通过利用频率信息的特定特征来操纵低频图像中的色调。此外，我们利用局部拉普拉斯滤波器以自适应方式细化高频分量中的边缘细节。局部拉普拉斯滤波器广泛用于保留照片中的边缘细节，但其传统用法涉及手动调整和相机成像管道或照片编辑工具中的固定实现。我们建议使用轻量级网络从注释数据中逐步学习局部拉普拉斯滤波器的参数值映射。我们的模型以端到端的方式同时实现全局色调操作和局部边缘细节保留。两个基准数据集上的大量实验结果表明，所提出的方法比最先进的方法表现得更好。

🚩 核心内容

这篇论文提出了一种新的策略，通过结合全局和局部操作符来改进高动态范围（HDR）图像到低动态范围（LDR）表示的色调映射过程。核心思想和方法包括：

1. 全局和局部操作符的结合：为了在保持图像全局色调的同时增强局部细节，论文提出了一种结合了全局色调映射和局部细节增强的方法。这种方法通过使用封闭形式的拉普拉斯金字塔分解和重构来实现。
2. 图像自适应的3D查找表（LUT）：为了在低频图像中操纵色调，论文使用了图像自适应的3D LUTs，这些LUTs利用频率信息的特定特性来调整图像的色调。
3. 局部拉普拉斯滤波器：为了以自适应的方式细化高频分量中的边缘细节，论文提出了使用局部拉普拉斯滤波器。这些滤波器通常用于保留照片中的边缘细节，但传统上需要手动调整和固定实现。
4. 端到端的学习框架：论文提出了一个端到端的学习框架，该框架能够在全局色调操纵和局部边缘细节保持之间实现平衡。这个框架通过一个轻量级的网络来学习局部拉普拉斯滤波器的参数值图，这些参数值图是从标注数据中逐步学习的。
5. 实验结果：在两个基准数据集上的广泛实验结果表明，所提出的方法在与现有最先进方法的比较中表现良好。
6. 方法的三个亮点：
   • 提出了一个有效的端到端框架，用于HDR图像色调映射，该网络在同一模型内执行全局色调操纵和局部边缘细节保持。
   • 提出了一个图像自适应的可学习局部拉普拉斯滤波器，用于高效地保留局部边缘细节，当与图像自适应的3D LUT结合使用时，表现出显著的有效性。
   • 在两个公开的基准数据集上进行了广泛的实验，定性和定量结果都表明所提出的方法在与现有最先进方法的比较中表现良好。

总的来说，这篇论文的核心思想是通过结合全局和局部色调映射操作，以及使用自适应的3D LUTs和可学习的局部拉普拉斯滤波器，来提高HDR图像到LDR图像转换的质量，同时保持计算效率。

🏴‍☠️ 神经网络结构

LLF-LUT的模型架构如下所示。给定输入的 16 位 HDR 图像，我们首先将其分解为自适应拉普拉斯金字塔，从而产生高频分量和低频图像的集合。自适应拉普拉斯金字塔采用分解级别的动态调整来匹配输入图像的分辨率。这种自适应过程可确保低频图像达到近似 64 × 64 的分辨率。所描述的分解过程具有可逆性，允许通过增量操作来重建原始图像。

LLF-LUT 是一种有效的端到端框架，适用于 HDR 图像色调映射任务，执行全局色调操作，同时保留局部边缘细节。具体来说，我们在拉普拉斯金字塔的底部构建了一个轻量级的变压器权重预测器来预测像素级内容相关的权重图。使用基础 3D LUT 对输入 HDR 图像进行三线性插值，然后与加权图相乘以生成粗略的 LDR 图像。为了保留局部边缘细节并忠实地从拉普拉斯金字塔重建图像，我们提出了一种图像自适应可学习局部拉普拉斯滤波器（LLF）来细化高频分量，同时最大限度地减少在高分辨率分量中计算昂贵的卷积的使用效率。

“我们的研究中 CLUT 的结果与原始研究之间观察到的差异可以归因于基本任务的差异。具体来说，我们的研究重点是将 16 位高动态范围 (HDR) 图像转换为 8 位低动态范围动态范围（LDR）图像。相比之下，原始论文主要解决8位到8位图像增强问题。此外，我们论文中CLUT的参数计数为952K，这是利用sLUT作为CLUT骨干的结果。值得注意的是，当主干修改为 LUT 时，参数数量减少到 292K。

1 3D LUTs 三维查找表

在这篇论文中，“图像自适应的3D查找表（LUT）”是一种用于色调映射的技术，它结合了全局色调操纵和局部细节保持。这种技术的核心在于它能够根据输入图像的特性动态调整色调映射，而不是依赖于固定的映射规则。以下是这种技术的详细解释：

1. 3D LUT的基本概念：
   • 3D LUT（Look-Up Table）是一种颜色映射技术，它定义了一个三维空间中的像素值映射关系。在RGB颜色空间中，一个3D LUT包含一个三维网格，每个网格点代表一个颜色值的映射。
2. 图像自适应性：
   • 传统的3D LUT通常使用固定的映射规则，这可能导致在不同的图像上应用时效果不佳。论文中提出的图像自适应3D LUT能够根据输入图像的全局特性（如亮度、颜色和色调）来调整这些映射规则，从而实现更好的色调映射效果。
3. 权重映射的融合：
   • 为了实现图像自适应性，论文中提出了一种权重映射融合策略。这种策略首先对输入图像进行拉普拉斯金字塔分解，得到低频图像（Ilow）。然后，使用一个轻量级的网络（如Transformer模型）来预测内容依赖的权重映射。这些权重映射随后与3D LUTs的基元素融合，以生成适应于输入图像的增强图像（ˆIlow）。
4. 频率信息的特性利用：
   • 在低频图像（Ilow）中，包含了图像的全局特性，如颜色和光照。通过在这些低频信息上应用图像自适应的3D LUT，可以有效地操纵整体色调，同时保留图像的全局一致性。
5. 与全局色调操纵的结合：
   • 在全局色调操纵阶段，图像自适应的3D LUTs用于调整低频图像，而局部拉普拉斯滤波器（LLF）则用于细化高频分量中的边缘细节。这种结合允许网络在保持全局色调的同时，增强局部细节的可见性。

通过这种图像自适应的3D LUT技术，论文中的方法能够在保持图像全局色调一致性的同时，增强局部细节的可见性，从而在HDR到LDR的转换中实现更好的视觉效果。这种方法在实验中表现出了优于现有最先进方法的性能。

2 局部拉普拉斯滤波器

在这篇论文中，“局部拉普拉斯滤波器（Local Laplacian Filter）”是一种用于图像处理的技术，特别是在高动态范围（HDR）图像的色调映射任务中，用于细化高频分量中的边缘细节。以下是这种技术的详细解释：

1. 拉普拉斯滤波器的基本概念：
   • 拉普拉斯滤波器是一种二阶微分算子，用于图像处理中检测边缘和细节。它通过计算图像中每个像素点的二阶导数来实现，这有助于突出显示图像中的边缘和纹理。
2. 局部拉普拉斯滤波器的应用：
   • 在论文中，局部拉普拉斯滤波器被用来细化高频分量中的边缘细节。这些高频分量是通过拉普拉斯金字塔分解得到的，它们包含了图像中的纹理和细节信息。
3. 自适应性：
   • 传统的局部拉普拉斯滤波器通常需要手动调整参数，这在实际应用中可能很繁琐。论文中提出的局部拉普拉斯滤波器是自适应的，这意味着它能够根据图像内容动态调整滤波器的参数。这种自适应性是通过一个轻量级的网络来学习的，该网络从标注数据中逐步学习局部拉普拉斯滤波器的参数值图。
4. 与3D LUT的结合：
   • 在论文中，局部拉普拉斯滤波器与图像自适应的3D LUT结合使用。这种结合允许网络在全局色调操纵的同时，通过局部拉普拉斯滤波器来细化高频分量中的边缘细节，从而在保持图像整体色调的同时，增强了局部的视觉细节。
5. 金字塔重建过程：
   • 在拉普拉斯金字塔的重建过程中，局部拉普拉斯滤波器被用来逐步细化高频分量。这种细化过程是自适应的，因为它依赖于从低频图像和边缘图（由Canny边缘检测器提取）中学习到的参数值图。

通过这种局部拉普拉斯滤波器的应用，论文中的方法能够在保持全局色调一致性的同时，增强局部细节的可见性，从而在HDR到LDR的转换中实现更好的视觉效果。这种方法在实验中表现出了优于现有最先进方法的性能。

🏁 实验结果