AISP之HDR | 深度高动态范围成像

⚡ AISP之HDR | 深度高动态范围成像 ⚡

在摄影和ISP成像领域，高动态范围 (HDR) 图像因其捕捉各种色调和细节的能力而广受欢迎。HDR 成像技术通过组合多次曝光来创建同时显示高光和阴影的单个图像，从而增强视觉体验。随着人工智能 (AI) 的出现，创建令人惊叹的 HDR 图像的过程发生了革命性的变化。在这篇博文中，我们将探讨如何利用人工智能在处理 HDR 图像时获得最佳结果。

😀 捕捉多重曝光

创建出色的 HDR 图像的基础在于捕获多重曝光。利用相机上的曝光定格来拍摄一系列照片，每张照片都有不同的曝光值。目标是至少进行 3 次曝光：1 次曝光不足，1 次正确曝光，1 次曝光过度。这些曝光将构成后续人工智能编辑过程中合并和色调映射的基础。

🥵 人工智能辅助合并

传统上，合并曝光是一项耗时的手动任务。人工智能工具现在简化了这一过程，以惊人的精度自动对齐和合并包围镜头。该算法分析图像，识别常见元素，并生成对齐良好的高质量合成图像作为 HDR 处理的起点。

使用 Luminar Neo HDR 合并扩展合并拉斯维加斯 HDR 3 曝光的 The Strat。

👻 智能色调映射

色调映射是 HDR 成像的关键步骤，因为它决定了图像的最终外观。人工智能驱动的提供复杂的色调映射算法，可以智能地调整动态范围，以揭示高光和阴影的细节。这些算法分析图像内容并有选择地应用调整，避免过度处理或看起来不自然的结果。

🙊 增强细节和对比度

人工智能算法擅长增强图像细节和对比度。合并和色调映射后，利用人工智能的力量进一步微调图像。利用局部对比度增强、锐化和降噪等功能来实现 HDR 图像的最佳清晰度和锐利度。人工智能工具可以智能分析和增强特定区域，同时保持整体图像的完整性。

😎 艺术渲染

除了逼真的 HDR 图像之外，人工智能还可以帮助创造具有创造力的艺术表现形式。尝试使用人工智能驱动的滤镜和预设，为您的 HDR 图像赋予独特的美感，例如模拟复古电影外观或应用绘画效果。AI 工具可以帮助解锁您的艺术视野，并将您的 HDR 图像提升到一个新的水平。

The Strat 的拉斯维加斯 HDR 5 曝光使用 Luminar Neo HDR 合并，夜空则替换为 Luminar Neo Sky AI。

💥 从人工智能反馈中学习

人工智能和 HDR 成像的融合彻底改变了我们创建和增强照片的方式。通过采用人工智能驱动的，摄影师可以利用先进的算法轻松合并曝光、智能色调映射、增强细节并获得令人惊叹的效果。随着人工智能技术的不断发展，我们可以期待更多的创新功能，这些功能将使摄影师能够突破其创意视野的界限，并释放 HDR 成像的全部潜力。拥抱人工智能的力量，踏上前所未有的创造令人惊叹的 HDR 图像的旅程。

🤩 动态场景的深度高动态范围成像算法解析

以《Deep High Dynamic Range Imaging of Dynamic Scenes》为例，介绍基于CNN的HDR算法。

🏳️‍🌈 摘要

对于动态场景来说，从一组具有不同曝光度的图像生成高动态范围 (HDR) 图像是一个具有挑战性的过程。一类现有技术首先将输入图像配准到参考图像，然后将对齐的图像合并到 HDR 图像中。然而，配准伪影通常在最终 HDR 图像中表现为重影和撕裂。在本文中，我们提出了一种基于学习的方法来解决动态场景的这个问题。我们使用卷积神经网络 (CNN) 作为学习模型，并展示和比较三种不同的系统架构来对 HDR 合并过程进行建模。此外，我们创建了一个输入 LDR 图像及其相应的地面实况 HDR 图像的大型数据集来训练我们的系统。我们通过从一组三张 LDR 图像生成高质量 HDR 图像来展示我们系统的性能。实验结果表明，在具有挑战性的场景中，我们的方法始终比几种最先进的方法产生更好的结果。

🚩 核心内容

1. 问题背景：
   • 动态场景的HDR成像是一个挑战，因为现有技术在处理动态场景时容易产生鬼影（ghosting）和撕裂（tearing）等伪影。
   • 现有的技术包括将输入图像对齐到参考图像，然后合并对齐后的图像以生成HDR图像，但这种方法在动态场景中效果不佳。
2. 方法概述：
   • 作者提出了一种基于卷积神经网络（CNN）的学习方法，用于处理动态场景的HDR成像。
   • 方法分为两个阶段：图像对齐和HDR合并。
   • 使用刘（Liu）的光流方法对低曝光和高曝光图像进行对齐，以中等曝光的图像作为参考图像。
   • 对齐后的LDR图像作为CNN的输入，生成一个与参考图像对齐但包含其他两幅图像信息的HDR图像。
3. 系统架构：
   • 直接架构：整个HDR合并过程由单个CNN模型建模。
   • 权重估计器（WE）架构：CNN仅估计一组融合权重，用于结合对齐后的HDR图像。
   • 权重和图像估计器（WIE）架构：CNN输出融合权重和细化的对齐LDR图像。
   • 提出了三种不同的CNN架构来模拟HDR合并过程：
4. 数据集：
   • 创建了一个包含74个训练场景的LDR图像集及其对应的HDR图像。
   • 通过数据增强技术，如颜色通道交换和几何变换，扩展了数据集。
5. 实验结果：
   • 与现有的几种HDR重建方法相比，提出的学习系统在挑战性场景中产生了更好的结果。
   • 在视觉上和数值上，WE架构提供了最佳的性能。
6. 讨论和未来工作：
   • 尽管WIE架构在数值上表现最好，但有时会过度模糊图像，导致视觉质量下降。
   • 提出了使用感知训练来提高结果视觉质量的可能性。
   • 未来工作可能包括训练网络来估计输入图像的光流，以及研究灵活的网络架构，使系统不受输入图像数量的限制。
7. 结论：
   • 论文提出了一种新的基于学习的方法，用于从动态场景的LDR图像集中生成HDR图像，并通过CNN生成HDR图像。
   • 使用现有的技术知识来指导学习系统可以提高性能。

这篇论文的核心在于提出了一种新的方法，利用深度学习技术来解决动态场景下的HDR成像问题，并通过实验验证了其有效性。

🏴‍☠️ 神经网络结构

这篇论文中提到的三种基于卷积神经网络（CNN）的系统架构用于处理动态场景的高动态范围（HDR）图像生成，具体原理如下：

1. 直接架构（Direct Architecture）：

• 这个架构是最简单的，它使用一个CNN来直接模拟整个HDR合并过程。
• 输入是一组对齐后的LDR图像（低曝光、中等曝光和高曝光），输出是一个HDR图像。
• CNN直接学习如何从输入的LDR图像中提取信息并生成HDR图像，而不需要显式的权重或对齐图像的细化。
• 这种架构的挑战在于训练过程中可能难以收敛，因为它需要网络学习复杂的HDR合并逻辑，而且在某些情况下可能会留下轻微的对齐伪影。

1. 权重估计器（Weight Estimator, WE）架构：

• 这个架构比直接架构更加约束，它使用CNN来估计一组权重，这些权重用于结合对齐后的HDR图像。
• 输入仍然是一组对齐后的LDR图像，但输出是一组权重，这些权重用于加权平均对齐后的HDR图像，以生成最终的HDR图像。
• 这种方法利用了现有的HDR合并技术，通过权重来控制不同曝光图像对最终结果的贡献，从而减少对齐伪影的影响。
• WE架构的优点是它能够更好地抑制伪影，并且只使用原始对齐LDR图像的内容来生成HDR结果，这有助于保持结果的忠实性。

1. 权重和图像估计器（Weight and Image Estimator, WIE）架构：

• WIE架构在WE架构的基础上进一步放松了约束，允许CNN输出细化的对齐LDR图像以及融合权重。
• 输入同样是一组对齐后的LDR图像，但输出包括一组细化的对齐图像和融合权重。
• 细化的对齐图像是通过CNN从原始对齐图像中生成的，这使得网络能够合成在原始对齐图像中不存在的内容，例如在运动区域中补充细节。
• WIE架构在某些情况下能够减少噪声并恢复小的高光细节，但这也可能导致在暗区域过度模糊。

这三种架构的核心区别在于它们如何处理输入图像以及如何生成最终的HDR图像。直接架构试图完全学习HDR合并过程，而WE架构和WIE架构则利用现有的HDR合并技术来指导网络学习，通过估计权重或细化图像来提高结果的质量。通过实验比较，作者发现WE架构在视觉质量上表现最佳，尽管它在数值上略逊于WIE架构。

🏁 实验结果

• 输入1 低曝光

• 输入2 正常曝光

• 输入3 过曝光

• 神经网络架构1输出HDR结果

• 神经网络架构2输出HDR结果

• 神经网络架构3输出HDR结果

• HDR GT 真实值

三种架构输出的HDR和GT非常接近。

🤝 Thank you