ICCV2023 | 将隐式神经表征用于低光增强，北大张健团队提出NeRCo

【论文题目】Implicit Neural Representation for Cooperative Low-light Image Enhancement 【出处】ICCV 2023 【原文链接】https://arxiv.org/pdf/2303.11722.pdf 【代码链接】(已开源) https://github.com/Ysz2022/NeRCo

导读

本文聚焦于解决制约暗光算法应用的三个问题：训练集和现实暗光场景的退化特征的差异，现有的评价指标不能很好地衡量人眼感知质量，以及成对的训练集的欠缺。本文针对性地提出了三个机制以实现高效地暗光图像增强。具体来说，

• 作者发现经过隐式神经表示(INR)后的暗光图像的亮度会与原图有差异，且不同亮度的图像经过INR后都表现出相似亮度。作者利用这种特性归一化输入图像的退化分布，弥合训练数据和实际退化数据之间的特征差异，提升算法的泛化性。
• 为了得到人眼感知更良好的结果，作者还首次在暗光增强领域引入了CLIP模型的文本-图像对先验，其可以在语义的特征空间中训练模型，而非单一地在图像空间训练。
• 最后，作者提出了协同训练的机制，让模型能在非成对数据上训练，拜托了对有限成对训练集的依赖。 下面是作者在文章中给出的用INR归一化后的图像亮度变化图.

方法

本文网络由以下部分组成：利用INR实现归一化的图像预处理模块(NRN)，从语义空间和图像空间监督训练的鉴别器(TAD)和无监督的协同训练策略。

具体来说，

• 作者先将待增强的暗光图及其对应的空间坐标用全连接层进行编码，并输出一张图片，鼓励输出结果尽可能地与输入的暗光图相似。
• 然后，利用增强模块(ResNet)将其恢复成亮光结果。在此过程中还引入注意力模块以针对性地增强不同暗光区域。增强后的结果会喂给TAD鉴别其真伪。作者鼓励非成对的亮光自然图像被TAD鉴别为真，鼓励恢复的亮光结果为伪，以此训练增强模块。
• 文本驱动的外观鉴别器 该鉴别器由3条支路构成。输入的亮光图像(增强结果or数据集)会分别从颜色维度，高频分量和语义空间三个角度被监督：

中间的紫色支路是一个普通鉴别器，判断输入图像在像素级别上与真实亮光图之间的差异。下方支路是由Sobel算子和鉴别器组成的高频分量鉴别器。Sobel算子先提取图像的高频分量，再由鉴别器判断其与真实图片的分布差异。上方是作者引入的CLIP先验指导的文本监督，通过对其图像特征和文本特征，引导模型向与文本更匹配的方向优化。实验证明引入文本监督后的模型，其增强结果更符合文本语义特征的分布，甚至比Ground Truth更符合：

作者认为这是因为受过CLIP先验的监督后，增强的图像在CLIP的特征空间中会更接近训练所选用的文本特征。作者也选用了不同的文本进行实验：

证明在暗光增强领域，可以选择不同文本指导训练。

实验

结论

本文提出了一种用于协同暗光增强的隐式神经表示方法。所提出的NRN对所有输入的退化图作归一化处理，提升模型的泛化性。并匹配了文本驱动的外观鉴别器，从语义，文本和颜色这三个角度两种模态(文本和图像)监督训练，以增加约束条件，加速寻找最优解并得到感知更佳的结果。最后，作者构建的协同训练框架可以在非成对的数据集上无监督训练。实验结果表明，所提出的 NeRCo 模型在实现竞争性能的同时比最先进的方法更有效。