【论文题目】Implicit Neural Representation for Cooperative Low-light Image Enhancement 【出处】ICCV 2023 【原文链接】https://arxiv.org/pdf/2303.11722.pdf 【代码链接】(已开源) https://github.com/Ysz2022/NeRCo
本文聚焦于解决制约暗光算法应用的三个问题:
训练集和现实暗光场景的退化特征的差异,
现有的评价指标不能很好地衡量人眼感知质量,
以及成对的训练集的欠缺。
本文针对性地提出了三个机制以实现高效地暗光图像增强。
具体来说,
本文网络由以下部分组成:利用INR实现归一化的图像预处理模块(NRN),从语义空间和图像空间监督训练的鉴别器(TAD)和无监督的协同训练策略。
具体来说,
中间的紫色支路是一个普通鉴别器,判断输入图像在像素级别上与真实亮光图之间的差异。下方支路是由Sobel算子和鉴别器组成的高频分量鉴别器。Sobel算子先提取图像的高频分量,再由鉴别器判断其与真实图片的分布差异。
上方是作者引入的CLIP先验指导的文本监督,通过对其图像特征和文本特征,引导模型向与文本更匹配的方向优化。实验证明引入文本监督后的模型,其增强结果更符合文本语义特征的分布,甚至比Ground Truth更符合:
作者认为这是因为受过CLIP先验的监督后,增强的图像在CLIP的特征空间中会更接近训练所选用的文本特征。作者也选用了不同的文本进行实验:
证明在暗光增强领域,可以选择不同文本指导训练。
本文提出了一种用于协同暗光增强的隐式神经表示方法。所提出的NRN对所有输入的退化图作归一化处理,提升模型的泛化性。
并匹配了文本驱动的外观鉴别器,从语义,文本和颜色这三个角度两种模态(文本和图像)监督训练,以增加约束条件,加速寻找最优解并得到感知更佳的结果。
最后,作者构建的协同训练框架可以在非成对的数据集上无监督训练。实验结果表明,所提出的 NeRCo 模型在实现竞争性能的同时比最先进的方法更有效。