基于生成对抗网络的反色调映射算法

ICASSP 2018于2018年4月15日到4月20日在加拿大卡尔加里举行，会议主题为Signal Processing and Artificial Intelligence: Changing the World，因此会议中出现大量基于人工智能的方法应用，会议为期五天，包含四天的技术报告，并有Julia Hirschberg、Alex Acero、Yann LeCun和Luc Vincent等学界顶尖专家进行报告。

在当地时间19日下午的Image Enhancement专题分会场，论文作者宁士钰做了有关深度学习在高动态范围上的应用相关报告，题目为《基于生成对抗正则项的反色调映射网络》（Learning an Inverse Tone Mapping Network with a Generative Adversarial Regularizer），作者还包括许洪腾、宋利、解蓉和张文军。

论文链接：https://arxiv.org/abs/1804.07677

摘要：

将低动态范围（LDR）图像转换到高动态范围（HDR）图像的转换过程被称为是反色调映射（iTM），它可以很好地提高视频或图片的视觉效果，当然这需要在特定的显示器上才能呈现。近年来大量的HDR内容需求催生着HDR制作方法的发展，也促进着反色调映射算法的发展。

在之前相关研究发展的基础上，我们提出来一种全新的反色调映射网络（iTMN）基于生成对抗网络（GAN），网络结构图如下图所示，其生成网络基于U-Net，将LDR图像转换为HDR图像。在每次训练时，判别网络逐渐优化用于准确地判别输入判别网络的图像是生成图像还是HDR原图像；在更新判别网络之后，我们再通过更新生成网络来生成更加优秀的结果。由此，我们得到了一个可以完成反色调映射任务的网络。

研究背景

反色调映射的研究已经进行很久了，不过现有的方法大多数是非学习的传统方法，使用局部增强与全局增强相结合的方法，对不同区域进行非线性映射。但是这些方法存在着非线性不足、多尺度性能不足、参数复杂等问题，无法稳定准确地完成反色调映射的任务。2017年11月发布的DrTMO方法采用CNN生成多个不同曝光度的图片，再使用现有的Merge算法完成合并，该方法针对亮度进行处理，但色域方面并未扩展，由于Merge算法较老，生成效果不稳定。

近年来深度学习发展迅速，最近提出的生成对抗网络在图像处理任务中有着很好的效果，其在图像生成中出色的表现引领了一波浪潮，GAN网络在图像转换中被证明有着很好的效果，而反色调映射也可以被认为是一种特殊的图像转换，因此我们选择使用生成对抗网络来完成反色调映射任务。

网络结构

本文提出了一种iTMN可以用于将LDR转换为HDR的生成对抗网络，网络结构如之前图所示，生成网络采用U-Net类似结构，这是因为U-Net可以在图像重构的过程中同时使用深层信息和浅层信息一步一步地重建图像，因此U-Net会很适合本任务。用于约束网络的损失函数是一种混合损失函数，包括生成对抗网络定义相关的对抗损失函数和生成网络内容相关的内容损失函数：

其中内容损失函数包含两个部分，分别是L1正则项均方差和L2正则项差分均方差，希望通过L1正则项取得图像的稀疏信息，并从像素值方面上约束网络；引入L2正则项则为了在于周围像素点的关系上进行约束：

除此之外，对抗损失函数即由GAN网络的定义得出，可以被归纳为：

在训练迭代时，生成网络和判别网络交替进行更新，因此上式可以被整理为第k次迭代的情形：

实验

数据使用HDR视频切片单帧图片，经过多个色调映射算法处理后选取效果最好的SDR图像与原生HDR图像组成数据集，训练使用的训练集包含2660对图像，测试集包含140对图像，实现采用TensorFlow框架。

训练后网络在测试数据集上做验证，评测方法采用HDR-VDP-2、mPSNR和SSIM，结果与Huo、KO和DrTMO做对比，并同时与提出结构的两种变式做对比，其中NoDMSE是提出的结构中除去L2部分，NoAdvReg是提出结构除去对抗部分，即使用单独的U-Net，评价结果如下：

可以看出我们提出的方法在评价指标上都足够突出，三种指标分别在三个不同的角度对结果进行评价，测试集中的一些结果图如下图所示：

除此之外，我们还对网络的参数进行了部分实验，首先，关于是否需要应用生成对抗网络的问题，之前的效果图显示应用生成对抗网络可以得到更好的效果，另外我们对loss的下降趋势进行了评估，发现应用对抗损失函数可以一定程度上加速生成器loss的下降。

在确定学习率时，实验表明10^-4可以达到比较好的效果，在引用step-declining之后，loss下降速度有所提升：

最后，针对目标函数中的权重因子，我们也进行了探究，在固定其中一个因子，改变另一个因子的情况下进行对比，最后选取效果最好的权重取值用于网络。

结论、

我们提出了一种全新的基于生成对抗网络的反色调映射结构，在一定程度上出色完成了任务，并相对于其他方法有优越性。我们的方法是一种LDR到HDR的端到端映射，其优越性显示了深度学习方法在这个领域的可行性。未来，我们希望能够在视频处理中进行拓展。