Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images(TIP18)

这是一篇单一图像对比度增强的论文，传统的单一图像对比度增强方法包括基于HE和Retinex理论，但由于自然场景的复杂性和单张图像包含的信息有限，往往很难产生高质量的结果。因此有了基于多曝光图像序列的图像增强，主要有多曝光图像融合(MEF)和高动态范围图像堆叠（stack-based HDR image），再加上色调映射，但这些序列图像中会，存在模糊或者物体移动，导致得到的结果产生伪影。 为了解决上述问题，这篇文章构造了一个大规模的多曝光率图像数据集，包含不同曝光率的低对比度图像及其对应的高质量ref图像，这个对应的ref图像是通过现有的13中MEF和HDR堆叠等方法生成的效果最好的一种，这样就可以用一张图像作为输入，通过网络学习来达到MEF的目的，作者很巧妙地构造了这样一个数据集，使得单图输入也可以实现多图像输入的结果。 网络的设计也不是特别复杂，作者刚开始直接使用一个15层的网络端到端的学习，发现效果不是很好，然后参考了一些其他论文的方式，图像低频信息代表整体自然度，高频信息代表局部细节，先把图像分为高频和低频部分，对两部分分别进行增强，若直接合并两部分的结果效果不是很好，所以作者把增强后的两部分进行合并后再通过一个网络进一步增强，最终得到对比度增强的结果。训练的时候，先分别训练这两个stage，用第一阶段训练好的参数再来训练第二阶段的网络。两个阶段训练完后，移除第一阶段的两个loss，使用DSSIM作为loss来fine-tune整个网络。

3个子网络分别对应一个loss，分别为

部分实验结果如下：

存在的问题，如下图所示，如果输入的图像过曝光太严重了，区域又大，CNN能利用的邻域信息太少不能合成这些丢失的细节，后续的研究还需要解决这一过度曝光的问题。