基于生成对抗网络的反色调映射算法

ICASSP 2018于2018年4月15日到4月20日在加拿大卡尔加里举行,会议主题为Signal Processing and Artificial Intelligence: Changing the World,因此会议中出现大量基于人工智能的方法应用,会议为期五天,包含四天的技术报告,并有Julia Hirschberg、Alex Acero、Yann LeCun和Luc Vincent等学界顶尖专家进行报告。

在当地时间19日下午的Image Enhancement专题分会场,论文作者宁士钰做了有关深度学习在高动态范围上的应用相关报告,题目为《基于生成对抗正则项的反色调映射网络》(Learning an Inverse Tone Mapping Network with a Generative Adversarial Regularizer),作者还包括许洪腾、宋利、解蓉和张文军。

论文链接:https://arxiv.org/abs/1804.07677

摘要:

将低动态范围(LDR)图像转换到高动态范围(HDR)图像的转换过程被称为是反色调映射(iTM),它可以很好地提高视频或图片的视觉效果,当然这需要在特定的显示器上才能呈现。近年来大量的HDR内容需求催生着HDR制作方法的发展,也促进着反色调映射算法的发展。

在之前相关研究发展的基础上,我们提出来一种全新的反色调映射网络(iTMN)基于生成对抗网络(GAN),网络结构图如下图所示,其生成网络基于U-Net,将LDR图像转换为HDR图像。在每次训练时,判别网络逐渐优化用于准确地判别输入判别网络的图像是生成图像还是HDR原图像;在更新判别网络之后,我们再通过更新生成网络来生成更加优秀的结果。由此,我们得到了一个可以完成反色调映射任务的网络。

研究背景

反色调映射的研究已经进行很久了,不过现有的方法大多数是非学习的传统方法,使用局部增强与全局增强相结合的方法,对不同区域进行非线性映射。但是这些方法存在着非线性不足、多尺度性能不足、参数复杂等问题,无法稳定准确地完成反色调映射的任务。2017年11月发布的DrTMO方法采用CNN生成多个不同曝光度的图片,再使用现有的Merge算法完成合并,该方法针对亮度进行处理,但色域方面并未扩展,由于Merge算法较老,生成效果不稳定。

近年来深度学习发展迅速,最近提出的生成对抗网络在图像处理任务中有着很好的效果,其在图像生成中出色的表现引领了一波浪潮,GAN网络在图像转换中被证明有着很好的效果,而反色调映射也可以被认为是一种特殊的图像转换,因此我们选择使用生成对抗网络来完成反色调映射任务。

网络结构

本文提出了一种iTMN可以用于将LDR转换为HDR的生成对抗网络,网络结构如之前图所示,生成网络采用U-Net类似结构,这是因为U-Net可以在图像重构的过程中同时使用深层信息和浅层信息一步一步地重建图像,因此U-Net会很适合本任务。用于约束网络的损失函数是一种混合损失函数,包括生成对抗网络定义相关的对抗损失函数和生成网络内容相关的内容损失函数:

其中内容损失函数包含两个部分,分别是L1正则项均方差和L2正则项差分均方差,希望通过L1正则项取得图像的稀疏信息,并从像素值方面上约束网络;引入L2正则项则为了在于周围像素点的关系上进行约束:

除此之外,对抗损失函数即由GAN网络的定义得出,可以被归纳为:

在训练迭代时,生成网络和判别网络交替进行更新,因此上式可以被整理为第k次迭代的情形:

实验

数据使用HDR视频切片单帧图片,经过多个色调映射算法处理后选取效果最好的SDR图像与原生HDR图像组成数据集,训练使用的训练集包含2660对图像,测试集包含140对图像,实现采用TensorFlow框架。

训练后网络在测试数据集上做验证,评测方法采用HDR-VDP-2、mPSNR和SSIM,结果与Huo、KO和DrTMO做对比,并同时与提出结构的两种变式做对比,其中NoDMSE是提出的结构中除去L2部分,NoAdvReg是提出结构除去对抗部分,即使用单独的U-Net,评价结果如下:

可以看出我们提出的方法在评价指标上都足够突出,三种指标分别在三个不同的角度对结果进行评价,测试集中的一些结果图如下图所示:

除此之外,我们还对网络的参数进行了部分实验,首先,关于是否需要应用生成对抗网络的问题,之前的效果图显示应用生成对抗网络可以得到更好的效果,另外我们对loss的下降趋势进行了评估,发现应用对抗损失函数可以一定程度上加速生成器loss的下降。

在确定学习率时,实验表明10^-4可以达到比较好的效果,在引用step-declining之后,loss下降速度有所提升:

最后,针对目标函数中的权重因子,我们也进行了探究,在固定其中一个因子,改变另一个因子的情况下进行对比,最后选取效果最好的权重取值用于网络。

结论、

我们提出了一种全新的基于生成对抗网络的反色调映射结构,在一定程度上出色完成了任务,并相对于其他方法有优越性。我们的方法是一种LDR到HDR的端到端映射,其优越性显示了深度学习方法在这个领域的可行性。未来,我们希望能够在视频处理中进行拓展。

原文发布于微信公众号 - 媒矿工厂(media_tech)

原文发表时间:2018-04-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

最小二乘支持向量回归机(LS-SVR)

前面连续的七篇文章已经详细的介绍了支持向量机在二分类中的公式推导,以及如何求解对偶问题和二次规划这个问题,分类的应用有很多,如电子邮箱将邮件进行垃圾邮件与正常邮...

7409
来自专栏大数据挖掘DT机器学习

深度学习实战(可视化部分)——使用keras识别猫咪

在近些年,深度学习领域的卷积神经网络(CNNs或ConvNets)在各行各业为我们解决了大量的实际问题。但是对于大多数人来说,CNN仿佛戴上了神秘的面纱。我经...

6398
来自专栏机器之心

从梯度下降到拟牛顿法:详解训练神经网络的五大学习算法

选自 Neuraldesigner 作者:Alberto Quesada 机器之心编译 参与:蒋思源 在神经网络中,系统的学习过程一般是由训练算法所主导。而现如...

53510
来自专栏CreateAMind

CPC(representation learning with contrastive predctive coding)

摘要: 监督学习在很多应用方面有了巨大的进步,但是非监督学习却没有如此广的应用,非监督学习是人工智能方面非常重要也非常具有挑战性的领域。这篇论文提出了 cons...

2203
来自专栏大数据风控

评分法模型开发-WOE值计算

对入模的定量和定性指标,分别进行连续变量分段(对定量指标进行分段),以便于计算定量指标的WOE和对离散变量进行必要的降维。对连续变量的分段方法通常分为等距分段...

3666
来自专栏自然语言处理

谈谈学习模型的评估1

李航《统计学习方法》一书:统计学习方法是由模型、策略和算法构成的,即统计学习方法的三要素构成,简化:方法=模型+策略+算法

892
来自专栏SIGAI学习与实践平台

机器学习算法地图

很多同学在学机器学习和深度学习的时候都有一个感受:所学的知识零散、不系统,缺乏整体感,这是普遍存在的一个问题。在这里,SIGAI对常用的机器学习和深度学习算法进...

3943
来自专栏机器之心

学界 | 谷歌大脑提出Adversarial Spheres:从简单流形探讨对抗性样本的来源

3557
来自专栏贾志刚-OpenCV学堂

卷积神经网络(CNN)概念解释

卷积神经网络(CNN)概念解释 传统对象识别-模式识别 传统的模式识别神经网络(NN)算法基于梯度下降,基于输入的大量样本特征数据学习有能力识别与分类不同的目...

3836
来自专栏机器学习原理

机器学习(15)——贝叶斯网络贝叶斯小结

前言: 当多个特征属性之间存在着某种相关关系的时候,使用朴素贝叶斯算法就没法解 决这类问题,那么贝叶斯网络就是解决这类应用场景的一个非常好的算法。在贝叶斯网络的...

4416

扫码关注云+社区

领取腾讯云代金券