专栏首页基于深度学习的图像增强Self-supervised Image Enhancement Network Training with Low Light Images Only

Self-supervised Image Enhancement Network Training with Low Light Images Only

Self-supervised Image Enhancement Network: Training with Low Light Images Only

现有的图像增强数据集都是通过合成或者调整曝光时间得到的,但存在两个问题:①如何确保预先训练的网络可以用于不同设备、不同场景和不同照明条件下收集的图像,而不是构建新的训练数据集。②如何确定用于监督的正常光图像是最好的,因为相对于一张低光照图像,我们可以得到很多的正常光图像。 为了解决上述问题,本文基于信息熵理论和Retinex模型,提出了第一篇基于深度学习的完全自监督做图像增强的论文,本文提出的网络不用成对的数据集,只需要低光照图像(甚至只要一张低光照图像),训练时间为分钟级(minute-level),可以取得实时的性能。该网络将低光照图像分解为反射部分和照度部分,其中反射部分即为增强后的结果。 本文的理论来源:根据信息熵理论,直方图均匀分布的图像熵最大,信息量最大。基于这一点,本文提出了一个假设,即增强后图像最大通道的直方图分布应与直方图均衡化后的低光照图像最大通道的直方图分布一致。有了这一假设,损失函数的设计就不需要正常光图像,不仅保留了增强后图像的真实性,而且包含充足的信息。作者认为,该方法对低亮度图像的获取没有任何依赖,且训练过程完全self-supervised,因此本文提出的方法具有良好的泛化能力,即使预训练的网络对于新的环境结果不是很好,也可以通过重新训练或者微调的方式改善。 基于最大熵的Retinex模型,其理论来源如下,根据Retinex理论,图像可以分解成反射和照度部分,即

根据贝叶斯公式,可得:

通过计算公式(2)的负对数,图像增强问题可以转化为:

其中,重建损失定义为:

基于以下三个原因,本文提出了一个新的反射部分损失:①对于图像增强任务,处理后的图像应具有足够的信息;②处理后的图像应符合原始图像信息;③直方图均衡化可以大大提高图像的信息熵,因此反射部分损失定义为:

这个损失函数意味着反射率的最大通道应该与直方图均衡后低光图像的最大通道一致,并且具有最大的熵。 照度图的一个基本假设是局部一致性和结构感知。即纹理细节平滑,同时还能保持整体结构的边界。直接使用TV作为损失函数在具有强结构或亮度变化剧烈的区域失效。因为不管区域是纹理细节还是强边界,光照梯度都是均匀减少的。为了使loss感知到图像结构,用反射率梯度作为TV的加权,表示为:

因此,可以得到以下基于最大熵的Retinex模型,用变分法或FFT来求解需要大量迭代比较耗时,为了实时对图像增强,作者将其作为损失函数,用深度学习来求解该问题。

文中作者尝试了不同的网络结构,卷积层的叠加和sigmoid层就可以产生不错的结果,因此本文的网络结构设计比较简单,如下:

实验部分,作者采用了多种图像质量评价指标(gray entropy (GE), color entropy (CE), gray mean illumination(GMI), gray mean gradient (GMG), LOE, NIQE,PSNR, SSIM)对增强后的结果进行了验证,也做了时间上的比较,结果如下:

仅用一张低光照图像训练的结果如下:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于深度学习的图像增强综述

    图像增强的定义非常广泛,一般来说,图像增强是有目的地强调图像的整体或局部特性,例如改善图像的颜色、亮度和对比度等,将原来不清晰的图像变得清晰或强调某些感兴趣的特...

    Natalia_ljq
  • 图像超分辨率及相关知识 简介

    图像分辨率指图像中存储的信息量,是每英寸图像内有多少个像素点,分辨率的单位为PPI(Pixels Per Inch),通常叫做像素每英寸。一般情况下,图像分辨率...

    Natalia_ljq
  • Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images(TIP18)

    这是一篇单一图像对比度增强的论文,传统的单一图像对比度增强方法包括基于HE和Retinex理论,但由于自然场景的复杂性和单张图像包含的信息有限,往往很难产生高质...

    Natalia_ljq
  • TuiGAN: Learning Versatile Image-to-ImageTranslation with Two Unpaired Images

    一个无监督的图像-图像转换(UI2I)任务处理学习两个域之间的映射没有配对的图像。虽然现有的UI2I方法通常需要来自不同领域的大量未配对的图像进行训练,但是在许...

    于小勇
  • “无中生有”计算机视觉探奇

    用户1737318
  • Nvidia最新AI技术可制作以假乱真的视频

    Nvidia人工智能研究人员开发出了一种无人监督的计算机学习方法,允许其对源视频进行彻底的改变,从而出产惊人的内容,如能够制作出如假包换的天气、昼夜效果,甚至改...

    人工智能快报
  • 图片知多少?

    谈到图片,就离不开像素这个概念,像素是指由图片的小方格组成的,这些小方块都有一个明确的位置和被分配的色彩数值,小方格颜色和位置就决定该图像所呈现出来的样子。

    瓜大三哥
  • 系列3 | CV领域这样入门进阶才是对滴

    如果,你手中有一张256*256分辨率的图像,想让它降低为128*128分辨率,可以将源图像划分成2*2的子图像块,然后将2*2的子图像块的所有像素颜色均按照F...

    计算机视觉研究院
  • 用AI给裸女自动“穿”上比基尼,妈妈再也不担心我“辣眼睛”了

    互联网的内容繁杂,一不小心就会看到一些“辣眼睛”的内容,比如裸女,这也是为什么我们需要审核人员的存在。当然,受益于 AI 技术的发展,现在很多审核工作已经自动化...

    用户1737318
  • “无中生有”计算机视觉探奇

    大数据文摘

扫码关注云+社区

领取腾讯云代金券