首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Self-supervised Image Enhancement Network Training with Low Light Images Only

    现有的图像增强数据集都是通过合成或者调整曝光时间得到的,但存在两个问题:①如何确保预先训练的网络可以用于不同设备、不同场景和不同照明条件下收集的图像,而不是构建新的训练数据集。②如何确定用于监督的正常光图像是最好的,因为相对于一张低光照图像,我们可以得到很多的正常光图像。 为了解决上述问题,本文基于信息熵理论和Retinex模型,提出了第一篇基于深度学习的完全自监督做图像增强的论文,本文提出的网络不用成对的数据集,只需要低光照图像(甚至只要一张低光照图像),训练时间为分钟级(minute-level),可以取得实时的性能。该网络将低光照图像分解为反射部分和照度部分,其中反射部分即为增强后的结果。 本文的理论来源:根据信息熵理论,直方图均匀分布的图像熵最大,信息量最大。基于这一点,本文提出了一个假设,即增强后图像最大通道的直方图分布应与直方图均衡化后的低光照图像最大通道的直方图分布一致。有了这一假设,损失函数的设计就不需要正常光图像,不仅保留了增强后图像的真实性,而且包含充足的信息。作者认为,该方法对低亮度图像的获取没有任何依赖,且训练过程完全self-supervised,因此本文提出的方法具有良好的泛化能力,即使预训练的网络对于新的环境结果不是很好,也可以通过重新训练或者微调的方式改善。 基于最大熵的Retinex模型,其理论来源如下,根据Retinex理论,图像可以分解成反射和照度部分,即

    03

    Deep Retinex Decomposition for Low-Light Enhancement

    Retinex模型是微光图像增强的有效工具。假设观测图像可以分解为反射率和光照。大多数现有的基于retinx的方法都为这种高度病态分解精心设计了手工制作的约束条件和参数,当应用于各种场景时,可能会受到模型容量的限制。在本文中,我们收集了一个包含低/正常光图像对的低光数据集(LOL),并提出了在该数据集上学习的深度视网膜网络,包括用于分解的解分解网和用于光照调整的增强网。在解压网络的训练过程中,分解的反射率和光照没有ground truth。该网络仅在关键约束条件下学习,包括成对低/正常光图像共享的一致反射率和光照的平滑度。在分解的基础上,通过增强网络对光照进行亮度增强,联合去噪时对反射率进行去噪操作。Retinex-Net是端到端可训练的,因此学习的分解本质上有利于亮度调整。大量实验表明,该方法不仅在弱光增强方面具有良好的视觉效果,而且能很好地表征图像的分解。

    02

    介绍几篇最近看的低光照图像增强的论文

    图像在较低的光照下拍摄往往存在亮度低、对比度差等问题,从而影响一些high-level任务,因此低光照图像增强的研究具有很强的现实意义。现有的方法主要分为两类,基于直方图均衡的方法和基于Retinex理论的方法。基于HE的方法主要是扩大图像的动态范围从而增强整幅图像的对比度,是一个全局的过程,没有考虑亮度的变换,可能会导致过度增强。基于Retinex的方法的关键是估计illumination map,是手工调整的,依赖于参数选择,此外这种方法不考虑去除噪声,甚至会放大噪声。现有的基于深度学习的方法没有显式地包含去噪过程甚至依赖于传统的去噪方法,取得的效果不是很好。

    04

    本质图像论文笔记

    之前相关人脸本质图像分解的工作都是在合成数据集中完成的, 但到真实的人脸,不同分布使得泛化效果很差,这篇论文的特色是提出了一种新的训练范式(SFS-supervision),从真实无标签的真实人脸数据中学习形状,反射以及光照,并且还提出了一种更强大的网络模型(SFS-Net)。 SFS-supervision分为以下三步: - a)先使用3DMM中合成的数据集训练SFS-Net; - b)然后用训练好的网络对真实的人脸数据集生成伪标签; - c)最后共同训练合成数据集以及带有伪标签的真实数据集。 直接对真实图像使用重建损失进行反向传播会使分解过程中各个组件发生崩溃而产生平凡解,这里的伪标签是很大程度上缓解这种情况的产生。 SFS-Net网络结构如下:

    03

    Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images(TIP18)

    这是一篇单一图像对比度增强的论文,传统的单一图像对比度增强方法包括基于HE和Retinex理论,但由于自然场景的复杂性和单张图像包含的信息有限,往往很难产生高质量的结果。因此有了基于多曝光图像序列的图像增强,主要有多曝光图像融合(MEF)和高动态范围图像堆叠(stack-based HDR image),再加上色调映射,但这些序列图像中会,存在模糊或者物体移动,导致得到的结果产生伪影。 为了解决上述问题,这篇文章构造了一个大规模的多曝光率图像数据集,包含不同曝光率的低对比度图像及其对应的高质量ref图像,这个对应的ref图像是通过现有的13中MEF和HDR堆叠等方法生成的效果最好的一种,这样就可以用一张图像作为输入,通过网络学习来达到MEF的目的,作者很巧妙地构造了这样一个数据集,使得单图输入也可以实现多图像输入的结果。 网络的设计也不是特别复杂,作者刚开始直接使用一个15层的网络端到端的学习,发现效果不是很好,然后参考了一些其他论文的方式,图像低频信息代表整体自然度,高频信息代表局部细节,先把图像分为高频和低频部分,对两部分分别进行增强,若直接合并两部分的结果效果不是很好,所以作者把增强后的两部分进行合并后再通过一个网络进一步增强,最终得到对比度增强的结果。训练的时候,先分别训练这两个stage,用第一阶段训练好的参数再来训练第二阶段的网络。两个阶段训练完后,移除第一阶段的两个loss,使用DSSIM作为loss来fine-tune整个网络。

    05

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭
      领券