专栏首页基于深度学习的图像增强Learning to See in the Dark(CVPR2018)

Learning to See in the Dark(CVPR2018)

介绍

这篇论文最大的贡献之一就是提供了一个真实世界的低光照图像和对应reference的数据集,但这些图像不是传统的类型,属于raw sensor data,低光照图像是短曝光下得到的,对应的ref为长曝光,SID数据集总共包含5094对。图像由两部相机Sony α7S II 和Fujifilm X-T2拍摄得到,其对应的传感器分别为Bayer和X-Trans,得到的图像分辨率为4240×2832和6000×4000。 本文提出了一个端到端的网络结构,直接处理低光照的raw data,包括色彩变化、去马赛克、减少噪声和图像增强,网络结构如下:

(a)为传统的图像处理流程,如白平衡、去马赛克、去噪、锐化、颜色空间转换、gamma变化等,这些一般针对特定的相机,泛化性能比较差,而且不能很好地处理极度低的SNR。(b)是本文中提出的结构,对于Bayer arrays把输入pack成4通道,对应的分辨率变为原来的一半;对于X-Trans arrays,输入为6/*6的block, pack成9通道(这里不太懂这个预处理有什么特殊目的)。之后减去black level再乘上期望的放大因子,得到的图像作为网络的输入,默认使用U-Net结构,网络的输出为12通道、原图一半空间分辨率的如下,再经过sub-pixel层复原到全分辨率大小,且输出为RGB空间。 网络使用L1loss,每个相机单独训练一个网络。由于低曝光图像往往带有噪声,所以作者还对比了一些去噪方法。部分实验结果如下:

总结

虽然本文的结构在SID数据集上有效抑制了噪声且得到了正确的色彩变换,但还是存在一些问题,如:SID数据集比较有限,不包含人像或者动态目标,不能处理HDR色调映射;实验结果存在一些伪影;提出的框架中放大因子需要在外部选择好输入;对每一种相机的传感器要单独训练一个网络,泛化能力比较差;处理图像的速度不够快,不能实现实时图像增强,这些都需要在后续的研究中继续加以改进。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 图像超分辨率及相关知识 简介

    图像分辨率指图像中存储的信息量,是每英寸图像内有多少个像素点,分辨率的单位为PPI(Pixels Per Inch),通常叫做像素每英寸。一般情况下,图像分辨率...

    Natalia_ljq
  • Unpaired Image Enhancement Featuring Reinforcement-Learning-Controlled Image Editing Software

    论文题目: Unpaired Image Enhancement——Featuring Reinforcement-Learning-Controlled Im...

    Natalia_ljq
  • Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images(TIP18)

    这是一篇单一图像对比度增强的论文,传统的单一图像对比度增强方法包括基于HE和Retinex理论,但由于自然场景的复杂性和单张图像包含的信息有限,往往很难产生高质...

    Natalia_ljq
  • 深度学习图像超分辨率最新综述:从模型到应用

    今日arXiv新上论文《Deep Learning for Image Super-resolution:A Survey》,详细回顾了近年来基于深度学习的图像...

    CV君
  • 设计模式快速学习(一)

    UML类图 ? 简单工厂模式 1.1类图 ? 策略模式 2.1策略模式结构图 ? 2.2策略模式解析 策略模式时一种定义一系列算法的方法,从概念上看,所有这...

    码农阿宇
  • 【干货】KNN简明教程

    【导读】本文是Devin Soni撰写的博文,主要介绍k-近邻算法(KNN)的工作原理和常见应用。KNN可以说是机器学习算法中最普遍、最简单的分类方法了,其拥有...

    WZEARW
  • linux学习第六十七篇:告警系统主脚本,告警系统配置文件,告警系统监控项目

    告警系统主脚本 把shell脚本放到/usr/local/sbin/下 创建mon目录来存放告警系统脚本。在/mon目录分别创建bin,conf,log,mai...

    用户1215343
  • 我奶奶都能懂的UI绘制流程(下)!

    前言 上回咱们说到ViewRootImpl.performTraversals()这个方法,从这里开始,会进入真正的View的绘制流程。第一次看的同学先去隔壁我...

    我就是马云飞
  • 猿设计8——真电商之刷新你对商品的认识

    经过前面几章的讨论相信你对类目体系有了一定的认识。众所周知,建立类目体系的目的是为了更好地管理和维护商品。那么电商系统是如何去描述和抽象商品呢?这一块儿并没有提...

    山旮旯的胖子
  • 我的Java EE学习路线图

    先来整理一下我曾经学习Java的一个路线图吧,然后按照这个路线图来谈谈我的一些感受。

    Java团长

扫码关注云+社区

领取腾讯云代金券