专栏首页机器学习、深度学习深度去雨--Deep Joint Rain Detection and Removal from a Single Image

深度去雨--Deep Joint Rain Detection and Removal from a Single Image

CVPR 2017 https://arxiv.org/abs/1609.07769?context=cs 文中说代码和模型会公布的。

首先通过下图感性认识一下图像中去雨是怎么回事

针对去雨问题已经提出了各种算法,当前算法主要存在的问题如下: 1)因为雨水和背景纹理的内在重叠性,当前大部分算法会平滑没有雨区域的纹理细节。 2)雨水在图像中引起的变化是复杂的,但是当前对雨水常用的模型没有很好的覆盖真是雨水图像中的一些重要因素, 例如水气,雨水的不同形状,或方向。 3) 一个重要的信息: spatial contextual information 没有被考虑。

为此我们提出了一个新的模型用于去雨,思路大致如下: 1)首先我们提出了一个基于区域的雨水模型,在模型中我们使用了一个二值雨水图,如果该像素位置有可见雨,那么二值图中的值为1,否则为0。 2)基于上面建立的模型,我们构建一个深度网络用于检测雨水和去除雨水。我们可以自动检测出雨水区域,对这些区域进行雨水去除。 3)提出了一个回归雨水检测去除网络,a recurrent rain detection and removal network

3 Region-Dependent Rain Image Model 3.1. Region-Dependent Rain Image Formation 常用的雨水模型如下:

这里 B 是 没有雨水的图像, S是 rain streak layer 雨水层, O 是有雨水的图像。基于该模型,去雨水被看做是两个信号的分离问题,基于观察到的 O 恢复 B 和 S。这个模型有两个问题:1)没有区分对待 heavy rain 和 light rain,2)没有区分对待 rain and non-rain regions。

针对上述问题,我们提出了一个广义的雨水模型如下:

引入的 R 是一个二值图,1表示该位置有雨,0 表示没雨

3.2. Rain Accumulation and Heavy Rain 针对雨雾和问题,我们提出了下面的模型来解决:

上式中每个 St表示雨纹相同即方向和形状类似。t is the overlapping streak numbers, 表示图像中含有的雨纹个数,即方向和形状类似种类,A 表示全局环境光,雨雾。

4 Convolutional Joint Rain Detection and Removal

首先整个网络是一个闭环反馈网络,通过闭环反馈可以去除 heavy rain。

上图中的 contextualized dilated network 通过不同的 dilated factor 获取 contextual information,首先通过一个卷积层将输入图像转到特征空间去,再经过三个具有不同的 dilated factor 的recurrence,最后综合所以的输出得到 rain feature F,通过两个卷积层估算 R,对[F,R]使用一层卷积预测 S,最后通过一层卷积计算 B

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 快速小目标检测--Feature-Fused SSD: Fast Detection for Small Objects

    Feature-Fused SSD: Fast Detection for Small Objects 本文针对小目标检测问题,对 SSD 模型进行了一个小的改...

    用户1148525
  • 快速目标检测--Object detection at 200 Frames Per Second

    Object detection at 200 Frames Per Second

    用户1148525
  • 重温目标检测--YOLO v2 -- YOLO9000

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.n...

    用户1148525
  • 学界 | UC Berkeley新研究:通过深度学习建模注意点采样阵列

    机器之心
  • 博客搭建历程(2)

    ** 先安装个扩展$ npm install hexo-deployer-git --save **

    Cloud-Cloudys
  • 德勤 | 思维与机器:人工智能时代的预测之术

    【新智元导读】预测对经济和社会极其重要。金融、医疗、政治以及反恐、自然灾害预防等等领域,预测都有着不可替代的作用。然而,此前的研究表明,即便是最顶级的专家,在预...

    新智元
  • highlight.js 在 Vue 中使用的一点儿经验

    overtrue
  • 拉手网面试题,不一样的难度

    正文 1、JavaScriptalert(0.4*0.2);结果是多少?和你预期的一样吗?如果不一样该如何处理? 2、JavaScript以下哪条语句会产生运行...

    HTML5学堂
  • 手把手教你调用百度人脸识别API

    现在是资源共享的时代,同样也是知识分享的时代,如果你觉得本文能学到知识,请把知识与别人分享。

    互扯程序
  • kuberntes中的redis集群性能调优

    上周在kubernetes里发布了一个redis PaaS服务,不过其它同学简单测了一下,虽说功能上没啥问题,但性能相比物理上运行的Redis集群差太远,而且随...

    jeremyxu

扫码关注云+社区

领取腾讯云代金券