利用深度学习消去反光

越来越接近毕业季了，相信很多同学都结束了论文的撰写以及论文审批，现在就坐等着毕业论文答辩和毕业典礼了！其实我也是这样的一个状态，但是期间大Boss还是会安排很多任务下来，所以最近没有频繁推送好的文章，在此向关注“计算机视觉战队”的您说一句抱歉，希望您继续关注我们、支持我们。

今天给大家带来一个好玩的有兴趣的文章分享，主要是利用并行的深度学习方式区消除反射的现象。现在我们就正式进入今天的主题。

首先看下简单的例子：

这个问题的困难在于：

从一个方程中估计两个未知参数

背景与反射的相似性

其中很多人做了相关研究，如：

Levin et al. User assisted separation of reflections from a single image using a sparsity prior. TPAMI 2007

其使用了双流框架：检测与去除

Exploiting Reflection Change for Automatic Reflection Removal . ICCV 2013

“Depth of field guided reflection removal” ICIP 2016

在2018年提出的方法较为先进，提出反射的区域性质概念：

只覆盖一个很小的区域

“Region aware reflection removal with unified content and gradient priors” TIP 2018

使用双流框架进行学习

Noroozi et al. ConvNet-based Depth Estimation, Reflection Separation and Deblurring of Plenoptic Images. ACCV 2016

Fan, et al. A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing. CVPR 2017

不依赖双流框架

LB14: Li Yu et al. Single Image Layer Separation using Relative Smoothness

NR17: N Arvanitopoulos et al. Single image reflection suppression

SK15: Shih et al. Reflection Removal using Ghosting Cues

这么多方法，主要限制是什么呢？

限制

双流框架的限制

高度依赖于特定的场景，对反射属性的描述能力有限。

模糊效应或鬼影效应：

如何打破这种限制呢？如下：

SIngle-imageReflectionRemoval dataset

SIRR动机

反射的类型：

SIRR：不同反射图像

探讨不同参数对不同设置的影响。

7种不同孔径和3种不同厚度的明信片和实体对象数据集。

不同的室内和室外场景在未控制的场景数据集中。

SIRR：各种情况

The postcard dataset (200 image triplets and 600 images in total)

The solid object dataset (200 image triplets and 600 images in total)

The wild scene dataset (100 scenes and 300 images in total)

CRRN: Deep learning based methods

Noroozi et al. ConvNet-based Depth Estimation, Reflection Separation and Deblurring of Plenoptic Images. ACCV 2016

FY17: Fan et al. A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing. ICCV 2017

CRNN：训练数据集的表示

CRNN网络的框架：

CRNN：损失函数

一种感性动机的损失功能。

像素级损失所产生的模糊伪影

由于知觉损失而提高视觉质量

CRNN：可视化质量评估

CRNN：评价

欢迎加入“计算机视觉战队”，请扫二维码关注并可加入学习群一起学习讨论！