利用深度学习消去反光

越来越接近毕业季了，相信很多同学都结束了论文的撰写以及论文审批，现在就坐等着毕业论文答辩和毕业典礼了！其实我也是这样的一个状态，但是期间大Boss还是会安排很多任务下来，所以最近没有频繁推送好的文章，在此向关注“计算机视觉战队”的您说一句抱歉，希望您继续关注我们、支持我们。

今天给大家带来一个好玩的有兴趣的文章分享，主要是利用并行的深度学习方式区消除反射的现象。现在我们就正式进入今天的主题。

首先看下简单的例子：

这个问题的困难在于：

• 从一个方程中估计两个未知参数
• 背景与反射的相似性

其中很多人做了相关研究，如：

• Levin et al. User assisted separation of reflections from a single image using a sparsity prior. TPAMI 2007

其使用了双流框架：检测与去除

• Exploiting Reflection Change for Automatic Reflection Removal . ICCV 2013

• “Depth of field guided reflection removal” ICIP 2016

在2018年提出的方法较为先进，提出反射的区域性质概念：

• 只覆盖一个很小的区域

“Region aware reflection removal with unified content and gradient priors” TIP 2018

• 使用双流框架进行学习
• Noroozi et al. ConvNet-based Depth Estimation, Reflection Separation and Deblurring of Plenoptic Images. ACCV 2016
• Fan, et al. A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing. CVPR 2017

• 不依赖双流框架
• LB14: Li Yu et al. Single Image Layer Separation using Relative Smoothness
• NR17: N Arvanitopoulos et al. Single image reflection suppression
• SK15: Shih et al. Reflection Removal using Ghosting Cues

这么多方法，主要限制是什么呢？

限制

• 双流框架的限制

高度依赖于特定的场景，对反射属性的描述能力有限。

模糊效应或鬼影效应：

如何打破这种限制呢？如下：

SIngle-image Reflection Removal dataset

SIRR动机

反射的类型：

SIRR：不同反射图像

探讨不同参数对不同设置的影响。

• 7种不同孔径和3种不同厚度的明信片和实体对象数据集。
• 不同的室内和室外场景在未控制的场景数据集中。

SIRR：各种情况

• The postcard dataset (200 image triplets and 600 images in total)

• The solid object dataset (200 image triplets and 600 images in total)

• The wild scene dataset (100 scenes and 300 images in total)

CRRN: Deep learning based methods

Noroozi et al. ConvNet-based Depth Estimation, Reflection Separation and Deblurring of Plenoptic Images. ACCV 2016

FY17: Fan et al. A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing. ICCV 2017

CRNN：训练数据集的表示

CRNN网络的框架：

CRNN：损失函数

一种感性动机的损失功能。

• 像素级损失所产生的模糊伪影
• 由于知觉损失而提高视觉质量

CRNN：可视化质量评估

CRNN：评价