利用深度学习消去反光

越来越接近毕业季了,相信很多同学都结束了论文的撰写以及论文审批,现在就坐等着毕业论文答辩和毕业典礼了!其实我也是这样的一个状态,但是期间大Boss还是会安排很多任务下来,所以最近没有频繁推送好的文章,在此向关注“计算机视觉战队”的您说一句抱歉,希望您继续关注我们、支持我们。

今天给大家带来一个好玩的有兴趣的文章分享,主要是利用并行的深度学习方式区消除反射的现象。现在我们就正式进入今天的主题。

首先看下简单的例子:

这个问题的困难在于:

  • 从一个方程中估计两个未知参数
  • 背景与反射的相似性

其中很多人做了相关研究,如:

  • Levin et al. User assisted separation of reflections from a single image using a sparsity prior. TPAMI 2007

其使用了双流框架:检测与去除

  • Exploiting Reflection Change for Automatic Reflection Removal . ICCV 2013
  • “Depth of field guided reflection removal” ICIP 2016

在2018年提出的方法较为先进,提出反射的区域性质概念:

  • 只覆盖一个很小的区域

“Region aware reflection removal with unified content and gradient priors” TIP 2018

  • 使用双流框架进行学习
  • Noroozi et al. ConvNet-based Depth Estimation, Reflection Separation and Deblurring of Plenoptic Images. ACCV 2016
  • Fan, et al. A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing. CVPR 2017
  • 不依赖双流框架
  • LB14: Li Yu et al. Single Image Layer Separation using Relative Smoothness
  • NR17: N Arvanitopoulos et al. Single image reflection suppression
  • SK15: Shih et al. Reflection Removal using Ghosting Cues

这么多方法,主要限制是什么呢?


限制

  • 双流框架的限制

高度依赖于特定的场景,对反射属性的描述能力有限。

模糊效应或鬼影效应:

如何打破这种限制呢?如下:

SIngle-image Reflection Removal dataset

SIRR动机

反射的类型:

SIRR:不同反射图像

探讨不同参数对不同设置的影响。

  • 7种不同孔径和3种不同厚度的明信片和实体对象数据集。
  • 不同的室内和室外场景在未控制的场景数据集中。

SIRR:各种情况

  • The postcard dataset (200 image triplets and 600 images in total)
  • The solid object dataset (200 image triplets and 600 images in total)
  • The wild scene dataset (100 scenes and 300 images in total)

CRRN: Deep learning based methods

Noroozi et al. ConvNet-based Depth Estimation, Reflection Separation and Deblurring of Plenoptic Images. ACCV 2016

FY17: Fan et al. A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing. ICCV 2017

CRNN:训练数据集的表示

CRNN网络的框架:

CRNN:损失函数

一种感性动机的损失功能。

  • 像素级损失所产生的模糊伪影
  • 由于知觉损失而提高视觉质量

CRNN:可视化质量评估

CRNN:评价

原文发布于微信公众号 - 计算机视觉战队(ComputerVisionGzq)

原文发表时间:2018-05-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

改变计算技术的 9 个伟大算法

2313
来自专栏海天一树

小朋友学C语言(32):求圆周率

(一)圆周率简介 圆周率(Pi)是圆的周长与直径的比值,一般用希腊字母π表示,是一个在数学及物理学中普遍存在的数学常数。π也等于圆形之面积与半径平方之比。是精确...

4615
来自专栏机器学习算法原理与实践

贝叶斯个性化排序(BPR)算法小结

    在矩阵分解在协同过滤推荐算法中的应用中,我们讨论过像funkSVD之类的矩阵分解方法如何用于推荐。今天我们讲另一种在实际产品中用的比较多的推荐算法:贝叶...

2823
来自专栏专知

双人协作游戏带你理解变分自编码器-Part2

1222
来自专栏大数据文摘

机器学习单挑数学界:最新算法仲裁数列之美(附论文)

它揭示了表面看似无关的数学领域之间的深层联系,是数学界的伟大奇观之一。而这也指出了数学之美的另一个组成部分:数学模式必须在某种角度上是有趣的。

1024
来自专栏UAI人工智能

深度学习入门教程 第一讲

1583
来自专栏AI研习社

文本分类又来了,用 Scikit-Learn 解决多类文本分类问题

在商业领域有很多文本分类的应用,比如新闻故事通常由主题来分类;内容或产品常常被打上标签;基于如何在线谈论产品或品牌,用户被分成支持者等等。

1501
来自专栏小樱的经验随笔

“盛大游戏杯”第15届上海大学程序设计联赛夏季赛暨上海高校金马五校赛题解&&源码【A,水,B,水,C,水,D,快速幂,E,优先队列,F,暴力,G,贪心+排序,H,STL乱搞,I,尼姆博弈,J,差分dp

黑白图像直方图 发布时间: 2017年7月9日 18:30   最后更新: 2017年7月10日 21:08   时间限制: 1000ms   内存限制: 12...

3585
来自专栏奇点大数据

遗传算法(2)

在遗传算法中我们再举一个求极大值的例子。这种例子也是比较多见的,只要我们把一些数据关系描述成函数之后就会有一些求极大值或者极小值的问题。 其实极大值和极小值是一...

33312
来自专栏水击三千

经纬度转换-----度分秒以及经纬度和米

经纬度互换 度(DDD):E 108.90593度    N 34.21630度     如何将度(DDD):: 108.90593度换算成度分秒(DMS)东经...

4477

扫码关注云+社区