CNN阴影去除--DeshadowNet: A Multi-context Embedding Deep Network for Shadow Removal

DeshadowNet: A Multi-context Embedding Deep Network for Shadow Removal CVPR2017

本文使用深度学习CNN网络来进行阴影去除,最大的特色就是全自动的端对端的实现阴影去除。 automatic and end-to-end deep neural network (DeshadowNet)

阴影去除也算是一个老大难问题了,目前存在的方法主要问题有如下三点: 1)Lack of a fully-automatic and end-to-end pipeline 2)Neglect high level semantic information, 目前大部分算法采用 low-level 特征, color ratios,color statistics 。但是阴影同样与 semantic contents 高度相关 (例如 geometry and material) 3)Require specific operation for penumbra regions 对于半阴影区域需要特别操作

针对阴影去除,目前还没有很好的数据库,我们自己建立了一个较大数据库 3 A New Dataset for Shadow Removal – SRD 自己拍照搞了 3088 图像对,主要考虑以下四个因素:Illumination,Scene,Reflectance,Silhouette

我们提出的 DeshadowNet 是 multi-context的,它综合 high-level semantic information, mid-level appearance information and local image details 这些信息来进行最终的预测, 这个 multi-context embedding 是通过三个子网络来实现的: global localization network (G-Net), appearance modeling network (A-Net), and semantic modeling network (S-Net)

G-Net 提取阴影特征表示来描述 场景中的全局结构和 high-level semantic context G-Net extracts shadow feature representation to describe the global structure and high-level semantic context of the scene

A-Net 提取 G-Net 浅层中的 appearance 信息 A-Net acquire the appearance information from the shallower layer of G-Net

S-Net 提取 G-Net 深层中的 semantic 信息 S-Net acquire the semantic information from the deeper layer of G-Net

本文提出的网络结构

本文提出的网络结构中间结果的显示

网络模型参数设置

损失函数定义 我们采用了 Mean Squared Error (MSE) as the loss function in the log space

Training strategy 为了防止过拟合,我们采用以下训练策略: 1)Multi-stage training strategy 多阶段训练,先分开训练G-Net+A-Net and G-Net+S-Net,然后再整体训练 2) Multi-size training strategy 多尺度训练, coarse scale 64 × 64, medium scale 128 × 128, and fine scale 224 × 224 3)Data synthesis 合成更多的训练数据,60,000 640×480 4)Data augmentation 包括 image translations, flipping and cropping

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

手把手教你实现SVM算法

什么是机器学习 (Machine Learning) 机器学习是研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断...

31410
来自专栏数据结构与算法

快速傅里叶变换(FFT)详解

本文只讨论FFT在信息学奥赛中的应用 文中内容均为个人理解,如有错误请指出,不胜感激 前言 先解释几个比较容易混淆的缩写吧 DFT:离散傅里叶变换—> 计算多...

3817
来自专栏WOLFRAM

Mathematica 11在概率和统计方面的新功能

1653
来自专栏AlgorithmDog的专栏

PCA模型加先验

大清牛人曰:ML派坐落美利坚合众山中,百年来武学奇才辈出,隐然成江湖第一大名门正派,门内有三套入门武功,曰:图模型加圈,神经网加层,优化目标加正则。...

17910
来自专栏智能算法

opencv双目测距实现

来自: http://blog.csdn.net/sunanger_wang/article/details/7744015 虽然最近注意力已经不可遏制地被神经...

5764
来自专栏机器学习算法原理与实践

中文文本挖掘预处理流程总结

在对文本做数据分析时,我们一大半的时间都会花在文本预处理上,而中文和英文的预处理流程稍有不同,本文就对中文文本挖掘的预处理流程做一个总结。

1093
来自专栏人工智能

深入浅出了解OCR识别票据原理

光学字符识别技术(OCR)目前被广泛利用在手写识别、打印识别及文本图像识别等相关领域。小到文档识别、银行卡身份证识别,大到广告、海报。因为OCR技术的发明,极大...

3.1K3
来自专栏CVer

[计算机视觉论文速递] 2018-04-19

[1]《Hierarchical Novelty Detection for Visual Object Recognition》

922
来自专栏SIGAI学习与实践平台

理解概率密度函数

概率密度函数是概率论中的核心概念之一,用于描述连续型随机变量所服从的概率分布。在机器学习中,我们经常对样本向量x的概率分布进行建模,往往是连续型随机变量。很多同...

694
来自专栏新智元

【重磅】AI 学会“脑补”:神经网络超逼真图像补完从 0 到 1

1 新智元编译 来源:arXiv、Github 编译:张易 【新智元导读】自动图像补全是计算机视觉和图形领域几十年来的研究热点和难点。在神经网络的帮助下,来...

2945

扫码关注云+社区