CNN阴影去除--DeshadowNet: A Multi-context Embedding Deep Network for Shadow Removal

DeshadowNet: A Multi-context Embedding Deep Network for Shadow Removal CVPR2017

本文使用深度学习CNN网络来进行阴影去除,最大的特色就是全自动的端对端的实现阴影去除。 automatic and end-to-end deep neural network (DeshadowNet)

阴影去除也算是一个老大难问题了,目前存在的方法主要问题有如下三点: 1)Lack of a fully-automatic and end-to-end pipeline 2)Neglect high level semantic information, 目前大部分算法采用 low-level 特征, color ratios,color statistics 。但是阴影同样与 semantic contents 高度相关 (例如 geometry and material) 3)Require specific operation for penumbra regions 对于半阴影区域需要特别操作

针对阴影去除,目前还没有很好的数据库,我们自己建立了一个较大数据库 3 A New Dataset for Shadow Removal – SRD 自己拍照搞了 3088 图像对,主要考虑以下四个因素:Illumination,Scene,Reflectance,Silhouette

我们提出的 DeshadowNet 是 multi-context的,它综合 high-level semantic information, mid-level appearance information and local image details 这些信息来进行最终的预测, 这个 multi-context embedding 是通过三个子网络来实现的: global localization network (G-Net), appearance modeling network (A-Net), and semantic modeling network (S-Net)

G-Net 提取阴影特征表示来描述 场景中的全局结构和 high-level semantic context G-Net extracts shadow feature representation to describe the global structure and high-level semantic context of the scene

A-Net 提取 G-Net 浅层中的 appearance 信息 A-Net acquire the appearance information from the shallower layer of G-Net

S-Net 提取 G-Net 深层中的 semantic 信息 S-Net acquire the semantic information from the deeper layer of G-Net

本文提出的网络结构

本文提出的网络结构中间结果的显示

网络模型参数设置

损失函数定义 我们采用了 Mean Squared Error (MSE) as the loss function in the log space

Training strategy 为了防止过拟合,我们采用以下训练策略: 1)Multi-stage training strategy 多阶段训练,先分开训练G-Net+A-Net and G-Net+S-Net,然后再整体训练 2) Multi-size training strategy 多尺度训练, coarse scale 64 × 64, medium scale 128 × 128, and fine scale 224 × 224 3)Data synthesis 合成更多的训练数据,60,000 640×480 4)Data augmentation 包括 image translations, flipping and cropping

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏一个会写诗的程序员的博客

BP 神经网络算法

x的值可能为[−∞,+∞],为了方便处理,需要将其压缩到一个合理的范围,还需 这样的激励函数,能够将刚才的区间压缩到[0,1]。

823
来自专栏小詹同学

深度学习神经网络第①篇——感知器及其Python实现

感知器是由美国计算机科学家罗森布拉特(F.Roseblatt)于1957年提出的。感知器可谓是最早的人工神经网络。单层感知器是一个具有一层神经元、采用阈值激活函...

1384
来自专栏本立2道生

论文学习-系统评估卷积神经网络各项超参数设计的影响-Systematic evaluation of CNN advances on the ImageNet

论文状态:Published in CVIU Volume 161 Issue C, August 2017 论文地址:https://arxiv.org/a...

572
来自专栏GAN&CV

全面解读Group Normbalization-(吴育昕-何凯明)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_25737169/article/d...

893
来自专栏目标检测和深度学习

用 TensorFlow 实现物体检测的像素级分类

雷锋网 AI 科技评论按:本文作者 Priyanka Kochhar 从事数据科学十多年,现在在运营一家深度学习咨询公司,她曾帮助多家创业公司完成人工智能解决方...

4146
来自专栏机器学习算法工程师

【TPAMI重磅综述】 SIFT与CNN的碰撞:万字长文回顾图像检索任务十年探索历程(下篇)

本文是《SIFT Meets CNN: A Decade Survey of Instance Retrieval》的下篇。在上 篇中概述了图像检索任务极其发...

1433
来自专栏大数据文摘

机器都会学习了,你的神经网络还跑不动?来看看这些建议

在很多机器学习的实验室中,机器已经进行了上万小时的训练。在这个过程中,研究者们往往会走很多弯路,也会修复很多bug,但可以肯定的是,在机器学习的研究过程中,学到...

1010
来自专栏CSDN技术头条

基于卷积神经网络(CNN)的中文垃圾邮件检测

前言 文本分类任务是一个经久不衰的课题,其应用包括垃圾邮件检测、情感分析等。 传统机器学习的做法是先进行特征工程,构建出特征向量后,再将特征向量输入各种...

3807
来自专栏计算机视觉战队

深度学习超参数简单理解

首先谢谢读者的指正,现在已经把所有遮挡的都处理完毕,谢谢您们的指正,谢谢! ---- 正文: 说到这些参数就会想到Stochastic Gra...

3664
来自专栏AI研习社

用 TensorFlow 实现物体检测的像素级分类

雷锋网 AI 科技评论按:本文作者 Priyanka Kochhar 从事数据科学十多年,现在在运营一家深度学习咨询公司,她曾帮助多家创业公司完成人工智能解决方...

772

扫码关注云+社区