专栏首页机器学习与生成对抗网络CVPR 2020 | GAN中的反射/光和阴影

CVPR 2020 | GAN中的反射/光和阴影

1 Single Image Reflection Removal through Cascaded Refinement

  • 本文尝试解决从单个图像中去除反射的问题(通过玻璃表面导致),这是不适定的、具有挑战性的问题,它对照片增强起至关重要。
  • 提出了一种迭代Boost卷积式的LSTM网络(IBCLN),该网络能够进行级联式预测以去除反射。作为一个级联网络,它以彼此提高预测质量的方式来迭代地优化传输层和反射层的估计,并使用LSTM传输级联步骤中的信息。
  • 创建了一个真实图像数据集,以缓解数据不足。综合实验表明,该方法可以有效去除真实和合成图像中的反射
  • 残差重建损失、多尺寸感知损失、像素级别损失、对抗损失

2 Single Image Reflection Removal with Physically-Based Training Images

  • 近来,基于深度学习的单图像反射分离方法已被广泛研究。但大多数以多种方式合成大量训练图像对(即有反射和无反射),偏离了基于物理的方向。
  • 本文基于物理的渲染合成所需的训练图像,并提出相应的网络结构和损失项。
  • 为更好分离,提出模块,回溯网络(BT-net)

3 Reflection Scene Separation From a Single Image

  • 对通过玻璃拍摄的图像,现有方法着眼于将反射分量视为噪声来恢复背景场景。
  • 但玻璃表面反射的场景可能还包含重要信息,需要恢复,特别是对于监控或刑事调查。
  • 本文旨在从混合图像中恢复反射场景,而不是从混合图像中除去反射分量。首先提出一种获取此类GT及其相应输入图像的策略。然后,提出一个两阶段框架来从混合图像获得反射场景。(用shift-invariant损失训练网络

4 ARShadowGAN: Shadow Generative Adversarial Network for Augmented Reality in Single Light Scenes

  • 生成与真实环境阴影效果一致的虚拟对象阴影很重要,在计算机视觉和增强现实应用程序中具有挑战性。
  • 为解决这个问题,提出一种用于阴影生成的端到端生成对抗网络,名为ARShadowGAN,用于single light scenes 中的增强现实。
  • ARShadowGAN充分利用了注意力机制,能直接对虚拟对象阴影与现实环境之间的映射关系进行建模,而无需任何照明和3D几何信息的显式估计。
  • 此外,收集了一个图像集训练和评估提出的ARShadowGAN。
  • 源代码将开源在:https://github.com/ldq9526/ARShadowGAN

5 BEDSR-Net: A Deep Shadow Removal Network from a Single Document Image

  • 消除文档图像中的阴影可增强文档视觉质量和可读性。现有大多数用于文档图像阴影去除的算法都属于人工式启发式算法,对于具有不同特征的文档通常不具有鲁棒性。
  • 本文提出Background Estimation Document Shadow Removal Network(BEDSR-Net),第一个专门设计用于文档图像阴影去除的深度网络。
  • 为利用文档图像的特定属性,设计背景估计模块以提取文档的全局背景色。在估计背景颜色的过程中,模块还学习有关背景像素和非背景像素的空间分布信息(将此类信息编码为注意力图)。
  • 实验表明在合成图像上训练的模型对于真实照片仍然有效;并提供了文档的大量合成阴影图像以及它们相应的无阴影图像和阴影mask。

本文分享自微信公众号 - 机器学习与生成对抗网络(AI_bryant8),作者:bryant8

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-06-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CVPR2020之姿势变换GAN:图像里谁都会劈叉?

    姿势转换的图像处理,今天看到一篇CVPR2020的关于这方面的一个思路,下面做极简分享,更多细节参读原文:

    公众号机器学习与生成对抗网络
  • 基础 | 如何通过DCGAN实现动漫人物图像的自动生成?

    基于生成对抗网络(GAN)的动漫人物生成近年来兴起的动漫产业新技术。传统的GAN模型利用反向传播算法,通过生成器和判别器动态对抗,得到一个目标生成模型。由于训练...

    公众号机器学习与生成对抗网络
  • StarGAN第2版:多域多样性图像生成

    ,该码由映射网络F或样式编码器E提供。其中,使用的是自适应实例归一化(AdaIN)将s注入G。s被设计为表示特定域y的样式,这消除了向G提供y的必要性,并使G可...

    公众号机器学习与生成对抗网络
  • 【AI白身境】深度学习必备图像基础

    图像是什么?这个问题大家都有自己的答案。我的答案是,图像是一门语言,是人类文明的象征。

    用户1508658
  • 学术资讯|ICCV2019 | 腾讯优图13篇论文入选,其中3篇被选为Oral

    两年一度的国际计算机视觉大会 (International Conference on Computer Vision,ICCV) 将于 2019 年 10 月...

    优图实验室
  • 腾讯优图13篇论文入选ICCV2019,涉及2D图像多视图生成等研究

    腾讯旗下顶级视觉研发平台腾讯优图,官宣有13篇论文入选,居业界实验室前列,其中3篇被选做口头报告(Oral),该类论文占总投稿数的4.3%(200/4323)。

    量子位
  • ICCV2019 | 腾讯优图13篇论文入选,其中3篇被选为Oral

    两年一度的国际计算机视觉大会 (International Conference on Computer Vision,ICCV) 将于 2019 年 10 月...

    CV君
  • 旧照片着色修复神器!自注意力GAN效果惊艳

    图像着色、图像增强、恢复旧图像等是计算机视觉领域的热点问题,不过,用一个模型很好地实现多个任务的研究不多。

    新智元
  • 3D卷积GAN飞起!微软“可缩放”新框架只需2D数据即可生成逼真3D模型

    将2D图像转换成3D图像是一件非常困难的事情,包括Facebook,Nvidia的AI研究实验室,以及Threedy.ai之类的初创公司都在不断的在此领域进行探...

    新智元
  • Nature科学报告:根据大脑思维意图来生成对应匹配的图像

    脑机接口可以进行主动通信并执行一组预定义的命令,例如键入字母或移动光标。但是,到目前为止,他们还无法根据大脑信号推断出更复杂的意图或适应更复杂的输出。在这里,研...

    脑机接口社区

扫码关注云+社区

领取腾讯云代金券