首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >CVPR 2020 | GAN中的反射/光和阴影

CVPR 2020 | GAN中的反射/光和阴影

作者头像
公众号机器学习与AI生成创作
发布2020-06-12 10:41:38
1.1K0
发布2020-06-12 10:41:38
举报

1 Single Image Reflection Removal through Cascaded Refinement

  • 本文尝试解决从单个图像中去除反射的问题(通过玻璃表面导致),这是不适定的、具有挑战性的问题,它对照片增强起至关重要。
  • 提出了一种迭代Boost卷积式的LSTM网络(IBCLN),该网络能够进行级联式预测以去除反射。作为一个级联网络,它以彼此提高预测质量的方式来迭代地优化传输层和反射层的估计,并使用LSTM传输级联步骤中的信息。
  • 创建了一个真实图像数据集,以缓解数据不足。综合实验表明,该方法可以有效去除真实和合成图像中的反射
  • 残差重建损失、多尺寸感知损失、像素级别损失、对抗损失

2 Single Image Reflection Removal with Physically-Based Training Images

  • 近来,基于深度学习的单图像反射分离方法已被广泛研究。但大多数以多种方式合成大量训练图像对(即有反射和无反射),偏离了基于物理的方向。
  • 本文基于物理的渲染合成所需的训练图像,并提出相应的网络结构和损失项。
  • 为更好分离,提出模块,回溯网络(BT-net)

3 Reflection Scene Separation From a Single Image

  • 对通过玻璃拍摄的图像,现有方法着眼于将反射分量视为噪声来恢复背景场景。
  • 但玻璃表面反射的场景可能还包含重要信息,需要恢复,特别是对于监控或刑事调查。
  • 本文旨在从混合图像中恢复反射场景,而不是从混合图像中除去反射分量。首先提出一种获取此类GT及其相应输入图像的策略。然后,提出一个两阶段框架来从混合图像获得反射场景。(用shift-invariant损失训练网络

4 ARShadowGAN: Shadow Generative Adversarial Network for Augmented Reality in Single Light Scenes

  • 生成与真实环境阴影效果一致的虚拟对象阴影很重要,在计算机视觉和增强现实应用程序中具有挑战性。
  • 为解决这个问题,提出一种用于阴影生成的端到端生成对抗网络,名为ARShadowGAN,用于single light scenes 中的增强现实。
  • ARShadowGAN充分利用了注意力机制,能直接对虚拟对象阴影与现实环境之间的映射关系进行建模,而无需任何照明和3D几何信息的显式估计。
  • 此外,收集了一个图像集训练和评估提出的ARShadowGAN。
  • 源代码将开源在:https://github.com/ldq9526/ARShadowGAN

5 BEDSR-Net: A Deep Shadow Removal Network from a Single Document Image

  • 消除文档图像中的阴影可增强文档视觉质量和可读性。现有大多数用于文档图像阴影去除的算法都属于人工式启发式算法,对于具有不同特征的文档通常不具有鲁棒性。
  • 本文提出Background Estimation Document Shadow Removal Network(BEDSR-Net),第一个专门设计用于文档图像阴影去除的深度网络。
  • 为利用文档图像的特定属性,设计背景估计模块以提取文档的全局背景色。在估计背景颜色的过程中,模块还学习有关背景像素和非背景像素的空间分布信息(将此类信息编码为注意力图)。
  • 实验表明在合成图像上训练的模型对于真实照片仍然有效;并提供了文档的大量合成阴影图像以及它们相应的无阴影图像和阴影mask。
本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-06-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器学习与AI生成创作 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1 Single Image Reflection Removal through Cascaded Refinement
  • 2 Single Image Reflection Removal with Physically-Based Training Images
  • 3 Reflection Scene Separation From a Single Image
  • 4 ARShadowGAN: Shadow Generative Adversarial Network for Augmented Reality in Single Light Scenes
  • 5 BEDSR-Net: A Deep Shadow Removal Network from a Single Document Image
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档