前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >最新 ICCV 2021 | GAN解耦学习(31)可解释性(32)生成对抗GAN

最新 ICCV 2021 | GAN解耦学习(31)可解释性(32)生成对抗GAN

作者头像
公众号机器学习与AI生成创作
发布2022-05-27 15:27:46
9990
发布2022-05-27 15:27:46
举报
文章被收录于专栏:机器学习与生成对抗网络

三十一、解耦学习

78、GAN-Control: Explicitly Controllable GANs

  • 提出一个训练 GAN 的框架,可以显式控制生成的人脸图像,通过设置确切的属性(例如年龄、姿势、表情等)来控制生成的图像。大多数控制 GAN 生成图像的方法是在标准 GAN 训练后隐式获得的潜在空间以解耦属性来实现部分控制的。这些方法能够改变某些属性的相对强度,但不能明确设置它们的值。还有一些方法利用可变形 3D 人脸模型 (3DMM) 来实现 GAN 中的细粒度控制能力。
  • 与这些方法不同,本文方法不受 3DMM 参数限制,且可以扩展到人脸领域之外。使用对比学习获得具有明确解耦的潜在空间的GAN。在人脸领域,展示了对身份、年龄、姿势、表情、头发颜色和照明的控制。还展示了在绘画肖像和狗图像生成领域的控制能力。证明了方法在定性和定量上都实现了最先进的性能。

79、Video Autoencoder: self-supervised disentanglement of static 3D structure and motion

  • 提出一种视频自动编码器,以自监督方式从视频中学习 3D 结构和相机姿态的解耦表示。
  • 解耦的表征可以应用于一系列任务,包括新视图合成、相机姿态估计和通过运动跟踪生成视频。在几个大型自然视频数据集上评估方法,并在域外图像上显示泛化结果。
  • https://zlai0.github.io/VideoAutoencoder/

三十二、可解释性

80、WarpedGANSpace: Finding non-linear RBF paths in GAN latent space

  • 这项工作研究的是,以无监督方式在预训练 GAN 的潜在空间中发现可解释路径的问题,从而提供一种直观且简单的方法来控制潜在的生成因素。
  • 代码和预训练模型https://github.com/chi0tzp/WarpedGANSpace

81、Toward a Visual Concept Vocabulary for GAN Latent Space

  • 本文介绍了一种用于构建在 GAN 潜在空间中表示的视觉概念。方法由三个部分组成:(1)基于层选择性自动识别感知显著的方向;(2) 用自然语言描述对这些方向进行人工标记;(3) 将这些标记信息分解为词汇。实验表明,方法学习的概念词汇是可靠且可组合的,并能够对图像风格和内容进行细粒度操作。

82、When do GANs replicate? On the choice of dataset size

  • GAN 的生成,有没有可能是直接去复制训练图像?
  • 尽管已经在理论上或经验上确定了许多因素,但数据集大小和复杂性对 GAN 是否发生复制的影响仍然未知。借助 BigGAN 和 StyleGAN2 ,在数据集 CelebA、Flower 和 LSUN-bedroom 上,本文表明数据集大小及其复杂性在 GAN 复制和生成图像的感知质量中起着重要作用。

83、Explaining in Style: Training a GAN to explain a classifier in StyleSpace

  • 图像分类模型可能取决于图像里多种不同的语义属性。对分类器决策的解释方面,需要发现和可视化这些属性。本文提出的StylEx,通过训练生成模型来具体解释构成分类器决策的多个属性。
  • 关于StyleGAN 的 StyleSpace,众所周知,它可以在图像中生成具有语义意义的维度。然而,由于标准 GAN 训练不依赖于分类器,它可能无法表示那些对分类器决策很重要的属性,而 StyleSpace 的维度可能表示不相关的属性。为此提出了一个包含分类器模型的 StyleGAN 训练程序,以学习特定于分类器的 StyleSpace。然后从该空间中选择解释性属性。
  • 将 StylEx 应用于多个领域,包括动物、树叶、面部和视网膜图像,展示了如何以不同的方式修改图像以更改其分类器输出。实验表明,该方法可以找到与语义匹配的属性。
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-04-12,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器学习与AI生成创作 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 三十一、解耦学习
  • 78、GAN-Control: Explicitly Controllable GANs
  • 79、Video Autoencoder: self-supervised disentanglement of static 3D structure and motion
  • 三十二、可解释性
  • 80、WarpedGANSpace: Finding non-linear RBF paths in GAN latent space
  • 81、Toward a Visual Concept Vocabulary for GAN Latent Space
  • 82、When do GANs replicate? On the choice of dataset size
  • 83、Explaining in Style: Training a GAN to explain a classifier in StyleSpace
相关产品与服务
图像处理
图像处理基于腾讯云深度学习等人工智能技术,提供综合性的图像优化处理服务,包括图像质量评估、图像清晰度增强、图像智能裁剪等。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档