专栏首页大数据智能实战StarGAN:支持多领域图像生成的生成对抗网络实践

StarGAN:支持多领域图像生成的生成对抗网络实践

GAN家族在CVPR2018时候迎来一个新强悍的成员,即:StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation 。从这个题目可以看出,它与之前的pix2pix等相比,能够支持一生多。

1、论文原理

  GAN的基本框架都是G和D两个模型,一个生成模型,一个判别模型,那么为了同时生成多个,那么这个G模型必须具备生成多样化图像的能力。这也是论文要针对解决的问题是:

However, existing models are both inefficient and ineffectivein such multi-domain image translation tasks. Theirinefficiency results from the fact that in order to learn allmappings among k domains, k(k−1) generators have tobe trained.

而论文的创新点如下:

(1)We propose StarGAN, a novel generative adversarialnetwork that learns the mappings among multiple domains using only a single generator and a discriminator,training effectively from images of all domains.• (仅用一个G和D,即可实现多领域图像生成和训练)

(2) We demonstrate how we can successfully learn multidomain image translation between multiple datasets byutilizing a mask vector method that enables StarGAN to control all available domain labels.

(3)We provide both qualitative and quantitative results on facial attribute transfer and facial expression synthesis tasks using StarGAN, showing its superiority over baseline models.

论文的基本框架如下:

要想让G拥有学习多个领域转换的能力,需要对生成网络G和判别网络D做如下改动。

  • 在G的输入中添加目标领域信息,即把图片翻译到哪个领域这个信息告诉生成模型。
  • D除了具有判断图片是否真实的功能外,还要有判断图片属于哪个类别的能力。这样可以保证G中同样的输入图像,随着目标领域的不同生成不同的效果
  • 除了上述两样以外,还需要保证图像翻译过程中图像内容要保存,只改变领域差异的那部分。图像重建可以完整这一部分,图像重建即将图像翻译从领域A翻译到领域B,再翻译回来,不会发生变化。

同时模型为了支持多个数据集,需要增加mask来实现,即补位加0的办法。

2、论文复现

从论文原作代码:https://github.com/yunjey/StarGAN上进行复现,其运行结果如下:

输出测试结果如下:其中的选择的属性输出如下,结果相当的酷炫。特别是倒数第二个的性别转换。

selected_attrs Black_Hair Blond_Hair Brown_Hair Male Young

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 机器视觉的情感判断实践(From Pixels to Sentiment: Fine-tuning CNNs for Visual Sentiment Prediction)

      看到了2017年的一篇文章From Pixels to Sentiment: Fine-tuning CNNs for Visual Sentiment P...

    sparkexpert
  • AI+CV: 谷歌数据增强文章的实践

    数据增强是机器学习中常用的Trick,特别是用于样本不足的情况下的一种提升机器学习模型性能的重要手段。看了谷歌开源的数据增强文章,里面已经实现得比较全的,做了简...

    sparkexpert
  • 关于Spark运行流式计算程序中跑一段时间出现GC overhead limit exceeded

    最近在升级一个框架的时候,发现某个流式计算程序每隔一定的时间就会出现GC overhead limit exceeded的错误问题。 这个问题肯定是内存不够,但...

    sparkexpert
  • 视频 | 两分钟论文:从冬天回到夏天,英伟达的迁移网络能派上用场

    本期论文:Unsupervised Image-to-Image Translation Networks 论文译名:无监督以图生图(图到图迁移网络) 英伟达推...

    AI科技评论
  • 计算机视觉顶级会议 ICCV 2017 腾讯优图入选 12 篇论文,含 3 篇 Oral

    下面我们将对腾讯优图 12 篇入选论文进行解析,也邀请大家在 ICCV 的现场与我们进一步交流与讨论。

    优图实验室
  • 如何生成全局唯一标识

    大家都用过QQ或者微信吧, 当我们注册的时候, 会被自动分配一个QQ号, 这个号码是全局唯一且固定的, 那么, 如果是你来写的话, 如何为新注册的用户分配一个号...

    烟草的香味
  • Hadoop基础教程-第9章 HA高可用(9.4 YARN 高可用)(草稿)

    第9章 HA高可用 9.4 YARN 高可用 9.4.1 RM单点故障 http://hadoop.apache.org/docs/r2.7.3/hadoop-...

    程裕强
  • 基于CPPN与GAN+VAE生成高分辨率图像

    来源:otoro 编译:weakish 在之前的文章中,hardmaru讨论了一种生成算法,可以在诸如MNIST或CIFAR-10这样的低分辨率图像上训练,以任...

    企鹅号小编
  • 一款java代码生成器(我受够了加班)

    有没有什么办法 能让我的开发速度加快些,好想早点做完去陪女朋友了(首先我得有个女朋友)

    用户5224393
  • Intellij IDEA 2017.3 基于编辑器的REST客户端介绍

    最近Intellij IDEA更新到了2017.3这一版本,这个版本又增加了很多新功能。我觉得其中这个基于编辑器的REST客户端这个功能很不错,可以为我们带来很...

    乐百川

扫码关注云+社区

领取腾讯云代金券