专栏首页机器学习与生成对抗网络StarGAN第2版:多域多样性图像生成

StarGAN第2版:多域多样性图像生成

前言

  • StarGAN v2: Diverse Image Synthesis for Multiple Domains (多域多样性图像合成)
  • https://github.com/clovaai/stargan-v2
  • https://arxiv.org/abs/1912.01865
  • CVPR 2020

1 概要

  • 一个好的图像转换模型应可以学习不同图像域间的映射,同时:1)生成图像多样化;2)在多个域上具有可扩展性。现有方法则无法很好同时解决上述问题。
  • 提出StarGAN v2,一个可同时解决上述问题、并在基线上表现出明显改善效果的单一框架。在CelebAHQ和新的动物面孔数据集(AFHQ)上进行视觉质量、多样性和可扩展性方面验证其有效性。

2 背景

  • 图像转换旨在学习不同视觉域之间的映射。这里,domain表示一组图像,被分组的依据可以是视觉上具有某种属性/类别。而每幅图像有独特的外观,称为样式/风格style。例如,可根据人的性别设置图像域domain,在这种情况下,风格样式包括妆容类别、胡须和发型等。
  • 理想的图像转换方法应能合成:考虑到每个域中的不同风格样式的图像。但设计和学习此类模型会变得很复杂,因为数据集中可能有大量的style和domain。
  • 针对style的多样性,目前已有许多图像转换方法。但这些方法大都仅考虑两个域之间的映射,例如K个域,这些方法需要训练K(K-1)生成器来处理每个域与每个域之间的转换,限制了它们的实际使用。
  • 为此,一些研究提出更具扩展性、统一的框架,StarGAN便是最早的模型之一,它使用一个生成器来学习所有可用域间的映射。生成器将域标签作为附加输入,并将图像转换到相应的域。但StarGAN仍然学习每个域的确定性映射,没有捕获数据分布的多模式;该限制的来由是每个域都由预定标签指示引导。注意到生成器接收固定的标签(例如one-hot向量)作为输入,在给定源图像下,每个域都产生相同输出。

3 网络结构

  • 本文提出的StarGAN v2,是一种可扩展的方法,可跨多个域生成不同的图像。基于StarGAN,使用所提出的domain-specific style code替换域标签,前者可表示特定领域的各种风格样式。为此,引入两个模块,一个映射网络mapping network和一个样式编码器stye encoder。
  • 映射网络学习将随机高斯噪声转换为样式码(style code),而编码器则学习从给定的参考图像中提取样式码。考虑到多个域,两个模块都具有多个输出分支,每个分支都提供特定域的样式码。最后,利用这些样式码,生成器将学习在多个域上合成各种图像。
  • 生成器 Generator:将输入图像
x

转换到输出图像

G(x,s)

,后者体现的是指定domain的风格码

s

,该码由映射网络F或样式编码器E提供。其中,使用的是自适应实例归一化(AdaIN)将s注入G。s被设计为表示特定域y的样式,这消除了向G提供y的必要性,并使G可以合成所有域的图像。

  • 映射网络 Mapping network:给定一个潜码z和一个域y,映射网络F生成样式码
\mathbf{s}=F_{y}(\mathbf{z})

。F由具有多个输出分支的MLP组成,可为所有可用域提供样式码。F可以通过对潜在向量z∈Z和域y∈Y随机采样来产生多种样式码。多任务体系结构使F可以高效地学习所有域的样式表示。

  • 样式编码器 Style encoder:给定图像x及其对应的域y,编码器E提取x的样式码
\mathbf{s}=E_{y}(\mathbf{x})

。与F相似,样式编码器E受益于多任务学习设置, 可使用不同的参考图像生成不同的样式码。这可以让G合成反映参考图像x的样式s的输出图像。

  • 鉴别器 Discriminator:一个多任务鉴别器,由多个输出分支组成。每个分支
D_y

学习二元分类,确定图像x是域y的真实图像还是G生成的伪图像

G(x,s)

4 损失函数

  • 对抗约束

训练中,随机从潜码

\mathbf{z} \in \mathcal{Z}

和目标域

\tilde{y} \in \mathcal{Y}

采样,生成一个目标样式码

\widetilde{\mathbf{s}}=F_{\widetilde{y}}(\mathbf{z})

,生成器接收图像

x

\widetilde{\mathbf{s}}

作为输入,并输出图像

G(\mathbf{x}, \widetilde{\mathbf{S}})

\begin{aligned} \mathcal{L}_{a d v}=& \mathbb{E}_{\mathbf{x}, y}\left[\log D_{y}(\mathbf{x})\right]+\\ & \mathbb{E}_{\mathbf{x}, \tilde{y}, \mathbf{z}}\left[\log \left(1-D_{\tilde{y}}(G(\mathbf{x}, \widetilde{\mathbf{s}}))\right)\right] \end{aligned}
  • 目标样式重建约束
\mathcal{L}_{s t y}=\mathbb{E}_{\mathbf{x}, \widetilde{y}, \mathbf{z}}\left[\left\|\widetilde{\mathbf{s}}-E_{\widetilde{y}}(G(\mathbf{x}, \widetilde{\mathbf{s}}))\right\|_{1}\right]
  • 目标样式多样性约束

最大化:

\mathcal{L}_{d s}=\mathbb{E}_{\mathbf{x}, \widetilde{y}, \mathbf{z}_{1}, \mathbf{z}_{2}}\left[\left\|G\left(\mathbf{x}, \widetilde{\mathbf{s}}_{1}\right)-G\left(\mathbf{x}, \widetilde{\mathbf{s}}_{2}\right)\right\|_{1}\right]

其中,F基于潜码

z_1

z_2

生成的目标样式码

\widetilde{\mathbf{s}}_{1}

\widetilde{\mathbf{s}}_{2}
  • 源特性保留约束
\mathcal{L}_{c y c}=\mathbb{E}_{\mathbf{x}, y, \tilde{y}, \mathbf{z}}\left[\|\mathbf{x}-G(G(\mathbf{x}, \widetilde{\mathbf{s}}), \hat{\mathbf{s}})\|_{1}\right]

其中,

\hat{\mathbf{s}}=E_{y}(\mathbf{x})

是输入图像

x

、以及它对应的源图像域

y

之下的样式码。

  • 整体(优化损失)
\begin{array}{rl} \min _{G, F, E} \max _{D} & \mathcal{L}_{a d v}+\lambda_{s t y} \mathcal{L}_{s t y} \\ & -\lambda_{d s} \mathcal{L}_{d s}+\lambda_{c y c} \mathcal{L}_{c y c} \end{array}

5 实验

  • (新)数据集和评估指标

发布了一个新的动物面孔数据集Animal FacesHQ(AFHQ),其中包括512×512分辨率的15,000张高质量图像。数据集包括猫,狗和野生动物的三个域,每个域提供5000张图像。通过具有多个(三个)域和每个域不同品种(≥8个)的不同图像,AFHQ设置了更具挑战性的图像间转换问题。对每个域,论文选择500张图像作为测试集,剩余的图像作为训练集。图像都是从Flickr1和png2网站收集(具有许可),所有图像垂直和水平对齐、以眼睛居中,低质量的图像被人为丢弃,已在https://github.com/clovaai/stargan-v2提供。采用的量化评估指标:FID、LPIPS

  • 训练设置

6 (部分)实验结果

7 结论

提出StarGAN v2解决了图像转换的两个主要挑战;将一个域的图像转换为目标域的多种图像,并支持多个目标域。实验结果表明,所提方法可以跨多个域生成样式/风格丰富的图像,并明显优于以前的方法。此外,还发布了一个新的动物面孔数据集(AFHQ)。

本文分享自微信公众号 - 机器学习与生成对抗网络(AI_bryant8),作者:bryant8

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-06-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CVPR 2020 | 几篇GAN在low-level vision中的应用论文

    【图像分离、去雨/反射/阴影等】Deep Adversarial Decomposition: A Unified Framework for Separat...

    公众号机器学习与生成对抗网络
  • 【1】GAN在医学图像上的生成,今如何?

    最初,GAN在被提出时,是一个无监督(无条件)的生成框架:例如在图像合成中,将随机噪声映射到逼真的目标图像。

    公众号机器学习与生成对抗网络
  • 基础 | 如何通过DCGAN实现动漫人物图像的自动生成?

    基于生成对抗网络(GAN)的动漫人物生成近年来兴起的动漫产业新技术。传统的GAN模型利用反向传播算法,通过生成器和判别器动态对抗,得到一个目标生成模型。由于训练...

    公众号机器学习与生成对抗网络
  • 如何让摄像头变成“暗夜之眼”?英特尔开发了一套基于FCN的成像系统

    【AI科技大本营导读】手机拍照的重要性不必多说,不论是国外的苹果、三星,还是国内的华为、小米,都在提升拍照性能上下足了功夫,目前的手机摄像头已经逐渐从单摄走向双...

    AI科技大本营
  • 木星切片剪影:JunoCam 图像处理

    WolframChina
  • 四个任务就要四个模型?现在单个神经网络模型就够了!

    AI 科技评论按:顾名思义,「表示」(representation)就是指在网络中对信息进行编码的方式。为了让大家充分理解「表示」,本文作者尝试构建一个能同时完...

    AI科技评论
  • 四个任务就要四个模型?现在单个神经网络模型就够了!

    AI 科技评论按:顾名思义,「表示」(representation)就是指在网络中对信息进行编码的方式。为了让大家充分理解「表示」,本文作者尝试构建一个能同时完...

    AI研习社
  • 图像处理入门基础

    1、数字图像处理是指将图像信号转换成数字信号并利用计算机对其进行处理的过程,图像看成二维、三维或者更高维的信号。

    长风破浪
  • 去噪、去水印、超分辨率,这款不用学习的神经网络无所不能

    事情是这样的:研究人员们让一个深度卷积网络去学习复制被破坏的图像(例如加入噪点的图像),随后竟发现这个网络可以自行先学会如何重建图像。该研究的论文《Deep I...

    机器之心
  • 数字图像处理的基本原理和常用方法

      数字图像处理是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。图像处理最早出现于 20 世纪 50 年代,当时的电子计算机已经发展到一定水平,人们...

    bear_fish

扫码关注云+社区

领取腾讯云代金券