首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >生成对抗网络GAN系列(四)LSGAN---最小二乘GAN

生成对抗网络GAN系列(四)LSGAN---最小二乘GAN

作者头像
TeeyoHuang
发布2019-05-26 16:09:49
9330
发布2019-05-26 16:09:49
举报

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://cloud.tencent.com/developer/article/1435738

Least Squares Generative Adversarial Networks

Xudong Mao, Qing Li, Haoran Xie, Raymond Y.K. Lau, Zhen Wang, Stephen Paul Smolley

论文链接:https://arxiv.org/pdf/1611.04076.pdf

1.简介

传统的GAN的 Discriminator网络采用的是sigmoid cross entropy loss,在训练的时候容易发生梯度弥散。

所以本篇论文选择了另一种损失函数:Least Squares loss function,具备以下两种优点:

①比传统gan网络生成的图片的质量要高

②训练过程更加stable

2.核心思想

将损失函数替换为:least squares loss

3.具体实现

这里注意到它的网络结构里面用的也是convolution layer,可以说是经由DCGAN演化而来

跟DCGAN相比,多了一些stride=1的卷积。

在LSUN bedroom数据集上实验,产生的图像效果跟DCGAN没有什么差别(架构跟DCGAN相同,只是改了目标函数),

实际上,你可以直接把DCGAN的代码修改一下目标函数,就成了LSGAN。

但是训练的效果可能没有作者提出的架构好,毕竟架构上有稍许差异

4、讨论

①生成图片质量比传统GAN高的原因

这图1和这一大段话基本在说这么一件事:

对于一些G生成的样本如果判别器D判定它们为real

在使用传统损失函数sigmoid cross entropy loss的情况下:那么这些样本就不会再得到优化

但使用least squares loss 的情况下,这些图片会继续得到优化,所以生成的图像质量会更高

②训练更稳定:

sigmoid交叉熵损失很容易就达到饱和状态(饱和是指梯度为0),而最小二乘损失只在一点达到饱和

5.参数设置

方法①

方案②

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018年09月07日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Least Squares Generative Adversarial Networks
    • 1.简介
      • 2.核心思想
        • 3.具体实现
          • 4、讨论
            • 5.参数设置
              • 方法①
              • 方案②
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档