GAN鉴别器中的重塑问题(Tensorflow)

GAN（Generative Adversarial Network）是一种深度学习模型，由生成器（Generator）和鉴别器（Discriminator）两个神经网络组成。生成器负责生成逼真的样本，而鉴别器则负责判断输入的样本是真实样本还是生成样本。

在GAN鉴别器中的重塑问题是指在训练过程中，鉴别器可能会出现过拟合的情况，导致其对生成样本的判断过于自信，从而影响生成器的训练效果。为了解决这个问题，可以采用以下方法：

增加噪声：在训练过程中，向真实样本和生成样本中添加噪声，使得鉴别器更难以判断样本的真实性，从而减少过拟合的可能性。
交替训练：在每一轮训练中，先更新生成器的参数，然后再更新鉴别器的参数。通过交替训练，可以使得生成器和鉴别器相互竞争，从而达到更好的训练效果。
使用标签平滑技术：在训练过程中，将真实样本的标签设置为一个小于1的值，而不是传统的1。这样可以减少鉴别器对真实样本的过度自信，从而缓解重塑问题。
增加样本多样性：通过增加训练数据集的多样性，可以使得鉴别器更难以捕捉到生成样本的规律，从而减少重塑问题的发生。

腾讯云相关产品和产品介绍链接地址：

腾讯云AI开放平台：https://cloud.tencent.com/product/ai
腾讯云机器学习平台：https://cloud.tencent.com/product/mls
腾讯云深度学习平台：https://cloud.tencent.com/product/dla
腾讯云容器服务：https://cloud.tencent.com/product/ccs
腾讯云数据库：https://cloud.tencent.com/product/cdb
腾讯云服务器：https://cloud.tencent.com/product/cvm
腾讯云存储服务：https://cloud.tencent.com/product/cos
腾讯云区块链服务：https://cloud.tencent.com/product/bcs
腾讯云物联网平台：https://cloud.tencent.com/product/iot
腾讯云移动开发平台：https://cloud.tencent.com/product/mpp
腾讯云音视频处理服务：https://cloud.tencent.com/product/mps

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

学界 | Goodfellow点赞的相对鉴别器：表征GAN中缺失的关键因素

在实践中，这意味着 SGAN 中的鉴别器通常训练效果不佳；否则梯度就会消失，训练也随之停止。...这一问题在高维设定中会更加明显（如高分辨率图像及具有较高表达能力的鉴别器架构），因为在这种设定下，实现训练集完美分类的自由度更高。...在基于 IPM 的 GAN 中，鉴别器是实值的，并被限制在一类特定的函数中，以免增长过快；这是一种正则化形式，防止 D 变得过强（即大致将真假数据完美分类）。...在实践中，我们发现基于 IPM 的 GAN 鉴别器可以经过多次迭代训练而不造成梯度消失。 IPM 限制已被证明在不基于 IPM 的 GAN 中同样有益。...我们还提出了一种变体，其中鉴别器估计平均给定的真实数据要比假数据更加真实的概率。我们泛化两种方法到非标准 GAN 损失函数中，并分别称之为相对 GAN（RGAN）和相对平均 GAN（RaGAN）。

7672 0

【GAN优化】详解GAN中的一致优化问题

GAN的训练是一个很难解决的问题，上期其实只介绍了一些基本的动力学概念以及与GAN的结合，并没有进行过多的深入。...非常难得有一个好的关于收敛性的结论，而且其数值迭代的方式与实际的GAN训练方式也吻合，我们考虑将GAN对接到这个结论中。...2 对接GAN 上一期中，我们已经给出了GAN的动力学系统的介绍，为了方便起见，我们将生成器和判别器的目标函数均写成max的形式： ? 那么对应于第一小节的式子，x对应为GAN的参数： ?...添加的正则项虽然没有解决要求足够小的学习速率的问题，但是“保证”了特征值尽可能落入单位圆中。...总结这篇文章承接上一篇文章，在GAN中利用动力学的成熟知识，添加了一个正则项，保证了GAN在足够小的学习速率的情况下能收敛进入纳什均衡状态，是一项非常有价值的工作。下一期的任务将继续延此路线展开。

7924 0

TF - GAN入门：TensorFlow 2.0 的轻量级 GAN 库

具影响力的论文： https://github.com/tensorflow/gan#who-uses-tf-gan 今天，各个推出 TF-GAN 的新版本。...此外，您还可以在 Colab 的 TPU 教程中免费运行 TF-GAN。 GAN 自学课程：免费的学习资源将有助于机器学习的发展与传播。...您可以在 tensorflow.org/beta 中发现一些不使用 TF-GAN 的 GAN Keras 示例，包括 DCGAN、Pix2Pix 和 CycleGAN。...左图：真实图像中图：生成图像 (GPU) 右图：生成图像 (TPU) ? ? 左图：将 Frechet Inception Distance 和 Inception Score 用作训练步骤的函数。...如图所示，应用于某个细胞切片图像的均衡器输出9 周图像演变实验的每周图像。一些切片的属性有所变化（例如平均背景色），但“图像中的细胞数量”等属性未发生变化。

2.1K3 0

GAN 的理解与 TensorFlow 的实现

所以，InfoGAN 就变成如下的优化问题：因为互信息的计算需要后验概率的分布（下图红线部分），在实际中很难直接使用，因此，在实际训练中一般不会直接最大化 $I(c;G(z,c))$ 这里作者采用和...实验我写的一版基于 TensorFlow 的 Info-GAN 实现：Info-GANburness/tensorflow-101 random 的 label 信息，和对应生成的图像：不同 random...tensorflow 的版本 AC-GAN....GAN 的基本内容，到 InfoGAN、AC-GAN，大部分的工作都来自于阅读相关的 paper，自己相关的工作就是 tensorflow 下参考 sugartensor 的内容重现了 InfoGAN、...github 上:GAN, 相信读一下无论是对 TensorFlow 的理解还是 GAN 的理解都会有一些帮助，简单地参考 mnist.py 修改下可以很快的应用到你的数据集上，如果有小伙伴在其他数据集上做出有意思的实验效果的

8928 0

生成对抗网络（GAN）的直观介绍

本篇文章对GAN进行了一些介绍，并对图像生成问题进行了实际实践。你可以在你的笔记本电脑上进行演示。生成对抗网络 ? 生成敌对网络框架 GAN是由Goodfellow等人设计的生成模型。...在GAN设置中，以神经网络为代表的两个可微函数被锁定在游戏中。这两个参与者（生成器和鉴别器）在这个框架中有不同的角色。生成器试图生成来自某种概率分布的数据。即你想重新生成一张聚会的门票。...第一个重点是增加和减少特征的空间维度的叠加卷积（而不是汇集层）。第二个规格化特征向量在所有图层中具有零均值和单位方差。这有助于稳定学习和处理重量不佳的初始化问题。...不用多说，让我们深入实施细节，并在我们走的时候多谈谈GAN。我们提出了深度卷积生成对抗网络（DCGAN）的实现。我们的实现使用Tensorflow并遵循DCGAN论文中描述的一些实践。...它将随机向量z（从正态分布中抽取）作为输入。将z重塑为4D形状之后，将其馈送到启动一系列上采样层的发生器。每个上采样层都代表一个跨步旋转运算。转置卷积与常规卷积类似。

1.1K6 0

【GAN全局实用手册】谷歌大脑最新研究，Goodfellow力荐

---- 新智元编译来源：Goole Brain 编译：金磊【新智元导读】随着GAN越来越多的应用到实际研究当中，其技术中的缺陷与漏洞也随之出现。...还可以通过最小化模型分布和真实分布之间的统计差异来导出GAN框架。训练GAN需要解决发生器和鉴别器参数的最小极大(nimimax)问题。...由于发生器和鉴别器通常都被参数化为深度卷积神经网络，所以这种极小极大(minimax)问题在实践中是非常困难的。为此，提出了许多损失函数，正则化和归一化以及神经结构的方案来做选择。...图像质量（MS-SSIM）和多样性的多尺度结构相似性 GAN中的一个关键问题是模式崩溃和模式丢失 - 无法捕获模式，或者从给定模式生成样本的多样性较低。...Github链接：http://www.github.com/google/compare_gan TensorFlow Hub链接：http://www.tensorflow.org/hub

5010 0

50 行 PyTorch 代码搞定 GAN

给定一些真实数据集R，G是发生器（试图创建看起来像真正数据的假数据），而D是鉴别器，从真实数据集或G中获得数据并标记差异。...这意味着我们的模型G不能简单地移动/缩放输入以复制R，而是必须以非线性方式重塑数据。 ? 3.）G：发生器是一个标准的前馈图 - 两个隐藏层，三个线性地图。...还有一些其他样板代码，但GAN特定的东西只是那5个组件，没有别的了。在D和G之间几千次的禁忌之舞中，我们得到什么？...Goodfellow继续就GAN的问题发表了许多文章，其中包括一篇2016年的瑰宝，描述了一些实用的改进，其中包括了此处适用的minibatchdiscrimination方法。...这里有一个2小时的教程，是他在2016年的NIPS提出的。对于TensorFlow的用户来说，这里有一个parallel post，来自GANs的Aylien。好，说得够多了。去看看代码吧。

1.2K7 0

使用 GAN 网络生成名人照片

生成式对抗网络是一类用于无监督学习算法的人工算法，由两个神经网络组成的系统实现：生成器 鉴别器 两个神经网络都在零和游戏框架中相互竞争。...这里的图像是从原始数据分布中采样的，原始数据分布是真实数据本身。 D（x）是显示图像是真实的概率，所以鉴别器总是想要最大化D（x），因此log（D（x））应该最大化并且在这一部分内容中必须最大化。...为了获得准确的结果，我们应该拥有一个良好的GPU（4GB或更高版本），通过运行此代码片段，你可以了解是否使用自己的GPU安装了tensorflow。...生成器将随机噪声向量z，之后把它重塑为4D形状并把它传递给一系列上采样层。每个上采样层都代表一个转置卷积运算，即反卷积运算。所有转置卷积的深度从1024一直减少到3 ，它表示RGB彩色图像。...当鉴别器看到图像中的差异时，它将梯度信号发送到生成器，此信号从鉴别器流向生成器。

3381 0

ALI的Tensorflow炼成与GAN科普

本文介绍关于GAN的一些知识以及GAN的思想如何转移到ALI中，以及通过Google的Deep Learning框架TensorFlow，通过MNIST数据来实现ALI模型。...而基于GAN的方法代表了一个很好的妥协：他们学习一个生成模型，生成比最佳VAE技术更高质量的样本，而不牺牲采样速度，并且还利用潜在代表在生成过程中。...然而，GAN缺乏有效的推理机制，使得GANs无法在抽象层面推理数据。因此大牛们在研究如何优雅的将GANs其他的方法进行结合，出杂交种，其实本质意义上就是在两个短板中互相妥协罢了。...训练一个鉴别器，以便将来自解码器的联合样本的数据和相应的潜在变量的联合样本与编码器（或近似后验）区分开，而编码器和解码器被一起训练以愚弄鉴别器。...ALI的概念非本人提出，本人根据自己对ALI的理解通过Tensorflow进行实现，并且运行于Jupyter中。

89510 0

探索生成式对抗网络GAN训练的技术：自注意力和光谱标准化

其中很大以部分都来自生成式对抗网络（GAN）。GAN是一个框架，由Goodfellow等人发明，其中互相竞争的网络，生成器G和鉴别器D都由函数逼近器表示。它们在对抗中扮演不同的角色。...简单的说，SN约束卷积滤波器的Lipschitz常数。SN被用作稳定鉴别器网络训练的方法。在实践中，它非常有效。然而，在训练经过标准化的鉴别器时存在一个问题。...例如，每次生成器更新，正则化鉴别器可能需要5次或更多的更新。为了解决学习慢、更新步骤不平衡的问题，这是一种简单而有效的方法。值得注意的是，在GAN框架中，G和D一起训练。...在此背景下，Heusel等人在GAN训练中引入了TTUR（two-timescale update rule）。它包括提供不同的学习率，以优化生成器和鉴别器。...鉴别器训练的学习率分别比G高4倍（分别为0.004和0.001）。较大的学习率意味着鉴别器将吸收梯度信号的较大部分。因此，较高的学习率缓解了正则化鉴别器学习慢的问题。。

1.4K2 0

【GAN优化】GAN训练的几个问题

从今天开始，我们将关注训练GAN时产生的问题，作为第一篇文章，首先从几个方面来分析一下实际训练的GAN和理论模型上的GAN不同之处以及实践中出现的问题。...但是，实际上，这样的结果是不太可能达到的。 1 梯度消失问题在早期的GAN中，有一条经验：不要把判别器训练得太好，以避免后期梯度消失导致无法训练生成器。...但考虑到上述简单的正态分布的例子中尚且存在这样的问题，有理由认为在GAN中，依靠采样来估计的分布之间的距离并不等于两个分布的真实的距离。...在maxmin的角度来看，GAN的训练过程会产生模式崩溃(mode collapse)问题，就是指生成器生成的样本有大量的重复，多样性非常差（这是一个在实践中经常出现的问题，在之后的文章中，我们将花许多精力来介绍...参数空间与函数空间问题理论上，GAN确实可以收敛，但是该优化过程是在函数空间中完成的。实践操作中，我们的优化操作是在神经网络的权值构成的参数空间中进行的，理论上的保证在现实中并不成立。

3.5K1 0

【实践】伪造名人的脸—做一个小示例了解生成式对抗网络

他们“相互斗争”;鉴别器使用生成器的输出作为训练数据，而生成器则从鉴别器中得到反馈。在这个过程中，每个模型都变得更加强大。通过这种方式，GANs能够根据一些已知的输入数据生成新的复杂数据。...实现GAN并不像听起来那么难。在本教程中，我们将使用TensorFlow来构建一个能够生成人脸图像的GAN。...完成这一操作之后，我们可以通过稍后指定一个馈送词典（feed dictionary）来使用我们网络中的占位符。 鉴别器网络 鉴别器相当于“艺术评论家”，试图区分真实和虚假的图像。...简单地说，这是一个用于图像分类的卷积神经网络。如果你已经有了一些深度学习的经验，那么你有可能建立过与之相似网络。 ? 鉴别器执行多重卷积定义这个网络时，我们要使用一个TensorFlow变量作用域。...现在，我们只获取我们之前定义的输入，损失和优化，调用一个TensorFlow会话并分批运行批处理。每400一批，我们通过显示生成的图像和生成器以及鉴别器的损失来输出当前的进度。

1K4 0

如何快速理解GAN？这里有一篇最直观的解读

在GAN设置中，两个由神经网络进行表示的可微函数被锁定在一个游戏中。这两个参与者（生成器和鉴别器）在这个框架中要扮演不同的角色。生成器试图生成来自某种概率分布的数据。即你想重新生成一张聚会的门票。...这有助于稳定学习和处理权重不佳的初始化问题。言归正传，在这里阐述一下/实施细节，以及GAN的相关知识。我们提出了深度卷积生成对抗网络（DCGAN）的实现。...它将随机向量z（从正态分布中抽取）作为输入。将z重塑为4D形状之后，将其馈送到启动一系列上采样层的生成器中。...，在这个框架中，鉴别器充当一个常规的二进制分类器。...如果你想对这些问题有更深入的理解，我推荐文章：《对抗模型》《对抗模型》 https://blog.openai.com/generative-models/#gan 同样，看一看《利用GAN实现半监督学习

6964 0

使用以 Tensorflow 为后端的 Keras 构建生成对抗网络的代码示例

本文为 AI 研习社编译的技术博客，原标题： GAN by Example using Keras on Tensorflow Backend 作者 | Rowel Atienza 翻译 | GuardSkill...、鲁昂编辑 | 王立鱼原文链接： https://towardsdatascience.com/gan-by-example-using-keras-on-tensorflow-backend-...GAN由Ian Goodfellow于2014年推出，它通过分别训练两个相互竞争和合作的深度网络（称为生成器[Generator]和鉴别器[Discriminator]）来进军无监督学习的问题。...虽然GAN的理念在理论上很简单，但构建一个可以工作的模型却非常困难。在GAN中，有两个深度网络耦合在一起，使得梯度的反向传播具有挑战性，因为反向传播需要进行两次。...鉴别模型的keras代码反模型图三中展示了生成-鉴别模型，生成器部分尝试骗过鉴别器并同时读取鉴别器的反馈。代码4给出了keras的代码实现。

8594 0

Tensorflow2实现像素归一化与频谱归一化

(Generative Adversarial Networks, GAN)中众多改进的一种，本文介绍常用于当前GAN中的像素归一化(Pixel normalization，或称为像素规范化)和频谱归一化...在ProGAN中进行归一化的目的是限制权重值，以防止其呈指数增长。较大的权重可能会增大信号幅度，并导致生成器与鉴别器之间的恶性竞争。像素归一化将通道尺寸中每个像素位置(H, W)的特征进行归一化。...像素归一化实现在Tensorflow2中，可以使用自定义层来实现像素归一化： from tensorflow.keras.layers import Layer class PixelNorm(Layer...接下来，在TensorFlow中实现频谱归一化作为权重约束。频谱归一化实现频谱归一化数学算法可能看起来很复杂。但是，通常，算法实现比数学上看起来更简单。...以下是执行频谱归一化的步骤：卷积层中的权重是一个4维张量，因此第一步是将其重塑为2D矩阵，在这里我们保留权重的最后一个维度。重塑后，权重的形状为(H×W, C)。

4164 0

TransGAN：使用Transformer替换卷积也可以构建一个强力的GAN

生成对抗网络(GANs)已经在包括图像合成、图像翻译和图像编辑在内的许多任务中取得了相当大的成功。...但是因为生成对抗网络训练不稳定，为了稳定GAN训练付出很多人付出了许多努力例如引入了各种正则化方法，使用更好的损失函数和优化训练方法等。几乎每个成功的GAN都依赖于基于CNN的生成器和鉴别器。...该向量将重塑为H×W分辨率特征图（默认为H = W = 8），每个点都是C维的特征嵌入。接下来，将此特征图视为长度为64的C维令牌的序列，并结合可学习的位置编码。...在此之后，二维特征映射X '_0再次被重塑为嵌入令牌的1D序列，令牌编号为4HW，嵌入维数为C/4。...鉴别器将图像的小块作为输入，他们将输入图像Y分成8×8个小块，其中每个小块可被视为“单词”。

7391 0

使用keras创建一个简单的生成式对抗网络（GAN）

AiTechYun 编辑：yxy 在本教程中，你将了解什么是生成式对抗网络（GAN），但在这里我不会讲解数学细节。在教程的最后，你会学习如何编写一个可以创建数字的简单生成式对抗网络（GAN）！ ?...生成式对抗网络的组成部分使用上面的例子，我们可以想出一个生成式对抗网络GAN的架构。 ? GAN中有两个主要组件：生成器和鉴别器。...这个比喻中的店主被称为鉴别器网络，并且通常是卷积神经网络（因为GAN主要用于图像任务），其指定图像为真实的概率。伪造者一般称为生成网络，并且通常也是卷积神经网络（具有反卷积层）。...在这个脚本中，你首先需要导入你将要使用的所有模块和函数。在使用它们时给出每个解释。...现在，你可以创建你的生成器和鉴别器网络。你将为这两个网络使用Adam优化器。对于生成器和鉴别器，你将创建一个带有三个隐藏层的神经网络，激活函数为Leaky Relu。

2.2K4 0

CVPR 2020 | 10篇改进GAN的论文（网络、训练、正则等）

将学习隐式生成模型（IGM）的问题公式化为最小化 characteristic functions 之间的期望距离。...生成对抗网络（GAN）所面临的主要挑战之一是，能合成在物体形状和纹理的全局和局部上具有与真实图像无法区分的自然一致性图像。为此借鉴了分割思想，提出一种基于U-Net的鉴别器架构。 ?...这项工作提出多尺度梯度生成对抗性网络（MSG-GAN），简单但有效，从鉴别器到生成器的多个尺度的梯度流来解决此问题。该技术为高分辨率图像合成提供稳定之法，并且可替代常用的渐进式生长技术。 ?...9 On Positive-Unlabeled Classification in GAN ? 本文提出一种稳定训练GAN鉴别器的技术。传统上，实际数据被视为正样本，而生成数据为负样本。...2.0 深度学习算法实战》附下载 |《计算机视觉中的数学方法》分享 CVPR 2020 | 几篇GAN语义生成论文 CVPR 2020 | GAN中的反射/光和阴影 CVPR 2020 | 几篇 image-to-image

1.2K2 1

综述 | 一文帮你发现各种出色的GAN变体

它通过从简单分布中（例如正态分布）采样向量噪声 Z，然后将该矢量上采样到图像来生成图像。在第一次迭代中，这些图像看起来很嘈杂。然后，鉴别器被给予真、假图像，并学习区分它们。...在这篇文章中，作者提出了对 GAN 训练的不同增强方案。这里是其中的一些：特征匹配：他们没有使生成器尽可能地欺骗鉴别器，而是提出了一个新的目标函数。...这个可解释性问题是 Wasserstein GAN 旨在解决的问题之一。怎么样？GAN 可被解释以最小化 Jensen-Shannon 发散，如果真和假的分布不重叠（通常是这种情况），则它为 0。...此外，在这个 repo（https://github.com/wiseodd/generative-models）中，你会发现 Tensorflow 和 Torch 中的各种 GAN 实现。 ?...最后，机器之心所关注的GAN文章列表： Wasserstein GAN 的 TensorFlow 实现 FAIR 提出常见 GAN 训练方法的替代方法：WGAN 最小二乘GAN：比常规GAN更稳定，比WGAN

9207 0

一文看懂生成式对抗网络GANs：介绍指南及前景展望

训练GAN的步骤第1步：定义问题。你想生成假的图像还是文字？你需要完全定义问题并收集数据。第2步：定义GAN的架构。GAN看起来是怎么样的，生成器和鉴别器应该是多层感知器还是卷积神经网络？...另一方面，如果鉴别器过于宽松，理论上它可以允许生成器产生任何图像。这意味着你的GAN是无用的。浏览GAN的稳定性的另一种方法是将其看做一个整体收敛的问题。...如下所示，它给出3D对象的平面（2D）展开。全局结构问题：与透视问题相同，GAN不了解整体结构。例如，在左下角的图像中，它给出了一只四足牛的生成图像，即母牛站立在其后腿上，同时又站立在所有四条腿上。...这在现实中绝对不可能！大量的研究正被用来处理这些问题。很多比过去拥有更好结果的新模型被提出，比如DCGAN, WassersteinGan。...你需要安装一些Python的包： numpy pandas tensorflow keras keras_adversarial 在开始编写代码之前，让我们先了解内部工作的原理，训练GAN的伪代码如下：

7034 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云