#3：使用一个具有球形结构的噪声z在做插值（interpolation）时，在大圆（great circle）上进行Tom White的论文“Sampling Generative Networks”- #6：使用Soft和Noisy标签Label平滑，也就是说，如果有两个目标label：Real=1 和 Fake=0，那么对于每个新样本，如果是real，那么把label替换为0.7~1.2之间的随机值 ；如果样本是fake，那么把label替换为0.0~0.3之间的随机值。 #13：给输入增加噪声，随时间衰减给D的输入增加一些人工噪声(Arjovsky et. al., Huszar, 2016)给G的每一层增加一些高斯噪声(Zhao et. al. EBGAN)? #14：多训练判别器D特别是在加噪声的时候?#15：避开离散空间将生成结果作为一个连续预测??#16：离散变量使用一个嵌入层给图像增加额外通道保持嵌入的维度低和上采样以匹配图像通道的大小?
云服务器1核2G首年38元，还有多款热门云产品满足您的上云需求
以下结果可以用命令重现:python main.py --dataset mnist --gan_type --epoch 25 --batch_size 64随机生成所有的结果都是随机抽取的。?? infoGAN倾向于忽略噪声矢量。它导致同一类中的不同样式不能被表示。InfoGAN:操纵两个连续的代码?变分自编码器（VANs）列表? (VAE为2x z_dim，GAN为1)以下结果可以用命令重现:python main.py --dataset mnist --gan_type --epoch 25 --batch_size 64随机生成所有的结果都是随机抽取的 有条件的生成每一行都有相同的噪声向量，每一列都有相同的标签条件。?同时对CGAN的结果进行了比较，比较了CVAE和CGAN生成的图像。 此外，还对GAN的结果进行了比较，比较了VAE和GAN生成的图像。有条件的生成每一行都有相同的噪声向量，每一列都有相同的标签条件。?同时对CGAN的结果进行了比较，比较了CVAE和CGAN生成的图像。
欢迎大家来到《知识星球》专栏，在GAN刚刚诞生的时候，的确只是用于生成图像造造假，做做数据增强，但是后来研究人员发现对抗思想是一个非常好的东西，几乎可以用于所有领域，今天介绍几个GAN在经典计算机视觉问题中进行辅助的案例 作者&编辑 | 言有三1 GAN与目标检测目标检测估计是计算机视觉领域里从业者最多的领域了，其中的小目标，大姿态等都是经典难题，GAN在其中真的是很有作为的，我们已经开始整理。 与图像降噪图像在产生和传输过程中都会受到噪声的干扰，因此图像降噪是一个非常基础的问题，生成式模型GAN在捕捉噪声的分布上有天然的优势。 基于深度学习的图像降噪面临的一大难题就是没有成对的真实噪声和无噪声数据，GCBD(GAN-CNN Based Blind Denoiser)方法使用GAN从真实带噪声图像中采集噪声，获得真实的成对图用于降噪模型训练 真实噪声和无噪声图像的获取是将深度学习应用于降噪问题的关键，基于GAN等无监督模型的方式值得重点关注。参考文献 Chen J, Chen J, Chao H, et al.
例如下图就是一个例子，左边是一个熊猫，但是添加了少量随机噪声变成右图后，分类器给出的预测类别却是长臂猿，但视觉上左右两幅图片并没有太大改变。?所以为什么在简单添加了噪声后会误导分类器呢？ 而做不到泛化到所有数据的分类器，其实就会过拟合训练集的数据，这也就是我们可以利用的一点。我们可以给图片添加一个非常接近于 0 的随机噪声，这可以通过控制噪声的 L2 范数来实现。 因为在 L2 范数看来，对于熊猫和长臂猿的决策边界并没有那么远，添加了非常微弱的随机噪声的图片可能就远离了熊猫的决策边界内，到达长臂猿的预测范围内，因此欺骗了分类器。 除了这种简单的添加随机噪声，还可以通过图像变形的方式，使得新图像和原始图像视觉上一样的情况下，让分类器得到有很高置信度的错误分类结果。 两个网络的工作原理可以如下图所示，D 的目标就是判别真实图片和 G 生成的图片的真假，而 G 是输入一个随机噪声来生成图片，并努力欺骗 D 。?
作者&编辑 | 言有三1 GAN与图像降噪图像在产生和传输过程中都会受到噪声的干扰，因此图像降噪是一个非常基础的问题，生成式模型GAN在捕捉噪声的分布上有天然的优势。 基于深度学习的图像降噪面临的一大难题就是没有成对的真实噪声和无噪声数据，GCBD(GAN-CNN Based Blind Denoiser)方法使用GAN从真实带噪声图像中采集噪声，获得真实的成对图用于降噪模型训练 真实噪声和无噪声图像的获取是将深度学习应用于降噪问题的关键，基于GAN等无监督模型的方式值得重点关注。参考文献 Chen J, Chen J, Chao H, et al. 另外，随着生成对抗网络GAN的发展，生成器和判别器的对抗学习机制在图像生成任务中展现出很强大的学习能力。 由于需要重建的是被遮挡区域，所以该损失需要在掩膜M的作用下，掩膜可以在训练时随机产生，比如产生不超出原图大小14的区域。另一部分就是对抗损失，用于使生成的结果图更加真实。?
由于GAN训练导致动态平衡，GAN可能会以各种方式陷入困境。在训练期间引入随机性有助于防止这种情况。我们以两种方式引入随机性：通过在鉴别器中使用dropout并通过向鉴别器的标签添加随机噪声。 Generator首先，开发一个生成器模型，该模型将矢量（从潜在空间 - 在训练期间将随机采样）转换为候选图像。 GAN通常出现的许多问题之一是生成器卡在生成的看起来像噪声的图像。 对于每个epoch，执行以下操作：在潜在空间中绘制随机点（随机噪声）；在生成器中使用随机噪声生成图像；将生成的图像与实际图像混合；使用这些混合图像训练鉴别器，并使用相应的目标：要么“真实”(对于真实图像 )要么“假”(对于生成的图像)；在潜在空间中绘制新的随机点；使用这些随机向量训练gan，目标都是“这些都是真实的图像。” combined_images = np.concatenate() #标签 labels = np.concatenate() labels += 0.05 * np.random.random(labels.shape)#加随机噪声
选自GitHub机器之心编译参与：路雪、李泽南变分自编码器（VAE）与生成对抗网络（GAN）是复杂分布上无监督学习最具前景的两类方法。 GAN GAN 是根据给定的先验分布生成数据的另一种方式，包括同时进行的两部分：判别器和生成器。 判别器用于对「真」图像和「伪」图像进行分类，生成器从随机噪声中生成图像（随机噪声通常叫作本征向量或代码，该噪声通常从均匀分布（uniform distribution）或高斯分布中获取）。 代码只是从先验分布中对本征变量的噪声采样。有很多种方法可以克服该挑战，包括：使用 VAE 对本征变量进行编码，学习数据的先验分布。 这听起来要好一些，因为编码器能够学习数据分布，现在我们可以从分布中进行采样，而不是生成随机噪声。训练细节 我们知道两个分布 p（真实分布）和 q（估计分布）之间的交叉熵通过以下公式计算：?
我们看一个最简单的GAN结构图：GAN结构图图中最左边的Z就是我们的输入，它是一个随机噪声，目的在于生成一张符合我们要求的随机图片，比如一张随机特征的人脸、猫等。 G就是一个生成器（Generator），它是一个需要训练的神经网络，输入的随机噪声，通过G来转化成一张图片。随着训练，我们希望生成的图片效果越来越好。 步骤简单描述如下，每个batch轮流训练G和D：从X中拿出一张真图片令G根据随机噪声Z生成一张假图片让D判断上述两张照片谁真谁假回馈G令其生成更逼真图片上面我们用的输入是随机噪声，目的是为了生成随机的一张图片 如果输入是噪声，那就是单纯的图像生成，而不是转换，但更常见的应用可能是转换风格，所以我们能不能把输入改成图片呢？肯定可以。改成输入图片我们只需要在原有的结构上做一点点修改。 cycleGAN结构图现在本文最绕的部分来了，上图就是cycleGAN的结构，还记不记得GAN的结构，有生成器G、鉴别器D、训练集X和输入噪声Z。
这款新型 GAN 生成器架构借鉴了风格迁移研究，可对高级属性（如姿势、身份）进行自动学习和无监督分割，且生成图像还具备随机变化（如雀斑、头发）。 可以看到风格的每个子集控制图像的有意义高级属性。随机变化?图 4. 随机变化的示例。（a）两张生成的图像。（b）放大输入噪声的不同实现。尽管整体外观大致相同，但个体毛发细节还是有不同。 （c）100 个不同实现中像素的标准偏差，高亮处为图像受噪声影响的区域。主要区域是头发、轮廓和部分背景，但眼睛的反射也有有趣的随机变化。身份和姿势等全局特征不受随机变化的影响。? 全局效应与随机性的分离前文及随附的视频说明，虽然改变风格会产生全局效应（global effect），如改变姿势、ID 等，但噪声只会影响无关紧要的随机变化（如发型、胡子等）。 同时，噪声被单独添加到每个像素中，因此非常适于控制随机变化。如果该网络试图用噪声控制姿势，那将会导致空间不一致的决策，然后被判别器惩罚。因此该网络学会了在没有明确指导的情况下适当地使用全局和局部通道。
来源：机器之心本文长度为3071字，建议阅读6分钟本文在 MNIST 上对VAE和GAN这两类生成模型的性能进行了对比测试。 本文组织架构：变分自编码器（VAE） 生成对抗网络（GAN） 训练普通 GAN 的难点 训练细节 在 MNIST 上进行 VAE 和 GAN 对比实验 在无标签的情况下训练 GAN 判别器 在有标签的情况下训练 判别器用于对「真」图像和「伪」图像进行分类，生成器从随机噪声中生成图像（随机噪声通常叫作本征向量或代码，该噪声通常从均匀分布（uniform distribution）或高斯分布中获取）。 图 3 是生成器的架构图。 训练 GAN 的难点训练 GAN 时我们会遇到一些挑战，我认为其中最大的挑战在于本征向量／代码的采样。代码只是从先验分布中对本征变量的噪声采样。 有很多种方法可以克服该挑战，包括：使用 VAE 对本征变量进行编码，学习数据的先验分布。这听起来要好一些，因为编码器能够学习数据分布，现在我们可以从分布中进行采样，而不是生成随机噪声。
这个生成器需要能理解并遵从用户给出的关于特定属性的要求，这被称为我们的先验（prior）；而且它还需要足够的自由度来生成不同的详细的视觉特征，这是利用噪声（noise）建模的。 为了实现这个生成器，我们使用了生成对抗网络（GAN）这种流行的框架。GAN 使用一个生成器网络根据前提和噪声输入来生成图像，GAN 还有另一个网络会试图将生成的图像和真实图像区分开。 我们也需要我们的生成器能理解标签信息，这样才能将用户给出的要求整合进来。受 ACGAN 的启发，我们向生成器输入标签以及噪声，并在鉴别器的顶层增加了一个多标签分类器，用来预测图像所分配的标签。 固定随机噪声并且采样随机先验是一个很有意思的设置。现在，该模型被要求生成具有相似主要视觉特征的图像，并与之同时结合不同的属性，结果也很不错：? 另外，通过固定前提和采样随机噪声，该模型可以生成具有不同视觉特征，但具有相同属性的图像：?
图一：GAN的基本结构理论上GAN可以将任意的分布作为输入，如上图所示，z输入为随机噪声，在实验中我们多取z ∼ (0,1) 或z ~ 的均匀分布作为输入。生成器G的参数为θ，输入z在生成器下得到? 图像到图像的转换可分为有监督和无监督两大类，根据生成结果的多样性又可分为一对一生成和一对多生成两类：有监督下图像到图像转换在原始GAN中，因为输出仅依赖于随机噪声，所以无法控制生成的内容。 但cGAN的提出使得我们可以将条件输入y添加到随机噪声Z，以便生成的图像由G(z,y)定义。条件y可以是任何信息，如图像标注，对象的属性、文本描述，甚至是图片。? BicycleGAN首先对此进行了尝试，其在模型中添加随机噪声，通过随机采样使噪声得到不同的表达，并在输出与潜在空间上添加双向映射。 但直接用不同的随机噪声来产生多样化的结果，由于mode collapse的存在，很容易训练失败。
这个生成器需要能理解并遵从用户给出的关于特定属性的要求，这被称为我们的先验（prior）；而且它还需要足够的自由度来生成不同的详细的视觉特征，这是利用噪声（noise）建模的。 为了实现这个生成器，我们使用了生成对抗网络（GAN）这种流行的框架。GAN 使用一个生成器网络根据前提和噪声输入来生成图像，GAN 还有另一个网络会试图将生成的图像和真实图像区分开。 我们也需要我们的生成器能理解标签信息，这样才能将用户给出的要求整合进来。受 ACGAN 的启发，我们向生成器输入标签以及噪声，并在鉴别器的顶层增加了一个多标签分类器，用来预测图像所分配的标签。 固定随机噪声并且采样随机先验是一个很有意思的设置。现在，该模型被要求生成具有相似主要视觉特征的图像，并与之同时结合不同的属性，结果也很不错： ? 另外，通过固定前提和采样随机噪声，该模型可以生成具有不同视觉特征，但具有相同属性的图像： ?
当训练达到平衡时，对于一个输入噪声zzz。G(z)G(z)G(z)就是最后生成出来的图像。GAN原理GAN结构? GAN的结构非常简单，就像上图这样，它有一个生成器G（Generator）和一个判别器D（Discriminator）：生成器的输入是一组随机的变量，输出是生成的图；判别器负责对生成的图进行打分，输出是一个 为0 可以假设batch_size=1fake_label = Variable(torch.zeros(batch_size)).cuda() 训练生成器G：# 生成随机噪声zz = Variable , real_label) # 生成随机噪声zz = Variable(torch.randn(batch_size, z_dimension)).cuda() # 生成器通过z生成假的图片fake_img 此外，由于GAN没有编码，所以它是一个随机噪声到图像的过程，而VAE是图到图的过程。
1，对假数据的输入，输出是 0；G 是生成器，它接收的是一个随机噪声，并生成图像。 首先对于梯度消失的情况是D 越好，G 的梯度消失越严重，因为 G 的梯度更新来自 D，而在训练初始阶段，G 的输入是随机生成的噪声，肯定不会生成很好的图片，D 会很容易就判断出来真假样本，也就是 D 的训练几乎没有损失 从球体上采样噪声不要采用均匀分布来采样从高斯分布中采样得到随机噪声当进行插值操作的时候，从大圆进行该操作，而不要直接从点 A 到 点 B 直线操作，如下图所示? 给输入添加噪声给 D 的输入添加人为的噪声http:www.inference.vcinstance-noise-a-trick-for-stabilising-gan-traininghttps:openreview.netforum id=Hk4_qw5xe给 G 的每层都添加高斯噪声11.
可以看到，样式的每个子集控制图像的高级属性。图3 随机变化人类肖像中有许多方面可以被视为随机的，例如毛发，雀斑或皮肤毛孔的确切位置。 只要它们遵循正确的分布，任何这些属性都可以随机化而不影响对图像的感知。图4显示了相同底层图像的随机实现，这些图像是使用具有不同噪声实现的生成器生成的。 图4可以看到，噪声只影响随机属性，使整体组成和身份等高级属性保持不变。 图5进一步说明了将随机变化应用于不同子层的效果。 同时，噪声被独立地添加到每个像素上，因此非常适合于控制随机变化。如果网络试图控制例如使用噪声的摆姿，这将导致空间不一致的决定，然后将受到鉴别器的“惩罚”。 英伟达团队相信，对高阶属性与随机效应分离的研究，以及中间隐空间( intermediate latent space)的线性，将会对提高GAN合成的理解和可控性有很大的帮助。
来看几个，先是人形的：再来个兽形的：还有诡异到说不出来属于什么型的：你可能会问，这很难吗？毕竟现在用GAN生成人脸都能以假乱真，生成怪物只要“瞎画”就行了，又不需要像谁。 在初代StyleGAN论文中有这样一个实验：如下图所示，(a)是在所有层添加随机噪声，(b)是无噪声，(c)是只在64x64分辨率及以上的层添加噪声，(d)是只在4x4到32x32分辨率的层添加噪声。 仔细看上图，生成的几种怪物质量并不算高，容易出现不完整的特征和几种不同类型的特征胡乱拼凑。修改噪声得到的图像还不可控，因为噪声是随机生成的，不同噪声对最终结果的影响也是不可解释的。 去掉低分辨率层的噪声这个方法，可以减少噪声对怪物图像粗粒度特征的影响，获得高质量图像图像的同时也保留了通过改变噪声获得随机细节的能力。 他的导师是CV大牛David Forsyth，《计算机视觉：一种现代方法》的作者。
D（Discriminator）不断博弈，进而使G学习到数据的分布，如果用到图片生成上，则训练完成后，G可以从一段随机数中生成逼真的图像。 G， D的主要功能是： G是一个生成式的网络，它接收一个随机的噪声z（随机数），通过这个噪声生成图像 D是一个判别网络，判别一张图片是不是“真实的”。 GAN是一种生成式模型，相比较其他生成模型（玻尔兹曼机和GSNs）只用到了反向传播,而不需要复杂的马尔科夫链相比其他所有模型, GAN可以产生更加清晰，真实的样本GAN采用的是一种无监督的学习方式训练， ----6.GAN的缺点：训练GAN需要达到纳什均衡,有时候可以用梯度下降法做到,有时候做不到.我们还没有找到很好的达到纳什均衡的方法,所以训练GAN相比VAE或者PixelRNN是不稳定的,但我认为在实践中它还是比训练玻尔兹曼机稳定的多 ，学习率不要设置太大，初始1e-4可以参考，另外可以随着训练进行不断缩小学习率，给D的网络层增加高斯噪声，相当于是一种正则。
在大规模“ WebCaricature”数据集上的实验表明，与最新模型相比，CariGAN可以生成更多具有更多样性的漫画。??在模型中，随机噪声控制着图像的颜色和样式等。 但实际上，提出的模型可能会 “模式崩溃”，即输入噪声可能不会影响最终结果。为解决“模式崩溃”问题，提出了一种多样性损失，以迫使模型生成具有更大多样性的图像。 基本思想是：假设由两种不同噪声（但具有相同的输入面部和脸部mask）生成的两种漫画图像之间的差异，是这两种噪声之间的差异的线性函数。 例如为生成器提供了一个人脸图像x和一个二进制mask，但具有两个不同的噪声z1和z2。生成器针对这两个输入分别输出两漫画，即xˆ1和xˆ2。 如此一来，生成的的多样性可以通过输入噪声明确控制：??
云数据库 Redis,数据库缓存,数据库存储,云数据库 云数据库 Redis（TencentDB for Redis）是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。 云数据库Redis是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。
扫码关注云+社区
领取腾讯云代金券
云服务器
测试服务 WeTest
网站备案
对象存储
文件存储