而最近伯克利AI研究实验室与Adobe公司朱俊彦等人提出新的BicycleGAN，解决pix2pix生成图像模式单一的问题，比如BicycleGAN可以跟你给出的一张鞋的草图在保持确定的前提下，生成出各式各样不同纹理风格的图像...▌视频 ---- BicycleGAN论文解读视频（英文字幕） ?...BicycleGAN方法提供的结果是逼真且多样的。 ? 图6：真实性与多样性。...BicycleGAN在保持准确性的同时可以生成多个风格的图片 ?...BicycleGAN 论文地址：https://arxiv.org/pdf/1711.11586.pdf 代码地址：https://github.com/junyanz/BicycleGAN/ 项目主页
iGAN的主要贡献者最近在NIPS 2017上又推出了一篇文章Toward Multimodal Image-to-Image Translation（见https://junyanz.github.io/BicycleGAN...那么BicycleGAN就是综合了上面两个模型，得到以下的模型： 实验测试（参照https://github.com/junyanz/BicycleGAN/ 公开代码进行重新编译和测试，去掉GPU设置模块
来自 BicycleGAN（pytorch 版本项目）的 U 网络生成带有更多棋盘效应伪影的粗糙高频细节，导致逐步提高图像质量变得异常困难。 输入的稀疏性。...如表 3 中所述，研究人员将本文的模型与 BicycleGAN 、MUNIT 进行了对比，它们分别是监督 I2I 转化领域和无监督 I2I 转化领域的代表性方法。...为了获得质量最好的重构结果，研究人员将真实图像作为样式图像输入 MUNIT 和 BicycleGAN。另外，为了公平比较，研究人员还将颜色域作为样式图像输入其中。 ?...图 3：不同生成器架构之间的输出结果对比：带有 U 网络（来自 BicycleGAN）的 IR、PI-REC 的唯一生成阶段、包含模拟阶段的生成阶段和总体阶段。 ?...对于 MUNIT 和 BicycleGAN，研究人员分别将真实图像和颜色域作为样式输入，以获取最好的重构输出。很明显，经过微调的 PI-REC 模型可以更准确地重构内容和颜色细节。 ?
朱等人提出了一种可以对连续和多模式分布进行建模的BicycleGAN。然而，上述所有方法都需要成对监督，而我们的方法则不需要。...BicycleGAN BicycleGAN是我们所知的唯一一个可以生成连续和多模式输出分布的现有图像到图像转换模型。然而，它需要成对的训练数据。...当数据集包含配对信息时，我们将我们的模型与BicycleGAN进行比较。...我们的完整模型生成的图像既多样又逼真，类似于BicycleGAN，但不需要监督。 上述定性观察结果通过定量评估得到证实。我们使用人类偏好来测量质量和LPIPS距离来评估多样性，如第5.2节所述。...完整模型获得的质量和多样性与完全监督的BicycleGAN相当，并且明显优于所有无监督基线。在图5中，我们展示了更多关于边的示例结果↔ 鞋子/手提包。 我们继续在动物图像翻译数据集上进行实验。
Baseline 我们的基线使用BicycleGAN 有两个主要的改造。...image.png [ BicycleGAN ] 首先，我们的外观编码器还将缓冲器
BicycleGAN[28]首先对此进行了尝试，其在模型中添加随机噪声，通过随机采样使噪声得到不同的表达，并在输出与潜在空间上添加双向映射。...图十二：MUNIT将latent code分为内容c和风格c 如下所示，BicycleGAN、MUNIT和DRIT都取得了不错的生成结果： ? ? ?
为了解决以上问题，他们采用BicycleGAN的“双轮训练”结构来解决不同数据集相机参数不同带来的问题，video2video的结构来解决帧间预测不连续的问题，用图像修复中的Gated-conv结构作为后处理网络以解决插值空洞的问题
为了产生多模式和更多样的图像，BicycleGAN鼓励潜在空间和目标空间之间的双射一致性，以避免模式崩溃问题。生成器在训练期间学习将给定的源图像与低维潜在代码相结合映射到输出。
比如在初代GAN诞生后，便有人提出为其“加装轮子”，成为CycleGAN（独轮GAN）；但是一个轮子走不稳，于是经过改造就有人忽悠出一辆BiCycleGAN（自行车GAN）；自行车忽悠过了，就有人提出ReCycleGAN
朱等人将pix2pix扩展到BicycleGAN，它可以对多模式分布进行建模，并产生多样化和逼真的结果。
BicycleGAN是一种多模式的图像到图像转换模型，但需要在真实驾驶场景中无法轻松获取的配对数据。DRIT和MUNIT都是能够处理未配对图像的多模式Gan。
为了实现迁移图像的样式多样化，提出了新的算法称为BicycleGAN（Bijective consistency GAN）。
的条件图像合成》 AdaGAN：《AdaGAN：增强生成模型》 ArtGAN：《ArtGAN：带有条件分类 GAN 的艺术品合成》 BAGAN：《BAGAN：平衡 GAN 的数据扩充》 BicycleGAN
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
