首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Toward Multimodal Image-to-Image Translation(BicycleGAN)图像一对多转换测试

CycleGAN、pix2pix、iGAN的主要贡献者最近在NIPS 2017上又推出了一篇文章Toward Multimodal Image-to-Image Translation(见https://junyanz.github.io/BicycleGAN/,https://arxiv.org/pdf/1711.11586.pdf),讨论如何从一张图像同时转换为多张风格不一成对的图像。 从作者摘要第一句可以看出:“Many image-to-image translation problems are ambiguous, as a single input image may correspond to multiple possible outputs. In this work, we aim to model a distribution of possible outputs in a conditional generative modeling setting.” 像pix2pix这样的图像转换(一对一)的方式是存在歧义的,因为不可能只对应一个输出。因此作者提出了一种一对多的输出,即将可能输出的图像是存在一定的分布特性的。

02
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Multimodal UnsupervisedImage-to-Image Translation

    无监督图像到图像的翻译是计算机视觉中一个重要且具有挑战性的问题。给定源域中的图像,目标是学习目标域中相应图像的条件分布,而不需要看到任何相应图像对的示例。虽然这种条件分布本质上是多模式的,但现有的方法过于简化了假设,将其建模为确定性的一对一映射。因此,它们无法从给定的源域图像生成不同的输出。为了解决这一限制,我们提出了一种多模式无监督图像到图像翻译(MUNIT)框架。我们假设图像表示可以分解为域不变的内容代码和捕获域特定属性的样式编码。为了将图像翻译到另一个域,我们将其内容编码与从目标域的样式空间采样的随机样式代码重新组合。我们分析了所提出的框架,并建立了几个理论结果。与最先进的方法进行比较的大量实验进一步证明了所提出的框架的优势。此外,我们的框架允许用户通过提供示例风格图像来控制翻译输出的风格。

    03

    《Neural Rerendering in the Wild》论文解析

    这篇关于神经网络重渲染的文章,来自CVPR2019 oral.探索在不同的外观(如季节和时间)下记录,建模和重新渲染场景。基于记录旅游地标的互联网照片,论文对照片进行3D重构,并将场景近似为点云。对于每张照片,将场景点云渲染为深度帧缓冲deep framebuffer,并训练神经网络以学习这些初始渲染到真实照片的映射。通过这种方法,我们可以在屏幕前就能获取罗马一天的观光之旅,或者基于这种方法,构建真实的游戏场景体验。该渲染网络还将潜在外观向量和指示诸如行人的瞬态对象的位置语义掩码作为输入,同时对该模型在多种多样的光照条件的数据集上进行评估。作者还提供了视频,展示对图像视点,外观和语义标签的逼真处理。

    04

    Towards Instance-level Image-to-Image Translation

    非配对图像到图像的翻译是一个新兴的、具有挑战性的视觉问题,旨在学习不同领域中未对准图像对之间的映射。该领域的最新进展,如MUNIT和DRIT,主要集中在首先从给定图像中解开内容和风格/属性,然后直接采用全局风格来指导模型合成新的领域图像。然而,如果目标域图像内容丰富且包含多个不一致的对象,则这种方法会严重导致矛盾。在本文中,我们提出了一种简单而有效的实例感知图像到图像的翻译方法(INIT),该方法在空间上对目标图像采用细粒度的局部(实例)和全局风格。拟议的INIT具有三个重要优势: (1) 实例级的客观损失可以帮助学习更准确的重建,并结合对象的不同属性;(2) 局部/全局区域的目标域所使用的样式来自源域中相应的空间区域,直观上是一种更合理的映射;(3) 联合训练过程既有利于细化粒度,也有利于粗粒度,并结合实例信息来提高全局翻译的质量。我们还为新的实例级翻译任务收集了一个大规模的基准。我们观察到,我们的合成图像甚至可以帮助完成真实世界的视觉任务,如一般物体检测。

    01

    EXEMPLAR GUIDED UNSUPERVISED IMAGE-TOIMAGETRANSLATION WITH SEMANTIC CONSISTENCY

    由于深度学习的进步,图像到图像的翻译最近受到了极大的关注。大多数工作都集中在以无监督的方式学习一对一映射或以有监督的方式进行多对多映射。然而,更实用的设置是以无监督的方式进行多对多映射,由于缺乏监督以及复杂的域内和跨域变化,这更难实现。为了缓解这些问题,我们提出了示例引导和语义一致的图像到图像翻译(EGSC-IT)网络,该网络对目标域中的示例图像的翻译过程进行调节。我们假设图像由跨域共享的内容组件和每个域特定的风格组件组成。在目标域示例的指导下,我们将自适应实例规范化应用于共享内容组件,这使我们能够将目标域的样式信息传输到源域。为了避免翻译过程中由于大的内部和跨领域变化而自然出现的语义不一致,我们引入了特征掩码的概念,该概念在不需要使用任何语义标签的情况下提供粗略的语义指导。在各种数据集上的实验结果表明,EGSC-IT不仅将源图像转换为目标域中的不同实例,而且在转换过程中保持了语义的一致性。

    01

    Cycle-object consistency for image-to-image domain adaptation

    生成对抗性网络(GANs)的最新进展已被证明可以通过数据扩充有效地执行目标检测器的域自适应。虽然GANs非常成功,但那些能够在图像到图像的翻译任务中很好地保存目标的方法通常需要辅助任务,例如语义分割,以防止图像内容过于失真。然而,在实践中很难获得像素级注释。或者,实例感知图像转换模型分别处理对象实例和背景。然而,它在测试时需要目标检测器,假设现成的检测器在这两个领域都能很好地工作。在这项工作中,我们介绍了AugGAN Det,它引入了循环目标一致性(CoCo)损失,以生成跨复杂域的实例感知翻译图像。 目标域的目标检测器直接用于生成器训练,并引导翻译图像中保留的目标携带目标域外观。与之前的模型(例如,需要像素级语义分割来强制潜在分布保持对象)相比,这项工作只需要更容易获取的边界框注释。接下来,对于感知实例的GAN模型,我们的模型AugGAN-Det在没有明确对齐实例特征的情况下内化了全局和对象样式转移。最重要的是,在测试时不需要检测器。实验结果表明,我们的模型优于最近的目标保持和实例级模型,并实现了最先进的检测精度和视觉感知质量。

    01
    领券