首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

英伟达又火了一篇图像转换论文,我们竟然用来吸猫

上面英伟达的 FUNIT 已经非常强了,那么一般的图像转换又有什么问题呢?...FUNIT 框架 为了训练 FUNIT,研究者使用一组对象类图像(如不同动物的图像)并将其称为源类。他们不假设任何两类之间都存在可以配对的图像(也就是说没有两种不同物种的动物是完全相同的姿态)。...FUNIT 框架包含一个条件式图像生成器 G 和一个多任务对抗判别器 D。...FUNIT 的学习过程 如果想要了解 FUNIT 的学习过程,那么了解它的目标函数及组成模块是最好不过了。如前所述,整个 FUNIT 框架主要包含 Few-shot 图像转换器和多任务对抗判别器。...从表中还可以看出,FUNIT 模型的性能与测试时可用目标图像 K 的数量呈正相关。 研究人员可视化了 FUNIT-5 few-shot 无监督图像到图像转换方法得到的结果(如下图 2 所示)。

47830
您找到你想要的搜索结果了吗?
是的
没有找到

两图生万物!这个超强图像转换神器,小样本一秒猫狗合体变新物种

最近波士顿大学和英伟达合作,推出了一个小样本无监督图像翻译编码器:COCO-FUNIT。...这项工作还提供了在线测试: https://nvlabs.github.io/FUNIT/petswap.html FUNIT:2阶段图像转换,非常有趣!...我们提出的FUNIT框架旨在通过利用在测试时可用的几个目标类图像,将源类的图像映射到目标类的类似图像。...表1:FUNIT与基线模型的性能比较。↑表示数值越大越好,↓表示越小越好。 在图2中,我们对FUNIT-5计算的few-shot translation的结果进行了可视化。...图3提供FUNIT与基线模型的结果比较。可以看到,FUNIT生成了高质量的图像转换输出。 图3:小样本图像到图像转换效果的比较。

66020

英伟达few-shot图像转换

https://github.com/NVlabs/FUNIT 2 本文任务: Few-shot Unsupervised Image Translation 使用源类图像来训练模型;在测试期间,为模型提供一些来自新对象类...8 总结与展望 本文介绍了首个few-shot无监督的图像到图像转换框架FUNIT,可通过利用在测试时提供的少量/训练未出现类别的示例图像来学习将源类别的图像转换为看不见对象类别的对应图像;其生成性能与训练过程中看到的对象类别的数量成正相关...但FUNIT取决于以下几个工作条件:1)内容编码器Ex是否可以学习类别不变的潜在码zx,2)类编码器Ey是否可以学习特定类别的潜在码zy,3)类编码器Ey是否可以推广到看不见的对象类的图像。...但当新颖类外观与源类外观显著不同时,FUNIT无法实现图像转换,如图5所示。在这种情况下,FUNIT倾向于生成输入内容图像的变色版本。这是不希望的,但是可以理解,因为外观分布已经发生了巨大变化。

1.1K10

英伟达开源「Imaginaire」:九大图像及视频合成方法,你学fei了吗?

FUNIT 项目地址:https://github.com/NVlabs/imaginaire/tree/master/projects/funit ?...在这篇论文中,英伟达的研究者提出一种 Few-shot 无监督图像到图像转换(FUNIT)框架。该框架旨在学习一种新颖的图像到图像转换模型,从而利用目标类的少量图像将源类图像映射到目标类图像。...COCO-FUNIT 项目地址:https://github.com/NVlabs/imaginaire/tree/master/projects/coco_funit ?...论文地址:https://nvlabs.github.io/COCO-FUNIT/paper.pdf COCO-FUNIT 之前的图像到图像变换模型在模拟不可见域的外观时很难保留输入图像的结构,这被称为内容丢失问题...为了解决这个问题,研究者提出了一种新的 few-shot 的图像变换模型,即 COCO-FUNIT。 vid2vid 2018 年,英伟达联合 MIT CSAIL 开发出了直接视频到视频的转换系统。

89920

NVIDIA 又出了一个“变脸”算法,你要不要试试?

爲了解决这些限制,作爲缩小人类和机器想象能力之间差距的一种尝试,英伟达的研究者提出一种 Few-shot 无监督图像到图像转换(FUNIT)框架。...基于此假设,他们使用包含衆多不同对象类图像的数据集来训练 FUNIT 数据集,以模拟过去的视觉体验。具体来说,他们训练该模型,从而将其中一类的图像转换爲另一类(利用该类的少量样本图像)。...通过在 few-shot 类图像模型生成的图像上训练分类器,FUNIT 框架性能优于当前基于特征错觉(feature hallucination)的最佳 few-shot 分类方法。...具体的代码可以访问 github:https://github.com/nvlabs/FUNIT/ 他们也给了一个demo网址,你可以试试 https://nvlabs.github.io/FUNIT/

1K10

TuiGAN: Learning Versatile Image-to-ImageTranslation with Two Unpaired Images

Liu等人[27]提出了一个用于少镜头UI2I的FUNIT模型。但是FUNIT不仅需要大量的训练数据和计算资源来推断不可见的域,而且需要训练数据和不可见的域共享相似的属性。...(4) FUNIT[27],目标是少发的UI2I,预训练需要大量数据。(5) ArtStyle[6]是一种经典的艺术风格转换模式。对于以上所有的基线,我们使用他们的官方发布的代码来产生结果。...总的来说,TuiGAN生成的图片的翻译质量要优于OST、SinGAN、PhotoWCT和FUNIT。...在用户研究方面,我们可以看到,相对于OST、SinGAN、PhotoWCT和FUNIT,大多数用户更喜欢TuiGAN生成的翻译结果。...动物脸翻译:为了与基于动物面部数据集的少镜头模型FUNIT进行对比,我们进行了如图6所示的动物面部平移实验。我们还包括SinGAN和PhotoWCT进行比较。

1.2K20
领券