首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >NVIDIA 又出了一个“变脸”算法,你要不要试试?

NVIDIA 又出了一个“变脸”算法,你要不要试试?

作者头像
GPUS Lady
发布2019-05-17 15:00:48
9820
发布2019-05-17 15:00:48
举报
文章被收录于专栏:GPUS开发者GPUS开发者

说到图像到图像的转换(image-to-image translation),就会想到NVIDIA的 CycleGAN,它可以将某种图像转换爲另一种,例如将马转换爲斑马。

这样看起来非常有意思,但却有一个很大的限制,因为要完成马和斑马之间的转换,要弄一堆马的照片和一堆斑马的照片,再训练 CycleGAN 模型就能获得两类图像之间的转换关系。虽然马和斑马之间的图像不需要成对匹配,但这样是不是还有一些复杂?感觉不能像人那样自由「想象」?

其实人类拥有出色的泛化能力,当看到从未见过的动物照片时,我们可以轻易想象出该动物不同姿态的样子,尤其是当我们还记得该姿态下的其它动物长什么样子。这是一种很强的泛化能力,那么机器学习也能做到这一点吗?

虽然当前无监督图像到图像转换算法在很多方面都非常成功,尤其是跨图像类别的复杂外观转换,但根据先验知识从新一类少量样本中进行泛化的能力依然无法做到。具体来说,如果模型需要在某些类别上执行图像转换,那么这些算法需要所有类别的大量图像作爲训练集。也就是说,它们不支持 few-shot 泛化。

虽然无监督图像到图像方法取得了显著成功,但总体而言有以下两方面的限制:

其一,这些方法通常需要在训练时看到目标类的大量图像;

其二,用于一个转换任务的训练模型在测试时无法应用于另一个转换任务。

爲了解决这些限制,作爲缩小人类和机器想象能力之间差距的一种尝试,英伟达的研究者提出一种 Few-shot 无监督图像到图像转换(FUNIT)框架。该框架旨在学习一种新颖的图像到图像转换模型,从而利用目标类的少量图像将源类图像映射到目标类图像。也就是说,该模型在训练阶段从未看过目标类图像,却被要求在测试时生成一些目标类图像。

爲了更好地理解这种新颖的图像转换,作者在下图展示了动物面部的 few-shot 转换结果:

英伟达的 Few-Shot 解决方案

接着,研究者假设人们的 few-shot 生成能力是由过去的视觉体验发展而来—如果一个人过去看过很多不同对象类的图像,则能够更好地想象出新对象类的图像。基于此假设,他们使用包含衆多不同对象类图像的数据集来训练 FUNIT 数据集,以模拟过去的视觉体验。具体来说,他们训练该模型,从而将其中一类的图像转换爲另一类(利用该类的少量样本图像)。

他们假设通过学习提取用于转换任务的少量样本图像的外观模式,该模型得到了一个可泛化的外观模式提取器,在测试时,该提取器可以在 few-shot 图像到图像转换任务中应用于未见过类别的图像。

在实验部分,他们给出了实验性证据,即 few-shot 转换性能会随着训练集中类的增加而提升。

研究者提出的框架基于生成对抗网络(GAN)。通过对抗训练方案和新网络设计的结合,他们实现了预期的 few-shot 图像到图像转换能力。

此外,在经过三个数据集的实验验证以及与其他基线方法在一些不同的性能指标上进行比较之后,他们证实了所提框架的有效性,并且该框架可应用于 few-shot 图像分类任务。通过在 few-shot 类图像模型生成的图像上训练分类器,FUNIT 框架性能优于当前基于特征错觉(feature hallucination)的最佳 few-shot 分类方法。

具体的代码可以访问 github:https://github.com/nvlabs/FUNIT/

他们也给了一个demo网址,你可以试试

https://nvlabs.github.io/FUNIT/petswap.html?fbclid=IwAR0XdYbCeXJdxrp8c7Kxbv-fREum3UNYOY7Nht4Yrldv1QAvzIl3Y6leUck

步骤也很简单:

第一步,上传一张图片

第二步,把脸框出来

第三步:变!变!变!

好了,你可以开始玩了!如果你要自己训练数据库的话,人家说了,他们可用的是NVIDIA DGX1 machine with 8 V100 GPUs

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-05-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 GPUS开发者 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档