恶狗变萌犬,路人妹子变老婆:日本开源GAN“插件”,想P哪里点哪里 | Demo

花栗子 发自 凹非寺 量子位 出品 | 公众号 QbitAI

这是一只面露凶光的哈士奇。

但它凶不过三秒,只要在眼睛上刷一刷:

就回归了呆萌的本性。

机智的你可能已经发现,是左下角那只 (有点像博美的) 小狗,帮它找到了自我。

既然眼睛圆润了,耳朵就没必要再挣扎,也刷一下吧:

一键换上梗犬的耳朵,更加温柔了。

还有,只要让忧郁的小猎犬保持皱眉,再把嘴张开,便可以获得职业假笑

想修哪里点哪里,这是东京大学和日本独角兽Preferred Networks开源的“插件”,可调教各种GAN:包括BigGANStyleGAN,也不用重新训练。

另外,既然是来自东瀛的AI,当然可以定制老婆啦:

已为您生成,棕瞳的猫女。

有Demo可以玩,还有开源代码。

不过为什么,修改局部也可以这样天衣无缝?

面露凶光

团队用了两种方法。

一种是标签拼贴 (Label Collage) 。拼贴大法名叫sCBN

通俗地说,图上的各种色彩代表不同的标签,共同组成一张标签图 (Label Map) 。比如,红色是狐狸的头:

修改一个标签,把图上的某个部分,标成自己想要的样子:比如把狐狸的头,标成狗头。它就真的变成了狗:

“绿色”的后背部分也修改了

这就是从标签图上生成的结果。

做法很简单,只要在归一化参数上,应用一下位置相关的仿射变换 (Affine-Transformations) ,就能在空间上改变语义信息,不用重新训练一只GAN,直接用预训练网络就可以。

这样,把金毛变成狮子,人类依然笑得灿烂:

就算不是动物,两岸青山相对出,中间的绿草如茵,也能变成碧波粼粼:

但有时候,要修改的部分,对应的并不是单一的标签。

这时,便有了名叫特征混合 (Feature Blending) 的第二种方法。

它不需要用标签图,直接把几张图拼起来就可以了。

一张是源图:

两张作为样本,老爷爷的胡子,和小朋友的刘海:

然后,最初的男生就有了花白的胡子和棕色的头帘:

原理是,虽然想要修改的部位,对应的不是某一个标签;但图上的一个区域,依然可以对应到一组神经元

前段时间轰动的GAN Dissection算法,就是给网络做解剖,找到一组神经元,对应某个中间特征 (Intermediate Feature) 。

特征混合,就是要加工各种中间特征,把它们无缝融合到一起。

你看,丹凤眼的面瘫少年:

有了棕色的大眼睛,再加上愉快的嘴:

画风就全然不一样了。

你一定还记得,开头的老婆也是这样生成的:

如果“红瞳才是正义!”,今后就可以把这样的方法插进各种GAN,一键追求正义,不用再截下转瞬即逝的缘分了:

这是英伟达StyleGAN的作品

开源了

上周,新版本的论文已经发布了。

算法也开源了,近期可能有更新。

想定制老婆的同学,可以使用Demo:

https://colab.research.google.com/github/quolc/neural-collage/blob/master/NeuralCollage_demo.ipynb

代码传送门: https://github.com/quolc/neural-collage

论文传送门: https://arxiv.org/pdf/1811.10153v2.pdf

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2019-04-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券