萌妹子变脸奥巴马！外国小哥微调StyleGAN2和FFHQ，真人视频秒变卡通视频

新智元报道

来源：reddit等

编辑：QJP

【新智元导读】近日，reddit上有网友发布了一段视频，萌妹子的视频通过微调StyleGAN2和FFHQ脸部模型来生成了卡通的奥巴马视频。

外国小哥Nathan Shipley使用卡通图像微调StyleGAN2和FFHQ 脸部模型(英伟达的模型可以制作出不存在的逼真人物) ，将这些真人视频转换成卡通版本。

模型融合发生在原有的 FFHQ 模型和微调的模型之间：「控制广泛细节的底层来自Toon模型，中等和精细的细节来自真实的脸部模型」，这使得卡通人物的脸看起来很真实。

然后，一张奥巴马总统的真实照片被编码到原始的 FFHQ 模型中，但是由这个新的混合网络生成，所以它看起来像是他的卡通版本。

作者Nathan Shipley是一个动画师和视觉特效艺术家，他表示从前需要几个星期的事情，现在只需要几分钟就能完成(至少对于低分辨率的人脸动画，在一些约束条件下，可以是这么快的速度)

将真实的奥巴马编码到FFHQ的隐空间需要花费几分钟的时间，生成卡通的奥巴马模型只需要大概20秒的时间，然后几乎瞬间生成框架。

「一阶运动」运行在2X 2080Ti上，StyleGAN2使用了TensorFlow，而「一阶运动」使用了Pytorch。

StyleGAN2和FFHQ使用「Layer Blending」来卡通化头像

FFHQ 模型是针对卡通人脸数据集进行微调的，结果是与初始 FFHQ 模型相混合的，控制整个脸型(眼睛大小等)的底层图层取自卡通模型。控制细节的层次取自于真实的 FFHQ 模型。

下面是一些示例图片，展示了Source、Tooned和Stylized的图片:

此外，作者一直在试图解决一个问题: 「使一张脸变卡通化的最佳方式是什么?」，因此建立了一个新的数据集和模型来观察不同层次的训练和混合的结果。

以下是奥巴马总统的一幅漫画:

这是奥巴马的真实图像通过迁移学习来调整训练次数（横轴）和细节（纵轴）得到的不同效果。

还有其他名人的一些卡通化后的效果：

下面是一些使用「一阶运动模型」和视频制作的Uma Thurman的动画效果:

StyleGan2--StyleGAN的升级版，解决了伪影问题

StyleGAN是目前最先进的高分辨率图像合成方法，已被证明可以在各种数据集上可靠地工作。除了逼真的人像，StyleGAN还可以用于生成其他动物，汽车甚至房间。

然而，StyleGAN并不完美，最明显的缺陷是生成的图像有时包含斑点似的伪影(artifacts)，而这一缺陷在StyleGAN 2上也被完美解决了。

去年底，NVIDIA的研究人员发布了StyleGAN的升级版——StyleGAN2，重点修复artifacts问题，并进一步提高了生成图像的质量。

图：StyleGAN2生成的人脸图像

StyleGAN2的主要改进包括：

生成的图像质量明显更好(FID分数更高、artifacts减少)

提出替代progressive growing的新方法，牙齿、眼睛等细节更完美

改善了Style-mixing

更平滑的插值(额外的正则化)

训练速度更快

(a)是原始的StyleGAN结构图，其中A表示从W学习的仿射变换，产生了一个style，

(b)展示了原始StyleGAN架构的细节。在这里，将AdaIN分解为先显式归一化再调制的模式，对每个特征图的均值和标准差进行操作。我们还注释了学习的权重(w)、偏差(b)和常量输入(c)，并重新绘制了灰色框，使每个框都激活一个style。激活函数(leaky ReLU)总是在添加偏置后立即应用。

(c)对原始架构做了几处改动，包括在开始时删除了一些冗余操作，将b和B的添加移动到style的活动区域之外，并只调整每个feature map的标准差。

(d)是修改后的架构，使我们能够用「demodulation」操作代替 instance normalization，我们将demodulation操作应用于与每个卷积层相关的权重。

重新设计后的StyleGAN2消除了伪影，同时保留了完全的可控性。

同时，StyleGAN2还使用了新方法替代Progressive growing，细节更完美。StyleGAN2使用了一个skip generator和一个残差鉴别器，切换到这种设置显著地改进了FID和PPL。

这个萌妹子的项目目前还没有开源，不过相信这么好的效果，未来的开源是大概率的事情，到时大家可以亲自体验下。

参考链接：http://www.nathanshipley.com/gan

https://www.reddit.com/r/MachineLearning/comments/j0btow/p_toonifying_a_photo_using_stylegan_model/