AI 可能真的要代替插画师了……

事先声明,这篇文章的标题绝不是在耸人听闻。事情的起因是前段时间在朋友圈看到同学在转发一篇论文,名字叫《Create Anime Characters with A.I. !》(论文地址:https://makegirlsmoe.github.io/assets/pdf/technical_report.pdf),打开一看,论文主要是通过各式属性生成二次元人物的头像,使用的方法是cGAN,效果非常impressive。

下图左侧为通过属性blonde hair, twin tails, blush, smile, ribbon, red eyes生成的人物,右侧是通过属性silver hair, long hair, blush, smile, open mouth, blue eyes生成的人物,都表现得非常自然,完全看不出是机器自动生成的:

模型生成的随机样本:

固定cGAN噪声部分生成的样本,此时人物具有不同的属性,但是面部细节和面朝的角度基本一致:

更加令人兴奋的是,作者搭建了一个网站,任何人都能随时利用训练好的模型生成图像,进行实验!网站的地址为:http://make.girls.moe/。

打开网站后需要等待进度条加载完毕,这个时候是在下载模型:

这里的按钮的含义都比较简单,总的来说我们要先选定一些属性(完全随机也是可以的),然后点击左侧的generate按钮生成:

完全随机生成的结果,看起来非常好:

选择发色(Hair Color)为金色(Blonde),发型(Hair Style)为双马尾(Twin Tail),点击生成,效果同样很赞!如下图:

技术细节

我之前也写过两篇文章,一篇介绍了GAN的原理(GAN学习指南:从原理入门到制作生成Demo),一篇介绍了cGAN的原理(通过文字描述来生成二次元妹子!聊聊conditional GAN与txt2img模型),这两篇文章都是以生成二次元人物来举例,但是生成的结果都比较差,只能看出大概的雏形。今天的这篇论文大的技术框架还是cGAN,只是对原来的生成过程做了两方面的改进,一是使用更加干净、质量更高的数据库,二是GAN结构的改进,下面就分别进行说明。

改进一:更高质量的图像库

之前使用的训练数据集大多数是使用爬虫从Danbooru或Safebooru这类网站爬下来的,这类网站的图片大多由用户自行上传,因此质量、画风参差不齐,同时还有不同的背景。这篇文章的数据来源于getchu,这本身是一个游戏网站,但是在网站上有大量的人物立绘,图像质量高,基本出于专业画师之手,同时背景统一:

除了图像外,为了训练cGAN,还需要图像的属性,如头发颜色、眼睛的颜色等。作者使用Illustration2Vec,一个预训练的CNN模型来产生这些标签。

改进二:GAN结构

此外,作者采取了和原始的GAN不同的结构和训练方法。总的训练框架来自于DRAGAN(arxiv:https://arxiv.org/pdf/1705.07215.pdf),经过实验发现这种训练方法收敛更快并且能产生更稳定的结果。

生成器G的结构类似于SRResNet(arxiv:https://arxiv.org/pdf/1609.04802.pdf):

判别器也要做一点改动,因为人物的属性相当于是一种多分类问题,所以要把最后的Softmax改成多个Sigmoid:

详细的训练和参数设定可以参照原论文。

一些问题

虽然大多数的图像样本都比较好,但作者也提出了该模型的一些缺点。由于训练数据中各个属性的分布不均匀,通过某些罕见的属性组合生成出的图片会发生模式崩坏。比如属性帽子(hat)、眼镜(glasses),不仅比较复杂,而且在训练样本中比较少见,如果把这些属性组合到一起,生成的图片的质量就比较差。

如下图,左侧为aqua hair, long hair, drill hair, open mouth, glasses, aqua eyes对应的样本,右侧为orange hair, ponytail, hat, glasses, red eyes, orange eyes对应的样本,相比使用常见属性生成的图片,这些图片的质量略差:

总结

这项工作确实令人印象深刻,生成的图片质量非常之高,个人认为如果加以完善,完全可以在某种程度上替代掉插画师的一部分工作。最后附上文中提到的一些资源:

  • 网站:MakeGirls.moe(已有训练好的模型,打开就可以尝试生成)
  • 论文:https://makegirlsmoe.github.io/assets/pdf/technical_report.pdf
  • Github:make.girls.moe(目前只有网站的js源码,看介绍训练模型的代码会在近期放出)

作者:何之源,复旦大学计算机科学硕士在读,研究方向为人工智能以及机器学习的应用。 欢迎人工智能领域技术投稿、约稿、给文章纠错,请发送邮件至heyc@csdn.net

原文发布于微信公众号 - 人工智能头条(AI_Thinker)

原文发表时间:2017-09-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

资源 | T2T:利用StackGAN和ProGAN从文本生成人脸

本项目利用深度学习由文本生成人脸图像,除了结合 StackGAN 和 ProGAN,作者还参考了从文本到图像的研究,并修改为从文本合成人脸。

1271
来自专栏磐创AI技术团队的专栏

数据可视化详解+代码演练

1664
来自专栏专知

【干货】利用NLTK和Gensim进行主题建模(附完整代码)

3384
来自专栏AI研习社

手把手教你用Python 和 Scikit-learn 实现垃圾邮件过滤

文本挖掘(Text Mining,从文字中获取信息)是一个比较宽泛的概念,这一技术在如今每天都有海量文本数据生成的时代越来越受到关注。目前,在机器学习模型的帮助...

3798
来自专栏人工智能

Python时间序列预测案例研究:巴尔的摩年度用水量

时间序列预测是一个过程,获得良好预测的唯一方法就是练习这个过程。

1.3K5
来自专栏量子位

前端利器!让AI根据手绘原型生成HTML | 教程+代码

这么多环节,任何地方出一点问题,都会拉长开发周期。因此,不少公司,比如Airbnb已经开始用机器学习来提高这个过程的效率。

2403
来自专栏机器之心

专栏 | Detectron精读系列之一:学习率的调节和踩坑

46612
来自专栏机器之心

教程 | 强化学习训练Chrome小恐龙Dino Run:最高超过4000分

1.1K3
来自专栏CDA数据分析师

AI可能真的要代替插画师了……

事先声明,这篇文章的标题绝不是在耸人听闻。事情的起因是今天早上在朋友圈看到同学在转发一篇论文,名字叫《Create Anime Characters with ...

24110
来自专栏机器之心

KDD2018 | 电商搜索场景中的强化排序学习:形式化、理论分析以及应用

(1)对电商搜索场景中的多步排序问题进行形式化描述,定义搜索会话马尔科夫决策过程问题模型(Search Session Markov Decision Proc...

2082

扫码关注云+社区