专栏首页AI科技评论学界 | AI 自动生成二次元妹子?或将替代插画师部分工作

学界 | AI 自动生成二次元妹子?或将替代插画师部分工作

AI科技评论按:最近二次元爱好者们可能会感觉到了一阵兴奋流遍全身。来自复旦大学、同济大学、卡内基梅隆大学和石溪大学共6位学生(其实本科都在复旦)搭建了一个利用人工智能自动生成精美动漫角色的网站 MakeGirls.moe。

对于用户来说操作非常简单,只需要选择自己喜爱的头发、眼睛、微笑、张嘴等等特征,然后点击“genrate”就可以通过训练出的AI模型来生成一个动漫人物。该网站上线后数天,访问量便增加到10k+每小时。其repo在github trending上也一度排到第四位。该网站所使用的技术在其论文「Create Anime Characters with A.I. !」中进行了详细说明。

其实这并不是第一个将AI应用到动漫当中的模型。2015年Soumith Chintala等人开发DCGAN后不久,就有人将DCGAN应用到了生成动漫角色当中,出现了ChainerDCGAN、IllustrationGAN和AnimeGAN等,三者分别使用了Chainer、TensorFlow和PyTorch的框架,它们本质上都是DCGAN,只是实现方式不同。但这些模型的效果并不是很好,尤其是会出现面部头像模糊和扭曲的问题。在MakeGirls.moe的模型中,作者针对这些问题做出了两方面的改进。

一、使用更高质量的图像库

之前几家,他们训练模型所使用的数据集大多数是使用爬虫从网络上爬下来的,这类图片在质量和画风上参差不齐,甚至还有一些背景。训练数据集质量的低下会给训练造成很大的影响。本文的作者则通过从日本的游戏贩卖商Getchu购买了高质量的图像,这些图像基本出于专业画师之手,同时背景统一。

除了高质量的图像外为了训练网络模型,作者使用了一种基于CNN的图像分析工具Illustration2Vec,对图像中动漫人物的属性,如头发颜色、眼睛颜色、发型和表情等做标记。

此外,在训练的过程中他们还发现发布时间越晚的图片,训练出的模型效果越好。这不难理解,随着游戏角色制作和CG技术的发展,越是现代的图片,细节越丰富,如阴影和头发。所以作者舍弃了2005年之前的全部数据,并过滤掉分辨率低于128*128的图像,用剩下的31255张高质量图像进行训练。

二、模型结构

作者采用了今年5月份发表的DRAGAN模型(https://arxiv.org/pdf/1705.07215.pdf),这种模型所使用的计算量相对较少,收敛较快而且能够产生更稳定的结果。而在优化生成器的过程中,受ACGAN的启发,不仅向生成器提供了标签数据,连“噪声”数据也一并提供,之后再为判别器增加多标签分类功能。

下面展示一下效果——

虽然训练出的模型大多数时候都比较好,但该模型仍然存在一些缺点。问题仍出在数据集中,由于训练数据中各个属性(发色、发型、眼镜、帽子等)的数量分布不均匀,某些属性的生成并不理想(例如眼镜和帽子常常不能生成) ,如果将某些罕见的属性组合,生成的图片甚至会崩溃(例如帽子+眼镜)。也许当增加数据集的数量,训练出的模型生成图片质量可以进一步提高。雷锋网认为,按照此趋势AI或许在不久将替代掉插画师的一部分工作。

访问网站:http://make.girls.moe/(已有训练好的模型,打开就可以尝试生成)

据 AI 科技评论了解,由于突然之间巨大的访问量,网站目前托管在Preferred Networks所提供的AWS上。AWS嘛,你懂的,国内基本就是不能访问的……随后作者可能会做出一定调整。

查看论文:https://makegirlsmoe.github.io/assets/pdf/technical_report.pdf

Github:https://github.com/makegirlsmoe/makegirlsmoe.github.io(目前只有网站的js源码,看介绍训练模型的代码会在近期放出)

本文参考了:「AI可能真的要代替插画师了……」 https://zhuanlan.zhihu.com/p/28488946

本文分享自微信公众号 - AI科技评论(aitechtalk),作者:贾伟

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-08-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 大会 | 思必驰-上海交大实验室14篇ICASSP 2018入选论文解读

    AI 科技评论按:为期 5 天的 ICASSP 2018,已于当地时间 4 月 20 日在加拿大卡尔加里(Calgary)正式落下帷幕。ICASSP 全称 In...

    AI科技评论
  • 深度 | 基于移动设备的机器学习,本地与云端孰优孰劣?

    AI科技评论按:如果您觉得,是时候给自己的手机应用添加一些热门的机器学习或深度学习算法.....这是个好想法!但您会怎么选择?致力于提供算法服务及小白科普的咨询...

    AI科技评论
  • AAAI 2020 | 邵晨泽:非自回归机器翻译,基于n元组的训练目标(视频解读)

    本文是对计算所冯洋组和腾讯微信AI团队共同完成,被 AAAI2020 录用的论文《Minimizing the Bag-of-Ngrams Difference...

    AI科技评论
  • 业界首个视频识别与定位工具集PaddleVideo重磅更新

    PaddleVideo 在实际工业界可以形成很多具体应用,包括:视频精彩片段预测、关键镜头定位、视频剪辑等任务,例如定位 NBA 篮球赛视频中扣篮镜头,电视剧中...

    用户1386409
  • 业界首个视频识别与定位工具集PaddleVideo重磅更新,前沿视频模型等你用

    PaddleVideo 在实际工业界可以形成很多具体应用,包括:视频精彩片段预测、关键镜头定位、视频剪辑等任务,例如定位 NBA 篮球赛视频中扣篮镜头,电视剧中...

    机器之心
  • IJCAI 2018 广告算法大赛落下帷幕,Top 3 方案出炉

    雷锋网 AI 研习社消息,IJCAI-18 阿里妈妈搜索广告转化预测比赛近日落下帷幕,本次比赛为阿里妈妈与 IJCAI2018、天池平台联合举办,总奖池 370...

    AI研习社
  • 一文看懂如何搭建AI应用:10周学会深度学习,还赢下5千美元

    春节后第一个休息日,量子位给大家准备了一个不一样的故事。 在这个故事里,主人公David Brailovsky(就叫阿D吧)参加了一场计算机视觉比赛。这个挑战赛...

    量子位
  • Kaggle首战斩获第三,看深度学习菜鸟团队如何一鸣惊人

    Women in Data Science 与合作伙伴共同发起了 WiDS 数据马拉松竞赛(WiDS datathon)。赛题是创建一个能够预测卫星图像上油棕种...

    机器之心
  • 伯克利人工智能研究项目:为图像自动添加准确的说明

    人类可以很容易地推断出给定图像中最突出的物体,并能描述出场景内容,如物体所处于的环境或是物体特征。而且,重要的是,物体与物体之间如何在同一个场景中互动。视觉描述...

    AiTechYun
  • 在图像中标注新的对象

    给定一个图像,人类可以很容易地推断其中的显着实体,并有效地描述场景,如对象所在的位置(在森林或厨房?),对象具有什么属性(棕色或白色?),更重要的是,物体如何与...

    人工智能资讯小编

扫码关注云+社区

领取腾讯云代金券