超火的漫画线稿上色AI出新版了!无监督训练,效果更美好 | 代码+Demo

夏乙 安妮 编译整理 量子位 出品 | 公众号 QbitAI

给喜欢的动漫形象建个了收藏夹,里面收集她的各种图片……懂,谁没几个喜欢的动漫萌妹呢。

一些手绘线稿也很可爱,但黑白配色总会略显单调。

请记住这张线稿

半年前线稿上色AI style2paints的破壳曾让自动上色火了一阵。好消息是,昨天,升级版本style2paints 2.0也问世了!

Demo也一并放出,用户可以随意试玩~

Demo界面

据作者说,style2paints 2.0比一代效果更好,而且模型的训练过程是无监督的。

效果惊艳

只需线稿一张,轻点一下,就能给你珍藏的心爱萌妹上个色。

上面线稿的转换效果

赞赞的!不仅如此,换一张其他的彩色参考图,也能将线稿转化成另一种颜色风格。

比如我们输入下面这张参考图:

上面那张示例图就变成了下面的效果——

还可以从参考图中选取颜色,然后用笔在线稿的某个区域上点一下,AI就会按你的提示去重新填充——

支持微调的线稿上色软件不止一家,不过作者介绍说,和同类软件相比,style2paints的“提示笔”是最精确的,用户可以用3×3的笔迹,在1024×2048的画面上,控制13×13的区域。

为了确保最终画作颜色协调,style2paints还玩了一点小心机:用户不能自己输入颜色,只能从参考图上选。

使用教程

并不简单

玩得尽兴之后,你可能会说,风格迁移嘛,我们见得多了~

但是,把黑白照片变成彩色照片,和把没有阴影高光的线稿变成彩色图画难度不同。

这种由纯线条构成的草图不包含图案的明暗和纹理。也就是说,AI需要自动脑补出这些信息。

何况style2paints作者对线稿上色的期望,实在是比较高,并不是在线条之间填一些颜色就完事了:

在一幅好漫画里,妹纸的眼睛要像星系一样闪亮,脸颊要弥漫着红晕,皮肤要精致迷人。

大概是这个效果吧

这怎么做得到!

style2paints 2.0目前还没有相关论文放出,只有代码可供参考。不过,今年6月问世的第一版其实效果还可以,实现了基于语义信息迁移的颜色提示,让上色效果更加和谐。

具体的原理可以看当时的论文Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN ,来自苏州大学的三位作者Lvmin Zhang, Yi Ji, Xin Lin介绍了怎样将集合的剩余U-Net样式应用到灰度图中,并借助分类器生成的对抗网络(AC-GAN)自动为图像上色。生成过程迅速,效果尚好。

论文地址: https://arxiv.org/abs/1706.03319

不一样的2.0

style2paints第一版推出之后非常火,量子位的不少朋友都上手玩过。

不过,他们的主要竞品paintschainer不停迭代,后来,上色的效果渐渐超越了style2paints 1.0,于是,作者们也坐不住了,开始研究新方法,更新了一版出来。

那么,2.0和1.0有什么不一样吗?

巧了,国外的网友也很关心。作者在Reddit上回答说,和上一版相比,style2paints 2.0大部分训练都是纯粹无监督,甚至无条件的。

也就是说,在这个模型的训练过程中,除了对抗规则之外没有添加其他的人工定义规则,没有规则来强迫生成器神经网络照着线稿画画,而是靠神经网络自己发现,如果遵照线稿,会更容易骗过鉴别器。

pix2pix、CycleGAN等同类模型为了确保收敛,会对学习对象添加l1 loss,鉴别器接收到的数据是成对的[input, training data]和[input, fake output]。而style2paints 2.0模型的学习目标和经典DCGAN完全相同,没有添加其他规则,鉴别器收到的也不是成对的输出。

作者说,让这样一个模型收敛其实是很难的,何况神经网络这么深。

不过你看,结果还不错。

线稿上色的江湖

线稿上色的程序,其实有很多,比如说:

Paintschainer https://paintschainer.preferred.tech/index_en.html

Deepcolor https://github.com/kvfrans/deepcolor

Auto-painter https://arxiv.org/abs/1705.01908

除了paintschainer,其他的同类产品其实作者是不太看得上的。

他说,很多亚洲论文都号称能迁移漫画风格,但是仔细看论文,会发现他们所谓的“新方法”就是个调整过的VGG,虽说VGG在风格迁移任务上普遍表现不错,但是用在漫画上,效果总是不怎么好。

还是得靠GAN,而且得允许用户上传风格参考图,像Prisma那样从莫奈梵高里选可不行,莫奈梵高又不会画漫画。

试试不?

上手玩一下Demo: http://paintstransfer.com/

论文还没出来,不过可以看源代码呀: https://github.com/lllyasviel/style2paints

作者对上一版的介绍: https://zhuanlan.zhihu.com/p/29331219

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-12-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏MixLab科技+设计实验室

Pix2Pix与人工智能做设计

设计是一个创造的过程,目前大部分的设计类产品大多是基于模版的,外加一些图像匹配的处理,做出来的设计,缺少创造的成分,更多的是预设的结果。 基于深度学习算法,是否...

36440
来自专栏人工智能头条

吴恩达团队发起骨骼X光片识别挑战赛,好胆你就来

19840
来自专栏深度学习与数据挖掘实战

【AI头条优质资源】从Facebook AI Research开源fastText谈起文本分类:词向量模性、深度表征和全连接

作为这个产品技术团队之一,简单说下这个过程: 1,按类目特征,拉取这个类目下的评论,进行分词,统计词频; 2,对词进行聚类,包含常用的LDA,结合本体库,将词进...

12730
来自专栏AI研习社

推荐三个 Udacity 无人驾驶纳米项目的感知项目

本文为 AI 研习社编译的技术博客,原标题 Perception Projects from the Self-Driving Car Nanodegree P...

31620
来自专栏灯塔大数据

前沿 | 想让照片里的美女“回头”?清华MIT谷歌用AI帮你实现了

设计师们总是接到这种神奇的需求,但是受限于素材和工具的“想象力”,设计师无法凭空推理出背影女子的正脸是美女还是恐龙,这种需求根本无法达成。不过,AI似乎把这个问...

13960
来自专栏量子位

谷歌开源MobileNets:在移动设备上高效运行的计算机视觉模型

吴唯 编译自 Google Research Blog 量子位出品 | 公众号 QbitAI 今早谷歌在自家的科研博客上发文,宣布开源MobileNets——一...

32140
来自专栏量子位

Mask R-CNN源代码终于来了,还有它背后的物体检测平台

夏乙 编译整理 量子位 出品 | 公众号 QbitAI “等代码吧。” 从Mask R-CNN论文亮相至今的10个月里,关于它的讨论几乎都会以这句话收尾。 ?...

473100
来自专栏大数据文摘

Uber优步打车:想你所想,知你所达

17950
来自专栏量子位

变性、衰老、染发后长啥样?简易版StarGAN全知道 | 代码

昨天,网友taki0112公布了一个简易版StarGAN TensorFlow实现,不到一天时间就在Reddit论坛上热度暴增到700。

12620
来自专栏CSDN技术头条

Bandit算法与推荐系统

推荐系统里面有两个经典问题:EE和冷启动。前者涉及到平衡准确和多样,后者涉及到产品算法运营等一系列。Bandit算法是一种简单的在线学习算法,常常用于尝试解决这...

82490

扫码关注云+社区

领取腾讯云代金券