开发 | 继AI生成二次元头像之后,新一代线稿上色AI来袭

预览视频:

项目主页:

lllyasviel/style2paints(https://github.com/lllyasviel/style2paints)

这里做一个简单的示范,为了防止线稿的主观挑选,我先贴一下现在的时间:

然后就在这个时间,我上谷歌图片搜索关键词“Anime Sketch”(动漫线稿),结果在这里:

然后我直接下载第一个结果,不含挑选的成分,这个图片下载下来是这样的:

然后我们的AI需要用户输入一些风格图片,不限制内容,只要颜色比较好看,色域比较宽泛即可。我在桌面上新建了一个文件夹,里面从我的个人收藏中随便选了9张色彩各不相同的图片给AI参考,截个图:

然后我直接把这九个图片和上面那个线稿丢到AI里面,一共点击9次上传按钮,9次上色按钮,大约10分钟后,我有了9张线稿的不同色彩构图。

这九个结果和我上面那个文件夹里面的九个参照图片一一对应,有兴趣可以来回翻看。看看AI迁移了哪些信息。

因为是在知乎上面发帖子,所以这里多说一些学术上的突破,具体效果在上面那个视频里面,请一定要看视频,看视频,看视频。

1. 我们成功实现了基于语义信息迁移的颜色提示,这个技术使得上色的色彩变得很和谐。这个技术最早是2017年1月左右早稻田和UCB都有相关研究的一个应用于黑白照片上色的trick。但是anime线稿上色是非常非常严酷的挑战,很多机构都有所尝试,包括今年六月的DWANGO(niconico的母公司),东大在内的一些机构都尝试了迁移式上色,但是都停留在了从结果里面精挑细选的程度,并不能直接运用起来。我们实验室研究了很久尝试了几乎全部生成模型,最后终于组织了一种可以驾驭这个训练的对抗游戏,具体的内容会在后续的论文里面详细说明。

2. 基于语义信息迁移的颜色提示对于anime线稿上色有很重要的意义。一方面解决了“用户的提示越多,结果越难看”以及“我调了半天结果还没有一开始的结果好看”的问题,另一方面大大提高了产率。目前我们可以做到在短时间内针对同一个线稿生成大量各不相同的,合理的色彩构图,这将有利于那些把神经网络作为一个构图工具或者颜色草稿的画师。详情可以看上面那个视频。

3. 我们的正式APP会在一段时间后(由于我们比较穷租不起超级贵超级贵的GPU服务器,可能是一段很长的时间后)上线,但是如果你是reseacher,你可以直接在我们的项目主页里面获取代码来一睹为快。另外我们还有扩大数据集的计划,所以商业APP可能需要等待了。但是这仅仅是财政问题,我们的学术代码,模型等资料完全公开,如果你有兴趣赞助或者你有GPU服务器空闲准备低价外租,请务必联系我们,加视屏最后的那个群就好了。

4. 如果您在看完视屏或者了解了我们的项目之后立刻就想要获得paper,有一篇paper介绍了我们在今年6月份之前的所有技术,收录在ACPR2017,详情可以到github上面找到。但我们更希望向外界介绍一些近期的新研究发现,新的论文成文后会发到github上面。论文:Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN;地址:https://arxiv.org/abs/1706.03319

5. 我们有自信认为我们是目前是所有开源的anime上色模型里面的非常优异的(paintschainer已经闭源了模型数据;传统方案不在我们的比较范围内)。并且我们认为我们最新的模型对于paintschainer的最新模型也是可以一比的,尤其是我们在迁移顺利的时候效果是比以前的模型有很大提升的。

-------------------第二天来更新-------------------

赞超过两百了,谢谢大家的赞,我再发一点我今天的画作吧。

首先这是找到的线稿:

这是我用到的风格图:

这是结果:

评论里面有问起当输入或者输出非常复杂的情况会怎么样,情况是这样的,随着线稿和风格图变得复杂,成功上色的概率会逐渐降低,如果线稿或者风格图片复杂到人眼都看不清那里是脸哪里是手,就会非常难以上色,我们的github里面有一个issue就是专门针对上色失败问题的,等程序上线之后,您也可以帮助我们收集,来改善我们的模型。

-------------------第三天来更新-------------------

说一点技术上的事情:

不知道是什么时候开始的,关于图像处理出现了一个套路,就是用ResNet堆砌网络深度,然后就可以量产出论文,最近有很多类似的文章。我们的模型里面没有ResBlock。我们使用的是特别适合线稿上色的,一种变种Inception。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-09-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

不用担心拍摄照片时光照不足,AI转换技术可以提升照片清晰度

在光照不足的情况下拍摄照片时,低ISO长时曝光照片需要稳定的照相机,并且要在模糊框架中移动,而高ISO短时曝光照片可能会受到噪音和质量的影响。现在,人工智能可以...

1374
来自专栏奇点大数据

AI是如何做决策的?

AI(人工智能)无所不能。据社交网站“脸谱”披露,要想欺骗AI把某个不存在的东西当作真实存在,比你想象的要容易得多。

841
来自专栏量子位

深度学习成了前端开发神器:根据UI设计图自动生成代码

唐旭 编译整理 量子位 报道 | 公众号 QbitAI UI设计和前端工程师之间,可能还需要一个神经网络。 ? 近日,位于哥本哈根的一家创业公司Uizard T...

47910
来自专栏ATYUN订阅号

AI预测用户每天用水量以促进环保,节约水资源

农业使用世界上70%的水,这似乎意味着水需求的上升趋势。在这种情况下,其他工业部门的需求也在增加,气候变化的影响会影响日益严重的水资源短缺,如果我们想要维持这一...

802
来自专栏深度学习入门与实践

读过的书

为了记录自己度过的书,写个帖子总结一下,不定时更新。以前度过的书有些不记得了,就先记录一下我记得的吧:) PS:现在读过的书(2016.4月以后),我会做读书总...

2087
来自专栏新智元

【ARM攒机指南——AI篇】5大千万级设备市场技术拆解

作者:重走此间路 编辑:闻菲 【新智元导读】单做算法无法挣钱,越来越多的公司都开始将核心算法芯片化争取更多市场和更大利益,一时间涌现出AI芯片无数。与CPU,G...

4016
来自专栏AI研习社

普林斯顿联合Adobe 连声音都能PS了 | 2分钟读论文

来源 / Two Minute Papers 翻译 / 季伟 校对 / 贤儿响叮当 整理 / 雷锋字幕组 AI 研习社出品系列短视频《 2 分钟论文 》,带大...

2904
来自专栏AI研习社

【头条】谷歌发布全新TensorFlow 库tf.Transform;百度将Ring Allreduce算法引入深度学习

谷歌发布全新 TensorFlow 库“tf.Transform” 谷歌表示,tf.Transform 将改善 TensorFlow 的数据预处理和格式转化难题...

3914
来自专栏量子位

OpenAI强化学习游戏库大更新:游戏上千款,还能自己加

想把一个强化学习Agent训练成游戏高手?OpenAI今天推出的完整版Gym Retro必须了解一下。

1315
来自专栏量子位

OpenAI推出开源机器人模拟软件Roboschool(附代码)

李林 编译自 OpenAI 量子位 报道 | 公众号 QbitAI 今天,马斯克和YC总裁Altman等硅谷名流共同创办的人工智能非营利组织OpenAI发布了一...

3479

扫码关注云+社区