机器人也会画漫画

说到人工智能,大家第一想到的应该会是人脸识别,因为这也是最近出现最频繁的名词,手机、交通、安防等领域都涉及到了人脸识别技术,但是大家应该把眼光放远一些,就会看到更加高科技的人工智能在我们不知道的领域已经普及开来,例如无人驾驶技术,无人超市,无人加油站,无人快递站等。

但是今天给大家带来的不是这些技术,因为还有一些“黑科技”在其他领域默默的转换着,等完全崭露头角的时候,我们会感叹未来是不是这样的:

那今天我们就来看看一种先进网络用于漫画领域,并且可以完全可替代画家给漫画上色的工作,想想都觉得是一个不错的人工智能技术,但又让我们多么后怕,未来有多少岗位将要被机器人所替代。。。

机器给漫画上色

说起漫画,大家都会想到日本,但是谁又能知道,出版漫画过程是多么费时费力的,尤其是构造漫画人物和给漫画任务上色,但是现在技术日益增长的人工智能时代,已经有很多工作再被机器所替代。比如今天我们详细讲解的“漫画上色网络”,其实说专业一些,就是生成对抗网络的改进网络,通过大量数据的训练,学习了怎么去给相应漫画上色,现在就开始我们今天的主题。

今天要提及的这个网络是基于条件生成对抗网络(CGAN),但是不同于以往的GAN方法,使用CGAN不需要数以百计或数以千计的训练图像,只需要一个单一的彩色参考图像进行训练就可以达到想要的水平,且避免了大量数据的需求。

使用CGAN对漫画进行上色可能会产生具有伪影的模糊结果,分辨率有限。 因此,用了一种分割和颜色校正的方法来减轻这些问题,使最终的结果是清晰的,高分辨率,并保持真实的角色原来的配色方案。

首先来一个简单的例子,让大家理解主要的一些效果和技术的实现:

训练数据(只用一张图像作为训练集)

机器自己上色后的效果图

1

图像颜色转移方法

有许多现有的颜色转换方法,即使用一个图像的颜色来着色另一个颜色。 他们共同点是利用图像中预先存在的信息进行着色,例如色彩转换的颜色信息或灰度图像中的亮度被着色。 然而漫画是纯粹的形式,只有黑色和白色的二元图像,这些方法所依赖的信息是不可用的。

2

风格转移方法

与颜色转换类似,风格转换尝试将参考图像的风格转换为新图像。 关于单色漫画和彩色漫画两种不同的风格,这种方法可以允许将单色漫画图像转换为彩色漫画。

3

条件生成对抗网络

最近由Goodfellow等人引入的生成对抗网络(GAN) 在生成色彩鲜艳的图像方面取得了令人鼓舞的成果。 最近一个值得注意的例子是由Isola等人提出的条件生成对抗网络(cGAN),它通过对目标图像进行调节来生成新的图像。 这种方法成功的学习了边缘线和图像之间的映射,例如鞋和手袋。 边缘线与单色漫画图像相似,表明使用这种方法可以实现类似的结果。 到目前为止,大量的训练数据已经被用来训练这种类型的网络并进行推广。 在原始文件中,提到最小的训练集包括400幅图像。 接下来展示一张彩色的参考图像足以训练这样一个网络来为特定的人物着色。

4

主要框架

黑白图像比对效果:

在图像分割之前,利用了不同核参数大小的高斯模糊,给出了改进的结果,而在内核半径为3的情况下,轮廓开始消失,从而降低了结果的质量。可以看到,有一个最佳值,从实验表明,它取决于输入图像。因此将此设置提供给用户进行调整。

然后就可以开始训练网络,进行图像的上色操作:

不同的训练图像,对测试的效果也不一致,但是最终融合效果逼近于真实值,具体见如下:

测试图像:

1)脸部训练图像:

测试效果:

2)胸部训练图像:

测试效果:

3)一半身体训练图像:

测试效果:

4)全身体训练图像:

测试效果:

5)全部训练图像:

测试效果:


具体简单介绍下步骤:

目标图像—>CGAN上色—>模糊剔除—>分割—>颜色选择—>饱和度增加—>颜色量化—>加阴影

结果:

训练图像:

测试图像:


原文发布于微信公众号 - 计算机视觉战队(ComputerVisionGzq)

原文发表时间:2017-11-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学与人工智能

支持向量机SVM介绍|机器学习

(一)SVM的八股简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解决小样本、非线性及高...

40660
来自专栏AI科技评论

学界 | CVPR 2018论文解读:一种交互式纹理迁移通用框架

AI 科技评论按:本文是北京大学门怡芳基于其 CVPR spotlight 论文为 AI 科技评论提供的独家稿件,未经许可不得转载。

15120
来自专栏量子位

OpenAI发文怒怼:对抗样本怎么不会对检测产生干扰了?

安妮 编译自 OpenAI官方博客 量子位出品 | 公众号 QbitAI 上周,arXiv上的论文《NO Need to Worry about Adversa...

34890
来自专栏机器学习算法工程师

《机器学习》笔记-集成学习(8)

作者:刘才权 编辑:祝鑫泉 前 言 如今机器学习和深度学习如此火热,相信很多像我一样的普通程序猿或者还在大学校园中...

40260
来自专栏AI科技评论

学界 | 清华朱军团队探索DNN内部架构,采用对抗性例子监督网络生成及错误

AI科技评论了解到,近期清华信息科学与技术联合实验室,智能技术与系统国家重点实验室,生物启发计算研究中心和清华大学计算机科学技术学院联合发表的论文《使用对抗性例...

36050
来自专栏前沿技墅

猫工智能:卷积神经网络层的实现

23850
来自专栏红色石头的机器学习之路

台湾大学林轩田机器学习技法课程学习笔记7 -- Blending and Bagging

上节课我们主要介绍了Support Vector Regression,将kernel model引入到regression中。首先,通过将ridge regr...

23100
来自专栏AI研习社

十个例子,教你用统计学方法高效完成机器学习项目

事实上,这两者的界限有时候非常模糊。然而有一些明显属于统计学领域的方法,不仅可用于机器学习的项目,并且极具价值。

9620
来自专栏AI科技评论

学界 | 康奈尔大学说对抗样本出门会失效,被OpenAI怼回来了!

AI科技评论按:看来,我们还是不能对对抗样本问题掉以轻心。 上周,康奈尔大学的一篇论文表示,当图像识别算法应用于实际生活场景下(比如自动驾驶)时,可能不需要那么...

35880
来自专栏企鹅号快讯

机器学习简介

标题: 机器学习定义 人工智能、机器学习、深度学习的关系 机器学习的学习类别 数据(特征)的种类 几个空间的概念 机器学习的三要素 深度学习的兴起引领了人工智能...

24290

扫码关注云+社区

领取腾讯云代金券