当,程序员突然想画画,AI+机器人就该登场了

安妮 栗子 发自 凹非寺 量子位 出品 | 公众号 QbitAI

人生总有那么一些时候,你突然间想文艺一下。

比方画一幅画。

但,理想和现实之间,可能远隔千山。比方,你其实没有创作的灵感。以及,你其实没有把灵感实现出来的基本技能。

每当这时,有人会妥协退缩,也有人会迎难而上。俗话说:“只要思想不滑坡,办法总比困难多”。

今天,就是这样一位不妥协的程序猿的故事。

澳大利亚人Jeremy Kraybill活了40多岁,突然对绘画产生了兴趣。横亘在他面前的就是那两个问题:既没有艺术灵感,也没有绘画基础。

但,他有技术。

先看结果。下面这幅画,就是Jeremy的绘画作品。为了完成这幅画,他动用了人工智能(神经网络)来产生创意,然后又动用了机械臂,把创意画了出来。

这幅成品,看起来是不是有模有样,还颇有大师神韵?实力演绎“不想当画家的创始人不是好的软件工程师”年度大戏。

然而,这也并不是一番坦途。

这篇文章就带你真实还原AI设计、机械臂全自动作画完整过程。对了,量子位还“采访”了JK的“御用”机器人,问了问它这几个月的修炼感受。 

大概就是这样的画风

从歪七扭八开始

一切都得始于灵感。

在这个出发点上就不能输。不过,怎么才能拥有大师级的创作灵感?

作为资深程序员,Jeremy立刻就想到,可以靠AI啊!

没错,现在的AI其实已经有了某种程度的“想象力”和“创造力”了。AI的灵感来源,其实有点像那句话:模仿是艺术家向艺术家最高级别的致敬。

为了生成画作,Jeremy选用了DCGAN(深度卷积生成对抗网络),直接用了tensorlayer在GitHub上开放的TensorFlow代码。

相关论文: Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks Alec Radford, Luke Metz, Soumith Chintala https://arxiv.org/abs/1511.06434

代码:https://github.com/tensorlayer/dcgan

而所用的训练集,由男男女女的肖像画组成,全都是他喜欢的风格。挑选、修改、增强等等一套操作下来,他Jeremy得到了一个包含10万幅画的训练集。

接下来,就是训练和生成了。即使已经有了开源代码,训练一个GAN也并不容易。一不小心,就会遇到这样惨不忍睹的崩溃NG场面:

各种NG都解决了之后,就进入了最终的训练和生成过程,在亚马逊的AWS p2.xlarge实例上进行,整整花掉了7天时间。

Jeremy得到了——

就是这个,一个64×64像素的、歪七扭八的、全新的创意。From AI with Love.。GAN还为这幅作品起了个充满诗意的名字:028749_0001_08。

上面这张小头像和成品之间的差距,可能能绕地球好几圈。但这已经是Jeremy可以得到的最好结果了。他还有过不少其他改善的尝试,不断碰壁后,最终他决定:

就用这个了!

这里插播一下,为啥他没有继续尝试,而是急急忙忙接受目前的结果?可能是因为Jeremy初心变了,他不只想画一幅画,而且还想参加机器人艺术大赛RobotArt。

于是,时间一下子就变得很紧张。

转攻机械臂

接下来的问题是,怎么把这个AI贡献的灵感,变成一幅真正的画作?

靠机械臂!

那也得教一下机械臂,怎么画画。

第一次尝试机器人手臂大概还是在去年7月份,Jeremy试图熟悉机械臂的功能,并且想让它看起来像人类的笔触,他先就购买了一套温莎牛顿的豪华刷头马克笔。

这套马克笔的笔尖像毛笔,非常适合测试,又不用担心调色的事。

2017年9月早期测试

虽然,没试出什么惊艳的结果,但Jeremy浑身上下写满了 (蜜汁) 自信,感觉用真正的水粉画笔也没问题。

后来,他工作一忙,就开始捉急了。看看越来越近的截止日期,再看看还没玩过水粉笔的自己,Jeremy决定用Aqua Brush (一种内置颜料盒的笔刷),来代替了水粉笔这种需要配置的操作。选了8种预先混合好的颜色,实验又开始了。

Aqua Brush笔刷

“您的扑街只用了一秒。”走出实验室之前,他丧丧地扔掉了所有的Aqua Brush。这种工具需要的水量太大,效果很水。

技术宅觉得,如果用另外一种介质来代替水,可能会更好。不过,他还是毅然决定死磕水粉了,并坚信古老的笔刷和颜料会比现代工具更适合画画。调色板里颜色是根据要画的作品和最少的混色步骤来选定的。

要指导机器画画,就需要给它一套指令,告诉它该在画布的什么位置、用什么样的笔触、刷上什么颜色。于是,Jeremy基于机器人要用的色板,将这幅图像用算法翻译成一套ABB机器人指令,开头那张“AV画质”的小人脸,摇身一变成了现在的样子——

在这个项目中,“从图像到笔刷”的转换程序是唯一需要“从零开始”的,其他所有关于AI的步骤都主要基于过去几年研究的已有文件和代码。

在转换之前,需要先处理一下DCGAN生成的渣画质小图:放大,将颜色减少到能和色板相匹配、并对图像进行平滑处理来增强所生成笔刷的平滑度……

处理好了图像,还要准备备选的笔刷。这些大大小小的笔刷,是Jeremy在Photoshop里削出来的,构成了算法的训练数据集。这些笔刷再加上混色指令,就是算法的全部输入了。

距离截止日期12天时,Jeremy计划的调色方案还很细腻:从奶油色开始,一步一步加深到深棕色,然后再用调色板来调出余下的颜色。但对于机器人来说,时间显然不够用。

机器人按指令操作的结果,和他美丽的想象相去甚远。以至于最后关头,他还在紧急修改调色指令。

Jeremy还向想让机器人在画布上做一些混色,写出了代码,但在有限的时间里,并没有实践成功。

万事俱备,就该进行“图像到笔刷”的生成了:算法吃下准备好的图像,然后进行一个反复的试错,先考虑进多种可能的笔触,再通过和图片对比来筛选最接近的。

算法输出的结果包括一组要用到的笔刷、和机械臂要执行的混色指令,第一次尝试的时候用了6000笔,最终的作品是4000笔。用这个训练好的“图像到笔刷”生成算法来渲染给机器人的指令,消耗了Jeremy八个小时的时间。

好在,最后的成功,没有让他失望。

Jeremy设计的画作,也最终入围了2018年度RobotArt设计大赛,他还想让大家空了去投个票~

https://robotart.org/artworks/

不过,故事还么完。

光提到Jeremy怎么够?

量子位还(假装)采访到了参与本次创作的ABB机器人,它的心路历程饱满得快要喷发。以下,我们用自述体,还原这次采访。

机器人的艺术修养

那是一个周四的下午,Jeremy到实验室来告诉我,之前的试画他很满意,晚上就会把一幅大作的任务交给我。

之前从来没有画过一张完整的画,每次都让我试几下就把笔收走。啊,想想还真有点小激动呢。

按这个节奏往下走,说不定哪天画廊就会来找我签约,这样我们实验室的小花会被我的才华折服,然后我顺势表白成功。 从此,两只机器人过上了幸福的生活。

回到现实,没想到他让我一整晚不许停笔。我是机器人没错,不管饭可以忍,不能休息也叫小花来看看我。

大概男人辛苦的样子才更可爱吧。这样想着,4月5日的夜晚,我还是用色彩填满了。

第二天,Jeremy说我发挥正常,不过他觉得青色 (Cyan) 用得有些重了,焦赭石色 (burnt umber) 又有点太轻了。

这不是大问题,反正我的混色习惯都是可以调的。可是他还说我画得慢,只有一句话想送给毫无艺术天分的他。

三小时画了1800笔,要不去问问别的机器人有没有这么快。一下子塞给我6000笔的任务,我也很绝望啊。

不过,好在他比我还紧张,这样我也能平衡一点。

可能他也觉得有点对不起我,就给了我三天假。4月9日周一晚上,我又开始工作了。

没见过吧

Jeremy好像是刚刚知道,我有一个动作更快的模式。一开始,我的内心是拒绝的,那个模式真的很累。但他求了我,还说要带我参加比赛,于是我决定给他看看我真正的速度。

那天晚上,我就把画完成了。还是三个小时,但这次画了4,000多笔。他果然被我精妙的技艺震撼了,除了速度,我还有更加流畅自然的笔触。

这个傲娇的技术宅,明明感受到了我的厉害,还要说我的画有些小小的瑕疵。

他把水粉冲得太淡了,导致颜料在画布上开心地流淌。还有,他又觉得把混色指示里的焦赭石色调得太重了。只要他承认那是他的错,就好。

生动的意外

不知为什么,他好像不想让我再画了,要直接拿这幅画去参加比赛。可我才刚出道,不想只留下一幅作品就隐退。

大概在剔牙

不过,没过多久Jeremy就跑来告诉我,他改主意了。Jeremy在调色桶和调色盘的转换之间,发现了一个bug,导致我的笔刷位置太低,才有了画布下方那条乱入的棕色长线。

于是,Jeremy第二天一大早又来了。他说这次调整了系统,一幅画只要4,000笔就好了,少了2,000笔。还算懂事。

另外,他还重新设计了颜料的混合方式,这样我就可以画出更有趣的色彩了,好兴奋啊。

早上工作,神清气爽。Jeremy让我先做笔触渲染,等他下班回来再开始画画。

晚上,准备工作两小时,画画三小时。虽然,过程因为调整混色指示而中断了几次,但作品我还是满意的,技术宅应该也满意吧。

和预先准备好的图像相比,我画出的成果有些不同。但在有意无意中,色彩变得更生动了。

投稿截止日期将近,Jeremy说许多变化都是时间不够造成的代码意外,但我们两个都享受这些可爱的意外。如果真的和原图一样,怎么看得出我的天分呢?

后记

机器人不知道的是,那天晚上Jeremy把它的作品小心翼翼地捧回了家,像个得到了珍贵礼物的孩子。

后来,他还用蜡给作品上了一层表面,让水粉多了一些光泽,多了一些深度。当然,那是比赛之后的事了。

至于,这是不是艺术。要说不是,那些孩子一样的心情又是什么呢?

本文分享自微信公众号 - 量子位(QbitAI)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-05-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

视觉研究的前世今生(上)

30060
来自专栏量子位

外媒用AI识别政府的侦察机,它到底是怎么做到的?

李杉 编译自 BuzzFeed 量子位出品 | 公众号 QbitAI 外媒BuzzFeed在上周报道了两则有关飞机的故事。 一是美国法警运营的秘密侦察机在墨西哥...

441100
来自专栏机器之心

更偏好白人男性?Science新研究证明人工智能也能学会偏见

选自Science 机器之心编译 参与:吴攀、晏奇 至少从口号上来说,我们一直在追求「人人平等」,但我们也都清楚我们离这一目标还相去甚远,部分原因是因为世界并不...

38180
来自专栏数据派THU

怎样判断漂亮女孩是不是单身的?

不解风情的死理性派们在情感生活中不免会遇到这样悲催的一幕:偶然间遇到一位心仪的漂亮女孩,从此日思夜想,废寝忘食,开始了漫长的暗恋之旅。

42510
来自专栏SIGAI学习与实践平台

理解计算:从√2到AlphaGo——第2季 神经计算的历史背景

感知机的出现标志着一门称之为“神经计算“的研究领域的诞生,现在更一般说法就是人工神经网络,尽管这个说法现在看起来已经不那么时髦。感知机是计算机科学家们借助神经科...

17050
来自专栏机器之心

在大家热议Vicarious AI那篇Science论文时,我们和这家公司的CTO聊了聊(回应LeCun批判)

40580
来自专栏ATYUN订阅号

AI提早6年预测老年痴呆症,灵敏度达到100%

老年痴呆症影响超过500万美国人,预计到2050年这一数字将增加到1600万。早期干预可以帮助减轻最令人虚弱的症状,即记忆丧失以及阅读和组织思想的问题,但不幸的...

13210
来自专栏ATYUN订阅号

Nvidia开放Clara医疗保健平台和医疗成像AI工具,并宣布新的合作伙伴关系

医疗保健仍然是AI应用和服务增长最快的市场之一,预计到2021年总体价值将达到66亿美元。AI系统可以分析超声波扫描,检测眼部疾病,并加快X射线和计算机断层扫描...

19330
来自专栏新智元

【黄铁军】“类脑计算”以神经形态器件构造电子大脑

【新智元导读】以类似结构将产生类似功能为假设,“类脑计算”以神经形态器件构造电子大脑,绕过“理解智能”,专注“模拟智能”,或将颠覆现有计算模型并有助于弄清何为“...

374100
来自专栏新智元

华中科大骆清铭:开启“脑空间信息计划”,连接脑科学与类脑人工智能

【新智元导读】华中科技大学(苏州)脑空间信息技术研究院启动在即,旨在使工业级高分辨率脑图成为神经科学的标准工具。这一项目由华中科技大学生物医学成像研究者骆清铭领...

50570

扫码关注云+社区

领取腾讯云代金券