AI不仅能画画,还能编和弦了:谷歌这几年取得了哪些艺术成就?

大数据文摘字幕组作品

翻译:菜菜Tom、阿达、晓莉

监制:龙牧雪

在很多人的印象中,AI冰冷、生硬,和艺术无缘。但谷歌偏偏就不信。

谷歌大脑(Google Brain)有个Magenta项目,专门研究用TensorFlow和生成式模型来创造艺术作品,包括音乐、绘画作品等。他们的目的不是取代艺术家,而是为艺术家提供某些自动化协助,比如,编曲家可以用机器智能生成一段和弦。

项目代码已开源,请复制以下链接获取:

https://github.com/tensorflow/magenta

感觉有点酷!让我们来看看Magenta项目负责人Douglas Eck是怎样介绍他们的成果的。

视频来自O'Reilly和Intel AI Conference

时长15分钟

带有中文字幕

视频内容

内含一段AI演奏的肖邦钢琴练习曲

不要错过欣赏机会 ?

Magenta最近更新的博客文章里,详细介绍了MusicVAE音乐生成的相关技术细节。

博文链接:

https://magenta.tensorflow.org/music-vae

最重要的是对潜在空间(Latent Space)的利用,即将高维数据转换成低维。

如果将一段音乐表示为时序数据,那么一定是高维的。比如,就单音钢琴来说,在任何时候,都可以按下或松开88个键中的一个。我们可以将其表示为90种类型的事件(88次按键,1次松开,1次休息)。

如果我们忽略速度并用一个16分音符作为时间单位,则两个4/4排的小节将具有9032种可能的序列(旋律)。如果扩展到16个小节,将会是90256个可能的序列,它比宇宙中的原子数量多很多倍!

可视化来看的话,就是下面这样。这里是两小节随机的音符。纵轴代表钢琴上的音符,横轴代表时间。

但在潜在空间中,这些音符的表示是下面这样:

潜在空间能够表示低维空间中真实数据的变化。这意味着也可以通过潜在空间高精度地重建真实的数据。一种常见的模型是自动编码器(Auto Encoder)。

要生成一段音乐,需要模型学习较长的时间序列中的结构。在这里用到了一种分层解码器。

效果是,可以将一段旋律A和另一段旋律B相结合,生成一段“平均旋律”:

也可以用来给乐曲选择配器。

下面请欣赏AI配乐?

听起来像是古典和摇滚乐的组合

对艺术创作者来说比较有价值的,是基于这些成果开发的一些小工具,比如下面这个工具,可以自动生成一些旋律,供编曲人员使用:

这个项目组内还诞生了一些有趣的交互作品,比如被写进“不能错过的2017年AI圈大事”的SketchRNN。

上面这张图说的是,基于谷歌开发的一个小游戏“QuickDraw”,研究人员收集了一批简笔画的数据,并用它们训练了一个模型,可以输出简笔画的图案。

有趣之处在于,人类的输入通常是脑洞大开的。

比如看上面的图片,左侧从上往下数第三组图案,人类输入了一只有5根胡须的猫。但是,机器认为一只“正常”的猫应该有6根胡须,左右各有3根,所以在输出图案的时候,就给这只猫多加了一根胡须。

同理,右上角的“8腿猪”显然也是超现实的,于是机器给我们画了一只正常的,2只眼睛4条腿的猪。

右侧第二组,人类给一个“猪”模型画了一辆卡车。以为机器会懵逼?没有。机器输出了一辆“猪猪卡车?”,或者说是,“卡车形猪猪?”?

至于右下角输入牙刷那位,实在是爱莫能助了。不过还是能看出来机器给牙刷加的猫耳朵和胡子。

SketchRNN介绍页面:

https://magenta.tensorflow.org/sketch-rnn-demo

你可以通过这个页面看其他人画过的一些样本,也可以点击Try Demo自己玩玩。首先你需要选择一个模型,模型加载完毕后,你就可以开始你的表演了,AI会根据你的笔画输出一个相应的图案。

文摘菌粗略看了一下,有100多个模型可以选择,什么蝴蝶、火烈鸟、手之类的都能画。随机试了一个“菠萝”模型,效果是这样的:

黑色的线条是文摘菌画的,绿色的线条是AI帮忙补全的。

生成简笔画和简单的和弦,AI能实现的这些功能对于艺术家来说还比较基础,但是在文摘菌看来还是挺神奇的!你觉得呢?

正如Doug在演讲视频中所言,“我可画不出这么好的猪猪卡车!”

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2018-03-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

从“London”出发,8步搞定自然语言处理(Python代码)

【新智元导读】自然语言处理是AI的一个子领域,从人们日常沟通所用的非结构化文本信息中提取结构化数据,以便计算机理解。本文用通俗易懂的语言深入浅出的介绍了自然语言...

822
来自专栏机器人网

为什么要将超声波感应用于无人机

无人机降落辅助是无人机所具有的一项功能,可以检测无人机底部与着陆区域的距离,判定着陆点是否安全,然后缓慢下降到着陆区域。尽管GPS监测、气压传感和其他传感技术有...

1074
来自专栏大数据文摘

生命之圈:生物数据可视化的美丽新方法

30210
来自专栏大数据文摘

“微笑传递”背后的数据分析

1454
来自专栏BestSDK

如何用深度学习来识别恶意软件

这是一个悲伤的故事,你可能经历过。 你又热又渴,看到桌子上有一瓶看起来像水的东西,来不及思考,揭开瓶盖喝了一大口。哦!漏!是油! 时间回到10秒前,我们重来一次...

3319
来自专栏AI科技大本营的专栏

数据科学家线性规划入门指南

前言 生活之道在于优化。每个人拥有的资源和时间都是有限的,我们都想充分利用它们。从有效地利用个人时间到解决公司的供应链问题——处处都有用到优化。 优化还是一个有...

4377
来自专栏新智元

ACL 2018最佳论文公布!计算语言学最前沿研究都在这里了

1752
来自专栏思影科技

AJP事件相关电位研究:精神分裂症患者听觉感觉处理缺陷的临床和认知意义

来自塞拉利昂精神疾病研究、教育和临床中心,旧金山VA医疗保健系统,加州大学旧金山分校精神病学系和加州大学洛杉矶分校的心理学系以及精神病学系、生物行为科学系的研究...

3536
来自专栏美团技术团队

美团点评旅游搜索召回策略的演进

背景 美团点评作为最大的生活服务平台,有丰富的品类可供用户选择,因此搜索这个入口对各业务的重要性不言而喻,除了平台搜索外,业务搜索系统的质量和效果对用户体验、商...

76511
来自专栏思影科技

AJP:青少年饮酒后大脑发育轨迹发生改变

薛老师和他的猫推荐你关注思影科技 来自美国加州SRI国际健康科学中心、斯坦福大学等机构的研究人员联合在The American journal of psych...

3149

扫码关注云+社区

领取腾讯云代金券