进军音乐界,谷歌利用神经网络创造人类从未听过的声音

【新智元导读】谷歌大脑和 DeepMind 合作发布一个名为 NSynth (Neural Synthesizer)的神经声音合成器,数据库全公开,将为音乐人,乃至其他艺术家提供全新的艺术创作工具。

Jesse Engel 在演奏一种介于古钢琴和哈蒙德风琴之间的乐器,这是18世纪古典与20世纪节奏布鲁斯交叉的风格。然后,他在 laptop 上慢慢拖动一个滑块,突然间,音乐变成了其他的风格。之前,比如说,它是15%的古钢琴,现在,接近了75%古钢琴风格。然后,他以最快速度来回拖动滑块,注意着这两种非常不同的乐器之间的所有声音。

Engel 的同事 Cinjon Resnick 从房间另一头远远地说:“这可跟同时演奏两种乐器不是一回事。”而且这句话是需要说明的。这个机器,以及它的软件,并不是将古钢琴的乐声覆盖在哈蒙德风琴的声音之上。软件通过使用两种乐器音符的数字特征,产生了全新的声音。而且不只是古钢琴和哈蒙德风琴,它们可以处理大约1000种不同的乐器——从小提琴到巴拉风——利用人工智能,从已有的声音中创造出无数新的声音。

Engel 和 Resnick 都是 Google Magenta 团队的成员,这是 Google 内部的一个小的 AI 研究团队,专注于开发能够自己创造艺术的计算机系统——然后这是他们的一个最新项目。这个项目被称为 NSynth,该团队将在本周晚些时候参加在北卡罗来纳州达勒姆市举行的 Moogfest,公开展示这一技术。

Google 上月发布的博客文章首次讨论了 NSynth,想法是,NSynth 将为音乐人提供全新的音乐制作工具。但评论家 Marc Weidenbaum 指出,这种方法与乐队指挥所做的并无太大不同——“将乐器混合并不是什么新鲜事物”,但他也认为,Google 的技术可以推动这种悠久的方法进入新的领域,他说:“在艺术上,它可能会产生一些很酷的东西,而且因为是 Google 做的 ,人们总愿意跟随 Google 的潮流。”

声音的边界

Magenta 是 Google Brain 的一部分,Google Brain 是谷歌的主要 AI 实验室,其中一部分研究人员在探索神经网络和其他形式的机器学习的界限。神经网络是复杂的数学系统,通过分析大量数据来学习任务,而且近年来,神经网络被证明是实现许多任务的一种非常有效的方式,包括识别图像中的物体和人脸,识别给智能手机的语音命令,以及把一种语言翻译为另一种语言,等等。现在,Magenta 的想法是使用神经网络作为教机器制作新的音乐和其他艺术形式的一种方式。

NSynth 从一个大型的声音数据库开始。Engel 和团队从大约1000种不同的乐器收集了各种各样的音符,然后将它们喂入神经网络。通过分析音符,神经网络学习每种乐器的音色。然后,神经网络为每个音符创建一个数学“矢量”。利用这些矢量,机器可以模拟每个乐器的声音,例如哈蒙德风琴或古钢琴,也可以将两者的声音组合。

Engel 最近在 Google 总部展示了 NSynth “滑块”,除此之外,该团队还做了一个二维界面,可以一次探索四种不同乐器的声音空间。团队想把这个想法更推进一步,探索艺术创作的边界。例如,第二个神经网络可以学习模拟和组合来自所有这些乐器的声音的新方法,AI 可以与 AI 协力工作。

该团队还为 AI 研究者和其他计算机科学家创造了一个新的游戏场。他们发布了一篇描述 NSynth 算法的研究论文,任何人都可以下载和使用他们的声音数据库。对 Magenta 团队负责人 Douglas Eck 来说,前景在于研究人员可以为任何艺术家(而不仅是音乐家)创造更广泛的工具。但范围也不要太宽。没有界限的艺术将不再是艺术,关键在于找到当前和无限之间的平衡。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-05-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

英伟达:比起股价,我们更关注计算的未来

今年的 GTC 系列大会已是第十届,也是连续第三次进入国内,和每次一样,英伟达首席执行官黄仁勋参加了本次大会,并在首日上午进行了主 Keynote 演讲。

911
来自专栏计算机视觉战队

人证核验系统解决方案

方案概述 随着各地平安城市建设的积极深入和依法治国战略方针的全面推进,中共中央办公厅、国务院办公厅于2015年印发了《关于加强社会治安防控体系建设的意见》。意...

7217
来自专栏BestSDK

itSeez3D 推出 Avatar SDK:让自拍创建出 3D 虚拟形象

Avatar SDK 是一项基于智能手机的高级 3D 扫描技术,由美国公司 itSeez3D 研发,可以将用户的单张自拍照转换成逼真的 3D 形象。网页版 Av...

4626
来自专栏程序你好

机器学习等新技术正在重塑工厂的工作方式

在过去的三十年里,工厂经历了翻天覆地的变化。80年代和90年代,工业自动化和机器人走在了前列。在过去的十年里,多种改变游戏规则的技术正在重塑工厂。机器学习、物联...

1413
来自专栏悦思悦读

美国大学数据科学(Data Science)教育实践

本文作者:李琦,现任北肯塔基大学(North Kentucky University)计算机系(Computer Science)数据科学(Data Scien...

8211
来自专栏量子位

萌新误入AI歧途怎么办?MIT博士小哥哥给你指条明路

做研究,特别是在AI领域做研究,时常挑战人类的智力极限和心理极限。来自MIT的汤姆,入坑已有两年,并在坑里向广大准同行们发来了倾心打造的攻略,帮助大家在漫漫夜路...

1183
来自专栏AI科技评论

业界 | 福布斯评出最热门的 10 大 AI 技术,以及面临的问题

AI科技评论按:Narrative Science 调查显示,去年已有 38% 的企业开始使用人工智能,而到 2018 年将增长至 62%。Forrester ...

3204
来自专栏大数据文摘

TED演讲 | 数据滥用时代,3招教你辨别身边不靠谱数据

2354
来自专栏量子位

英伟达的“千人摩擦计划”:几千个智能体互相玩耍,学习跑酷更轻松

天大地大,虚拟机器人做个空翻、回旋踢之类,都不是稀有的技能,只是需要艰苦训练罢了。

1072
来自专栏AI科技评论

Facebook和Google们现在努力的AI方向,会不会错了?

深度学习的坎坷之路 2012年11月23日,应该是一个让时任谷歌人工智能实验室专家的Geoff Hinton倍感欣慰的日子,在这一天,纽约时报发布了名为《Sci...

3836

扫码关注云+社区

领取腾讯云代金券