谷歌跨界音乐圈：AI用上千乐器数据创造出人类没听过的声音，来听听看！

大数据文摘作品，转载要求见文末

作者 | CADE METZ

编译 | 姜范波，Aileen

导读：谷歌最新项目NSynth用人工智能根据上千种乐器声音发明人类从未听过的新声音，给音乐家提供了海量的新声音数据库。

他们希望研究人员可以为任何艺术家，而不仅仅是音乐家，创造更多的工具。Nsynth也会在几天后的Moogfest音乐节上发表他们的技术。如果你同时热爱科技又是音乐发烧友，这个音乐节不容错过！

本文也放入了三段“你从没听过的声音”，好奇的读者可以下拉至文末，先一听为快AI的创作，狂欢起来！

用AI从已有的乐器中创造无数新乐器

Google Magenta是谷歌这个互联网巨头里的一个以艺术创作为目标的小型AI研究团队。

杰西·恩格尔（JESSE ENGEL）正在演奏一种乐器，它发出的声音介于古钢琴和电子琴之间——交织着18世纪的经典和20世纪的节奏和蓝调。然后他拖动笔记本电脑屏幕上的一个标记。突然间，乐器的声音变成了古钢琴和电子琴的另外一种组合。之前是15％的古钢琴，现在接近75％。然后，他尽可能快地拖曳标记，扫过这两种截然不同的乐器之间的所有声音。

恩格尔的同事辛仲•热斯尼克在房间的另一边说：“这也不像同时演奏两种乐器”。如此值得一提，是因为该机器及其软件并没有把电子琴的声音“放”在古钢琴的声音上面，而是通过两者中出现音调的数学特征制造出一个全新的声音。他们可以在约一千种不同的乐器中实现这一点——从小提琴到木琴。由于人工智能，从这些已有的乐器中，可以创造出无数新的乐器。

恩格尔和热斯尼克来自Google Magenta，它是谷歌这个互联网巨头里的一个以艺术创作为目标的小型AI研究团队。Magenta两个目标。 首先，这是一个研究项目，用于推进机器智能产生音乐和艺术的最新技术。机器学习已被广泛用于理解内容，如语音识别或翻译。而Magenta试图探索另外一个方面，即学习如何生成艺术和音乐的算法，从而潜在地创造引人入胜的艺术内容。第二，Magenta试图建立艺术家，计算机编码者和机器学习研究者的社区。Magenta核心团队将围绕TensorFlow构建开源基础设施，用于制作艺术和音乐。 从支持音频和视频开始，使用像MIDI这样的格式的工具，以及帮助艺术家连接到机器学习模型的平台。 例如，通过Magenta的性能模型使播放音乐变得超级简单。

这是他们最新的项目，称为NSynth，意为Neural Synthesizer神经合成器。该团队将在本周晚些时候在北卡达勒姆举行的年度音乐节Moogfest上公开展示该技术。

Moogfest每年由无数的艺术家，未来主义思想家，发明家，企业家，设计师，工程师，科学家和音乐家在一起共同组织以探索新兴的音响技术，非常的酷！如果你同时热爱科技又是音乐发烧友，这个音乐节不容错过！

NSynth的初衷是为音乐家们提供全新的制作音乐的工具，详情可见于谷歌在上个月博客上首次的讨论（https://magenta.tensorflow.org/nsynth）。评论家马克•魏登鲍姆指出，这种方法与管弦乐队指挥家长期以来的做法并无二致——“乐器的融合并不是什么新鲜事物”，但他也认为，谷歌的技术可以推动这种古老的做法进入新的境界，他说：“在艺术上，它可能会产生一些很酷的东西，因为它是谷歌，人们会跟随他们”。

声音的边界

Magenta是谷歌大脑的一部分，而谷歌大脑是该公司的中心AI实验室，其中一小部分研究人员正在探索神经网络和其他形式的机器学习的极限。神经网络是复杂的数学系统，可以通过分析大量数据来学习，而且近年来，它们被证明是一种非常有效的方式，可以识别照片中的物体和人脸，识别对智能手机所口述的指令，以及语言翻译等。现在，Magenta团队要另辟蹊径，使用神经网络来教机器们创作出新的音乐和其他艺术作品。

NSynth从一个很大的声音数据库开始。恩格斯和团队收集了大约一千种不同的乐器的音符，然后将它们送入神经网络。通过分析音符，运行计算机芯片网络的神经网络 ——几层微积分——学习了每种乐器的可听见的特征。然后它为每一个音符创建了一个数学“向量”。使用这些向量，机器可以模仿每种乐器的声音——无论是电子琴还是古钢琴，也可以对两者的声音进行组合。

除了恩格尔最近在谷歌总部展示的NSynth“滑块”，Magenta还搭建了一个二维界面，你可以一次探索四种不同乐器之间的声音空间。而团队意图进一步深入探索艺术创作的界限。例如，另一个神经网络可以学习模拟和组合所有这些乐器的声音的新方法。 AI可以串联起来工作。

该团队还为AI研究人员和其他计算机科学家创建了一个新的游乐场。他们发布了一篇描述NSynth算法的研究论文，任何人都可以下载和使用他们的声音数据库。对于负责Magenta团队的道格拉斯·埃克（Douglas Eck）而言，希望研究人员可以为任何艺术家，而不仅仅是音乐家，创造更多的工具。但也不要太多，没有约束的艺术不再是艺术，诀窍在于找到当前和无限之间的平衡。