大数据文摘出品
编译:邢畅、小七
不管是Siri还是小E,不管是天猫精灵还是小度,AI语音助手的功能越来越强大,但说到底它们都还只是一个“没有感情的杀手”罢了。
所以AI和音乐两件事文摘菌压根儿没觉得会有任何中间地段,半信半疑的文摘菌还专门听了他们的音乐创作,表示真香!在此,先蹦为敬!
今年夏天的Google I/O(谷歌开发者大会)上,有德雷克(Drake)这样的说唱歌手,也有喷火战机乐队(Foo Fighters)这样的摇滚乐队过来商演,但YACHT的出现让大家意识到他们的目的不只是商演那么单纯。
毕竟,他们从出道开始就一直保持着技术流的表演模式。
在题为“音乐与机器学习”的演讲中,YACHT主唱Claire Evans向粉丝们公布了一个很酷的消息:在过去的三年里,YACHT一直在写一张名为Chain Tripping的新专辑,这张专辑于8月30日发行,整个过程花了一分钟,因为乐队想用Evans所说的“机器学习生成的作曲过程”来完成。
“我知道这不是技术上的解释,但这让我们能够找到隐藏在我们专辑歌曲间的旋律,”她在I/O演讲中说道。“当我们去年5月录制这张专辑时,这个模型面向用户的一面是一个Colab Notebook,而不是音乐家通常带进录音室的东西。”
现在已经是时候了!
这只名叫YACHT的舞蹈朋克乐队自本世纪初亮相之后,凭借两张专辑的器乐版名声大噪,并在 “免费音乐档案馆”(Free Music Archive)进行了共享。
斯诺登事件后,他们创作了一首名为《Party at the NSA》的歌曲,并将收入捐给了EFF(电子前沿基金会,一个国际知名的法律援助公益组织)。最初他们的专辑只能通过传真访问,通过一个YACHT开发的Web app发送给距离粉丝最近的传真店。
其实,YACHT一直对AI及其在音乐领域的潜在应用有着浓厚的兴趣。YACHT告诉Ars,大约在2016年左右,用AI制作一张完整专辑的想法才显得可行。尽管研究机构长期以来一直在进行AI和机器学习的实验,并使得计算机能够自动生成音乐,但研究结果更像是科学项目,而不是适合DFA唱片公司的专辑(Hot Chip或LCD Soundsystem等所在的公司)。现在,AI换脸App已经取得了较大进展,加上Snapchat及其动态滤镜脱颖而出,乐队感觉现在是时候了。
“我们可能是一个非常科技化的乐队,但我们都不是程序员,”Evans告诉Ars,“我们倾向于从外部观察事物,并试图弄明白如何使用工具来达到我们奇怪的目的。AI似乎是一件几乎不可能的事,它比我们处理过的任何东西都要先进得多。我们不仅想使用AI从技术上实现制作音乐的目标,还想使用这种技术来制作YACHT音乐,制作我们认同的、来自我们乐队的音乐。”
把Colab Notebook带进摇滚工作室
有使用AI制作音乐的想法是一回事,实际去做又完全是另一回事。乐队从所有可用的东西开始,创始人Jona Bechtolt说:“我们把所有开源的东西都搞砸了,有些工具只能私下使用——我们给每一个使用AI和具有创造力的个人、实体和公司都发了电子邮件。”
但是没有一个现有的解决方案能像YACHT所希望的那样,同时兼顾质量和易用性。因此,他们决定把现有的系统拼凑一下,建立自己的系统,以便利用好YACHT的所有歌曲。
Bechtolt表示,“我们知道我们必须把所有东西都建立在某种数据集的基础上,所以在早期,我们想,‘如果使用我们之前的专辑里的歌曲作为训练数据会怎么样呢?’ 我们天真地认为它会像Shazam一样,我们可以把原始音频直接扔给算法,然后就会自动产生结果。但这是不可能的……”
“或者,至少不在我们的计算能力范围内。”Evans插话道。
Bechtolt继续说道:“所以我们必须以MIDI格式来保存我们的所有歌曲,这是一个艰难的过程。我们有82首歌曲,这仍然不足以训练一个完整的模型,但是为我们提供一些素材也够了。”
有了MIDI的数据,Bechtolt和他的长期合作伙伴Rob Kieswetter(贝斯手和键盘手)从识别小片段开始——一段特定的吉他即兴演奏,一个声乐旋律,一个鼓模式,从2小节到16小节——可以循环、组合,最终通过乐队简化的AI和ML模型来运行。
乐队严重依赖Web浏览器中的Colab Notebook,具体来说,是来自谷歌Magenta团队的MusicVAE模型——手工输入数据,然后等待这个工作流的输出片段。当然,AI/ ML生成的片段只不过是具有更多MIDI信息的数据。Evans在I/O大会上说,乐队在不同的节拍下,在Colab Notebook上运行了几对这样的循环,“数十次,甚至数百次,以生成大量旋律信息”作为新歌的素材,然后就是人类登场的时候了。
Bechtolt表示:“仍然不能只通过按一个按钮就创作出一首歌;这根本不是一种轻松或有趣的工作流程,所以三天后,我们说,‘好吧,我想我们有足够的东西了’。在那个时候,我们在2小节和16小节之间已经有了几千个剪辑,我们不得不在某个时候结束。”
Evans补充说:“我们并不是把一些东西塞进模型里,点击打印就能得到歌曲。我们必须参与其中。在制作音乐的过程中,每一步都必须有人参与。整体框架、歌词、歌词和框架之间的关系——所有这些都超出了技术的能力范围,都需要人来参与,但这其实是好事。”
相关报道:
https://www.wired.com/story/how-yacht-used-machine-learning-to-create-their-new-album/