成为Beatbox大佬：AI助力将声音转化为节奏

编译：chux

出品：ATYUN订阅号

为了帮助崭露头角的音乐家为他们的歌曲创造最佳节奏，来自日本AI创业公司的开发人员开发了一种名为Neural Beatboxer的深度学习系统，可将日常的声音转换为数小时自动编译的节奏。

用户可以访问网站，那里提供一些声音，神经网络自动生成一个可以持续数小时的自定义鼓组。

Qosmo首席执行官Nao Tokui表示，他在日本担任DJ时想出了这个想法。他对当前AI音乐生成的研究方向感到沮丧，并希望他的神经网络能够提供帮助。

Tokui使用NVIDIA的Quadro GPU的GP100，与cuDNN -accelerated Keras深度学习框架，建立了卷积神经网络音频分类模型。

“我使用了在线提供的鼓机声音数据集，并训练了卷积神经网络，根据其频谱图对音频进行分类，”他解释道。“该模型经过训练，可以对以下鼓声进行分类：kick，snare，hi-hat-closed， hi-hat-open，low tom，mid tom，high tom，clap，rim。”

为了节奏的产生，他使用了谷歌Magenta项目提供的预先训练好的鼓类回归神经网络。

Web前端使用TensorFlow.js，magenta.js和p5.js构建。

“最初，我考虑使用相同的技术来制作我在DJ集中播放的音乐混音，”Tokui解释道，“我一直在为AI DJ的项目努力，在那里我和AI DJ一起播放音乐。”

他说，如果AI DJ可以选择和混合音乐，并且以人类无法实时的方式重新混音，那将会很棒。

Tokui表示，“我的目的是制作有趣，怪异的节奏，使用通过麦克风录制的原始声音材料，这个系统可能能够产生令人兴奋的或新颖的节奏，在没有任何AI帮助的情况下没有人想要手动编写。”

网站：codepen.io/naotokui/pen/NBzJMW