成为Beatbox大佬:AI助力将声音转化为节奏

编译:chux

出品:ATYUN订阅号

为了帮助崭露头角的音乐家为他们的歌曲创造最佳节奏,来自日本AI创业公司的开发人员开发了一种名为Neural Beatboxer的深度学习系统,可将日常的声音转换为数小时自动编译的节奏。

用户可以访问网站,那里提供一些声音,神经网络自动生成一个可以持续数小时的自定义鼓组。

Qosmo首席执行官Nao Tokui表示,他在日本担任DJ时想出了这个想法。他对当前AI音乐生成的研究方向感到沮丧,并希望他的神经网络能够提供帮助。

Tokui使用NVIDIA的Quadro GPU的GP100,与cuDNN -accelerated Keras深度学习框架,建立了卷积神经网络音频分类模型。

“我使用了在线提供的鼓机声音数据集,并训练了卷积神经网络,根据其频谱图对音频进行分类,”他解释道。“该模型经过训练,可以对以下鼓声进行分类:kick,snare,hi-hat-closed, hi-hat-open,low tom,mid tom,high tom,clap,rim。”

为了节奏的产生,他使用了谷歌Magenta项目提供的预先训练好的鼓类回归神经网络。

Web前端使用TensorFlow.js,magenta.js和p5.js构建。

“最初,我考虑使用相同的技术来制作我在DJ集中播放的音乐混音,”Tokui解释道,“我一直在为AI DJ的项目努力,在那里我和AI DJ一起播放音乐。”

他说,如果AI DJ可以选择和混合音乐,并且以人类无法实时的方式重新混音,那将会很棒。

Tokui表示,“我的目的是制作有趣,怪异的节奏,使用通过麦克风录制的原始声音材料,这个系统可能能够产生令人兴奋的或新颖的节奏,在没有任何AI帮助的情况下没有人想要手动编写。”

网站:codepen.io/naotokui/pen/NBzJMW

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180813B1BMFR00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券