音乐演奏家恐将失业,Facebook首次提出音乐风格翻译

来自Facebook人工智能研究(FAIR)的研究人员开发了一种可以翻译音乐的AI系统,该系统可以接受各种乐器的音频输入——不管是大规模的多乐器交响乐还是简单的哨音,并输出其他风格的音乐。比如在视频1分45秒处有段单人用口哨哼出一段旋律,然后机器自动将这段简单的旋律转换成交响乐演奏形式。这是人工智能第一次通过自动地在不同的乐器之间转换,以及不同的音乐风格和音乐类型来创造高保真音乐。这是研究人工智能的一个重要步骤,但这仅仅需要很少量的训练——该团队的自动编码器可以在不经过准备或监督的情况下转换不熟悉的音乐。这项工作也指出了人工智能助力音乐创作的可能性,你只需要哼出旋律就可以自动生成整首歌的乐器伴奏。

https://arxiv.org/abs/1805.07848

背景



FAIR的通用音乐翻译系统是人工智能社区对无监督翻译的更大探索的一部分。典型的翻译系统通过样本来学习d额,人工智能通过匹配图像或文本对进行训练,从而建立一种使得给定数据段与另一段数据相似的感觉。研究人员称这种方式为“监督式学习”,尽管它是训练人工智能的最常见方式,但它也耗费时间和人力,并且可能导致无法适应当下的系统。

解策略混淆网络



FAIR的方法仍然需要训练过程来创造不同类型的音乐输出——例如贝多芬风格的钢琴或者cantanta的合唱声。但是为了让系统在无监督监管的情况下转换音乐——甚至可以说是即兴的,团队故意扭曲了音乐的输入,用了一个叫做域混淆网络(domain confusion network)的东西。这可以防止AI只编码特定域(domain-specific)的旋律信息。换句话说,该系统被迫忽略了录制歌曲的风格,流派和乐器的独特方面,并根据音乐的核心共性结构创建了“翻译”。

耳听为实



来自FAIR的一篇新论文“A Universal Music Translation Network”详细介绍了该系统的单编码器,基于WaveNet的架构,其中包括扭曲音乐输入的新颖方法——将其略微调走调,以及使用八个Tesla V100 GPU在六个不同的音乐类型进行为期六天的训练。这篇论文还包括了提出了新的评价打分方法----系统在把一种乐器转换成另一种乐器时表现得是好还是差。这一点非常重要,因为许多人都无法分辨出哪个文件是原始输入或AI生成的输出。但这项研究带来最大的震撼来自于你自己亲自听到翻以前和翻译后的音频对比,你会感叹AI的强大力量。在演示中有些风格的转换比较粗糙,所以系统提供了一些实际的调整。

视频内容

下一步计划



Facebook还没有推出基于这项工作的特定产品或功能的计划,但FAIR的研究表明是AI在推动人类创造力方面的巨大潜力。 通过用你哼唱的声音就可以谱写整个交响曲,把简单的吉他或MIDI曲调转变成分层的声音,这种方法可以使歌曲创作大众化,使音乐制作更加容易获得。

By: Noam Mor, Lior Wolf, Adam Polyak, Yaniv Taigman

编译 | 专知

参与 | Mandy, Sanglei

原文链接:

https://research.fb.com/facebook-researchers-use-ai-to-turn-whistles-into-orchestral-music-and-power-other-musical-translations/

-END-

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2018-05-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CVer

从零基础到BAT算法岗SP——秋招准备攻略

今天故事的主人公是Amusi的一位朋友:二喵。二喵大佬曾分享了一篇诚意满满的秋招心得体会篇,详情请戳:从零基础到BAT算法岗SP——我的秋招之路。

2662
来自专栏新智元

邓侃解读谷歌首篇电子病历论文:完整披露谷歌医疗大脑野心

作者:邓侃 【新智元导读】上周,谷歌公布了首篇电子病历相关论文,由Jeff Dean率队联合众多大牛和顶级医学院完成。然而,不少业内人士,包括康奈尔大学副教授王...

3457
来自专栏新智元

【独家】朱凯华:智能搜索和对话式OS最新技术全面解读(65PPT)

【新智元导读】百度度秘事业部首席技术官朱凯华日前在上海计算机学会做了题为《AI赋能的搜索和对话交互》的报告,主要介绍了现在的百度搜索及度秘“DuerOS”系统。...

6206
来自专栏AI科技评论

【深度】Nature:我们能打开人工智能的“黑箱”吗?

编者按:人工智能无处不在。但是在科学家信任人工智能之前,他们首先应该了解这些人工智能机器是如何运作的,这也就是文中所提到的“黑箱”问题。在控制论中,通常把所不知...

3206
来自专栏AI科技评论

干货 | 2018 机器阅读理解技术竞赛冠军 Naturali 分享问答系统新思路

AI 科技评论按:7 月 28 日,由中国中文信息学会和中国计算机学会联合举办的第三届语言与智能高峰论坛于北京语言大学举办,Naturali 奇点机智团队作为 ...

1053
来自专栏新智元

MIT非视线成像“透视相机”:隔墙观物、影中窥人!

2012年,MIT计算机视觉科学家安东尼奥·托拉尔巴(Antonio Torralba)在西班牙海岸度假时,发现他酒店房间墙壁上的杂散阴影似乎不是由任何东西投射...

1505
来自专栏AI研习社

有没有必要把机器学习算法自己实现一遍?

哈哈哈哈,我觉得很多人都有这个疑问吧。机器学习好高大上,多么牛逼的东西,光是看公式就已经眼花缭乱了,总觉得自己该全部去实现一遍,有的时候太懒,有的时候觉得能力不...

3965
来自专栏人工智能头条

【无人驾驶技术系列】光学雷达(LiDAR)在无人驾驶技术中的应用

3115
来自专栏人工智能头条

诺亚神经响应机NRM模型:深度学习改变自然语言对话

1915
来自专栏专知

【干货】追本溯源:5种受生物启发的人工智能方法

【导读】1月15日,机器学习研究人员Luke James(简介见文末)发布一篇博文,介绍了5种受到生物启发的人工智能方法,包括人工神经网络(人脑神经元)、遗传算...

3817

扫码关注云+社区

领取腾讯云代金券