音乐旋律提取算法 附可执行demo

前面提及过,音频指纹算法的思路。

也梳理开源了两个比较经典的算法。

https://github.com/cpuimage/shazam

https://github.com/cpuimage/AudioFingerprinter

后来一段时间,稍微看了下这两个算法,还有不少可以精简优化的空间。

例如抗噪,特征有效性等优化思路。

音频指纹切片后的hash特征信息还是太多了,

不过作为哼唱搜歌的基本应用,是足够的了。

不过我觉得还是可以再进一步提取歌曲的旋律特征的,在音频指纹的基础上更进一步。

  旋律是最重要的音乐要素之一,多应用于音乐内容分析、音乐创作、音乐教育、抄袭检测等方面。

主旋律提取旨在从一段音乐中自动估计对应于主旋律单音音符序列的音高或基频。

流行音乐一般属于复杂的多音音乐,因此主旋律提取面临着许多挑战。

  在这里要特别说一下,音频处理领域碰到的问题都是相似的。首当其冲主要是噪声,其次是音量和语速。

特别是在一些场景下的asr识别,例如实时对话,同声传译之类环境下,语速和音量的干扰影响很多时候多过于噪声。

而很多提供asr服务的厂商对这类情况支持不佳,而据我所知,讯飞的asr中是有内置前处理算法的。

好像有点偏题了,回到主题上来。

也就是说不管做音频还是音乐 上面提到的问题都会造成一定精度影响。

音频前处理算法是非常重要的,一直在做这方面的研究工作,前面着重于降噪和增益方向,下一步应该会着重在语速方面的研究。 

而刚才提到的旋律,也可以认为是语速的一个点。

旋律,节奏,节拍,精确准确度从另一个侧面就可以评估语速,以及风格内容。

所以提取旋律节奏是一个非常值得研究的课题。

也许大家最熟悉的应用场景应该是 游戏节奏类app或者唱K的旋律评分系统。

关于旋律提取这方面的资料比较有限。

在这方向上面,一开始我也是有点蒙圈。

直到我看到一个思路,我突然间豁然开朗。

那就是将歌曲音频 转换为midi电子音乐。

众所周知,midi电子音乐体积非常非常小,在游戏领域应用非常广,几乎是标配。

例如超级玛丽的背景音乐,经典中的经典。

那么是不是可以实现一种算法,将音频转为midi,作为此段音频的指纹呢?

理论上,完全可行,而且刚才提到的唱K的评分系统就是类似的实现。

参照下图:

上面是一段音乐,下面是其对于的midi。

把这个图放大给大家感受一下。

是不是有似曾相识的感觉。

KTV 的节奏条。

所以毫无疑问,KTV的评分系统极其有可能就是采用了MIDI作为声纹进行相似度匹配,

最后给出评分。

当然关于旋律提取有很多不同的实现,不过,大多数算法都有3个共同的目的,

分别是算法的速度性能(复杂度),最终效果,抗噪抗干扰。

针对这三个方面,各有各的技巧。

如果能兼顾三者,无疑是最佳的。

而关于wav转midi的资料,真的是极其稀少。

大概有:

1. https://github.com/mrk21/wav2midi

https://mrk21.kibe.la/shared/entries/3931bfea-0f31-4aa1-9e72-b7cd6f010697

2.https://github.com/justinsalamon/audio_to_midi_melodia

http://www.justinsalamon.com/melody-extraction.html

仔细学习查阅之后,你会跟我一开始一样,一脸懵逼。

首先,第三方依赖特别多,也就意味着,这个算法并不简单。

就效果对比而言,audio_to_midi_melodia 更佳,当然深度学习大火之后

也有人在尝试通过深度学习的方式,建立wav 到 midi的映射。以寻求新的突破。

当然还在试验阶段,暂时还没看到有特别优秀的模型放出。

不过可以拭目以待。

而这个算法有多复杂,看下算法的流程图:

说难也不难,说简单也不简单。

大部分环节是为了解决语速,音量,噪音所造成的误差问题,使得算法更佳稳定,更鲁棒。

根据这个思路,自行实现算法并不困难。

改进算法思路的首要前提,理解算法的核心思想,

所以至少你要把整个算法思路实现一遍,加深理解,不管能否理解到精髓。

然后站在巨人的肩膀上,继续改进。

这个算法花了我一段时间去实现,原本预计几个星期可以搞定,

但是后来因为其他原因搁置了。

趁国庆假期,捡起来,把一些工作继续推进,复现了该算法。

这个过程挺漫长的,有不少环节还可以进一步改进优化。

不过这是后面的工作了。

算法暂没有开源计划,放出demo 供大家评测。

这个方向的算法,

有一个专用名词叫做mir, 全称 为 music/audio information retrieval/signal processing 。

有兴趣的朋友,可以查阅一下相关资料。

基本上都是dsp(数字信号处理)。

学习dsp必须把傅里叶变换好好理解一下。

为了理解傅里叶变换的算法思路,我把市面上能找到的实现,都过了一遍。

用纯c 进行学习复现,也足足花了我1个多月的业余时间,

就差喷一口老血出来。

可执行demo下载地址:

https://files.cnblogs.com/files/cpuimage/wav2midi.zip

使用方法:拖放wav文件到可执行文件上即可。

或者采用命令行 wav2midi.exe demo.wav

执行后生成 demo.mid 文件。

目前仅支持wav的1通道和2通道格式,其他的格式暂没做支持。

在学习音频算法的时候,经常会联系到图像方面的算法,进行类比,举一反三。

都有共通的地方,就看你怎么应用了,温故而知新。

用以前说过的一句话来总结就是,

任何算法都有缺点,但是一定要用它最优秀的思路。

就好比说,用人只要用其长处,天下皆是可用之才。

若有其他相关问题或者需求也可以邮件联系俺探讨。

邮箱地址是:  gaozhihan@vip.qq.com

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

数据也会说谎:常见的数据造假三种形态!

214100
来自专栏新智元

【史上最强机械手】无需提前了解物体,100%识别,适用多种非结构化场景

新智元编译 来源:MIT 编译:克雷格 【新智元导读】最近,由MIT和普林斯顿大学研究人员开发一款名为“拾放(pick-and-place)”的系统。“...

396110
来自专栏目标检测和深度学习

EasyPR--中文车牌识别系统 开发详解(开源)

61410
来自专栏目标检测和深度学习

EasyPR--中文车牌识别系统 开发详解(开源)

一个开源的中文车牌识别系统, Git地址为:https://github.com/liuruoze/EasyPR。   我给它取的名字为EasyPR,也就是Ea...

97180
来自专栏人工智能头条

【微信分享】李滔:搜狐基于Spark的新闻和广告推荐实战

21820
来自专栏CDA数据分析师

【零一】从0开始,教你如何做数据分析#中阶#第九篇

大家好,我是零一。这一篇给大家介绍探索关系。 我的公众微信号是start_data,欢迎大家关注。 探索关系是非常好玩的一件事情。先给大家讲个故事。据说很久很久...

22880
来自专栏计算机视觉战队

2018年最全的推荐系统干货(ECCV、CVPR、AAAI、ICML)

最近总有几位关注者希望我们可以分享一些“推荐系统”类的干货,最近正好一不小心看到一篇比较好的博主写的推送,在此我通过自己理解和该博主的内容,为大家带来一次推荐系...

59750
来自专栏AI科技评论

动态 | 从零开始快速入门深度强化学习,OpenAI 发布学习资源 Spinning Up

AI 科技评论编者按:日前,OpenAI 发布了深度强化学习教育资源 Spinning Up,内容包括易懂的深度强化学习代码示例、习题、文档和教程。据 Open...

8820
来自专栏量子位

用自然语言指导强化学习agent打游戏,这是斯坦福的最新研究

问耕 编译整理 量子位 报道 | 公众号 QbitAI ? 斯坦福大学计算机科学系的三位学者,在近日发表的论文中,介绍了一个打Atari游戏的深度强化学习age...

39250
来自专栏新智元

【魔性】DeepMind教AI玩跑酷,强化学习创造新动作(动图)

【新智元导读】 强化学习(RL)是通过激励系统来教导行为的方法。这是机器学习的一种重要方法,在智能控制机器人和分析预测等领域有许多应用。DeepMind 已经使...

35550

扫码关注云+社区

领取腾讯云代金券