声音分离之术,让目标无处可逃

Hey

滥竽充数?

没可能的!

AI拍着胸脯说道。

相信大家在成长过程中一定有过大合唱/合奏的经历。对于声音娓娓动听、乐器技艺精湛的朋友来说这是一次不错的展现才艺的机会,但对于五音不全、一知半解的朋友而言,这简直是一场噩梦。因此我们往往会采用一种“高明”的技巧:对对口形、摆摆手势,争取不做坏掉一锅汤的老鼠屎。

然而,AI告诉我们,这招也行不通了!

Video主菜登场

这下好了,滥竽充数是不太可能了。

但是反过来想想,对于优秀的乐团来说,该项技术也有用武之地,毕竟急管繁弦的演奏途中,想清晰听到自己的音准不准,还是有点困难的。有了这项人工智能技术,排练环节便也多了一枚得力助手。

同样对于学习乐器的人来说,以后足不出户,就可以请到国际知名的大提琴,小提琴,管弦乐手们陪你演奏,共谱一曲华美乐章,真正实现“我在哪里,舞台就在哪里的”的愿望。

该技术对于爱“玩”音乐的人来说也是一项福音,除了对音乐整体进行重新编辑外,还可以对伴奏的不同乐器分别进行混剪,或者直接去掉或添加不同的乐声。也许不久以后,我们就可以听到经典交响乐的remix版本了。

然鹅,值得注意的是,视频中发声的像素点处物体皆在移动中,那么该算法是否只会将移动物体作为发声源,即“移动中=发声中”。如果是这样的话,乐团前方的指挥,或是舞台上的舞者们,是否也会被算法判断为“发声机器”呢?

如果是这样的话,那真的是出场“自带BGM”啊!

YouTube评论精选

Moby Motion:

将吉他声分离出来的例子简直棒呆!我觉得最激动人心的是这个算法是非监督式的,因此我十分希望看到它能有一些实际的应用。如果把它放在多人谈话的视频中训练,它能否学习到每个人说话内容的能力?

The separation of the guitar in that first example is insane! I think the most exciting thing about this is the fact it's unsupervised - I'd love to see this idea applied elsewhere. I wonder if you trained this on videos of people talking, whether it would learn to pick out individual people's voices.

Dariusz Macholl:

好吧,如果视频中有指挥该怎么办?他可能会被人工智能误认为是一个声源,因为他也随着乐队的演奏而摆动着身体,对不?

Okay, now what happens if there is a conductor in the image? He'd propably be mistakenly detected to emit sound, as he moves accordingly to how the band is supposed to play, right?

sierra nevada:

在神经科学中,我们经常遇到一些源定位问题:我们不知道大脑的特定皮层激活来自何处。我想知道这种技术是否能以某种方式适应于学习脑电波/ 脑磁图信号的源定位。在这项技术里,功能性磁共振成像将成为视频源,而脑电波/脑磁图信号将成为音频源。

In neuroscience we often have the source localization problem: We don't know where from the brain a particular scalp activation comes from. I wonder if this technique could somehow adapted to learn source localization of EEG/MEG signals. Instead of a video stream we take an fMRI measurement, instead of audio we take EEG/MEG.

最后,还是邀请朋友们阅读该论文。在阅读的过程中,任何的闪光点也可能成为未来的AI领域的一片希望,敢想就成功一半了!

论文链接:

如果童鞋们有任何关于该研究的观点与看法,也欢迎留下评论喔~

Authur: Károly Zsolnai-Fehér

Twitter: https://twitter.com/karoly_zsolnai

Web: https://cg.tuwien.ac.at/~zsolnai/

关注公众号

前沿,时髦,有趣

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181210A1HEVH00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券