前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >输入文字生成音乐,这个音乐版Stable Diffusion火了,网友:电子音乐界要被冲击了 | 在线可玩

输入文字生成音乐,这个音乐版Stable Diffusion火了,网友:电子音乐界要被冲击了 | 在线可玩

作者头像
量子位
发布2023-02-28 14:49:14
8750
发布2023-02-28 14:49:14
举报
文章被收录于专栏:量子位
鱼羊 发自 凹非寺 量子位 | 公众号 QbitAI

Stable Diffusion被两位普林斯顿校友玩出花儿来了。

这是一张Stable Diffusion生成的图片:

先别着急说“丑”,仔细看,其实这是一份频谱图

还是真的能转换成一段音乐的那种!

并且两位作者还表示:

只是对Stable Diffusion的1.5版本进行了微调。

这个会创作音乐的Stable Diffusion名叫Riffusion(riff+Diffusion),现在打开网页就能玩。

输入提示词,即可获得一段对应的音乐。比如,输入“民谣,女声引入,过渡到青少年流行歌星”。

生成的音乐是酱婶的:

这么一个音乐版Stable Diffusion,上线后立即引来不少网友围观。

连作者自己都赶紧抛出来说:试不上别着急,等我们扩充下GPU。

而有网友已经开始为电子音乐从业者们担心了:

它会像核弹一样冲击电子音乐。

那么问题来了——

Riffusion怎么做到的?

就像开头说到的,作者表示,他们没对Stable Diffusion v1.5做任何修改。

只是用与文本配对的频谱图数据,对模型进行了微调。

这样一来,Riffusion就能根据提示词,生成对应的频谱图了。

这里需要补充的背景知识是,利用短时傅里叶变换(STFT),我们可以从音频中计算出频谱图。而短时傅里叶变换是可逆的,所以根据频谱图,我们也可以重建出一段音频。

不过,作者提到,因为相位具有混沌性,模型学起来比较困难。所以Riffusion生成的频谱图像,其实只有正弦波的振幅,而不包含相位。

实际在重建音频剪辑时,作者们是采用Griffin-Lim算法来近似相位的。

值得一提的是,就像Stable Diffusion能根据文字提示P图,Riffusion也能够依照文本指示,修改音乐的细节。

比如把开头那段萨克斯即兴重复段(也就是riff):

改成钢琴版:

丝滑过渡

看到这里你可能会觉得,Riffusion生成的riff有点短啊。

但其实,Riffusion也有一些时长更长的作品。关键是怎么把不同的音乐片段串联起来。

比如先来一段rap,再自然过渡到爵士乐:

作者们采用的策略,是先选取一个初始频谱图,然后通过改变种子和提示词,去不断修改这张图,使其产生新的变化。

而为了使整段音乐更加和谐统一,作者们还在模型的隐空间内进行了插值。

具体而言,可以对具有两个不同种子的提示的隐空间进行采样,也可以对具有相同种子的两个不同提示的隐空间进行采样。

关于作者

如果你对Riffusion感兴趣,戳进文末链接就可以直接体验起来了~

最后的最后,还得提一嘴,Riffusion其实是个“业余项目”。

它的作者是两位普林斯顿校友。

其中,Seth Forsgren本科在普林斯顿学生物,毕业后搞了不少软件创业项目,今年刚把一个能把手机变成对讲机的项目卖掉。

而Hayk Martiros则是美国无人机独角兽Skydio的技术专家,同样在普林斯顿本科毕业,后来在斯坦福读完了研究生。

在线试玩: https://www.riffusion.com/?&prompt=jack+johnson+vocals

参考链接: https://www.riffusion.com/about

「人工智能」、「智能汽车」微信社群邀你加入!

欢迎关注人工智能、智能汽车的小伙伴们加入我们,与AI从业者交流、切磋,不错过最新行业发展&技术进展。

PS. 加好友请务必备注您的姓名-公司-职位哦 ~

点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-12-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Riffusion怎么做到的?
  • 丝滑过渡
  • 关于作者
相关产品与服务
图数据库 KonisGraph
图数据库 KonisGraph(TencentDB for KonisGraph)是一种云端图数据库服务,基于腾讯在海量图数据上的实践经验,提供一站式海量图数据存储、管理、实时查询、计算、可视化分析能力;KonisGraph 支持属性图模型和 TinkerPop Gremlin 查询语言,能够帮助用户快速完成对图数据的建模、查询和可视化分析。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档