首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Replay+RVC极简操作:四步操作替换声音,分分钟秒实现AI唱歌

引言:

嘿,昨天后台有个小伙伴留言问:GPT-SOVITS能唱歌吗?

我得说,它是个TTS,目前它还在学习如何优雅地发音,唱歌这事儿,它还在练习中。不过,别失望,AI唱歌这事儿,虽然已经不是什么新鲜技术,后续的版本一定会有的。

回到AI唱歌,这就得交代一下RVC和TTS的区别了。RVC也就是歌声转换技术,它能让你的声音穿上别人的“声音外套”,就好像是一个音乐播放器,RVC就像是一个声音化妆师,它可以改变你的声音,仿佛你也能成为Katy Perry或者周杰伦。而TTS,文本转语音技术,是依赖微调模型的理解生成合理的语言,就好像一个朗读者,它通过微调模型深度学习。把文字读出来,就像有个私人朗读者随时为你服务。

虽然AI唱歌的热潮可能已经过了顶峰,但它仍然是很多声音UP的掌中利器。那么接下来我来分享一种最新的极其简单的方法:Replay四步实现AI唱歌

它能帮所有人分分钟实现AI唱歌,让我们继续往下看吧...

Replay如何安装:

资源自动获取,公众号回复Replay

1.运行“Windows_Replay-3.3.0-installer.exe”

2.在地址栏输入“%AppData%\Replay”,将Windows版文件.zip文件解压覆盖到文件夹中

3.运行Replay.exe,点击“Not now”不更新,继续使用。

补充:软件版本和运行文件是相关联的,所以请一定要使用网盘里的安装包,并且不要更新!不要更新!不要更新!!!

Replay如何使用:

1.运行软件,选择不更新。(注意网络不行,用我提供的安装程序)

2.随便选择一首歌曲,甚至你都不需要做任何声音处理。直接拖拽到下面框框里。

3.选择自带的已经下载好的模型,点击“CREATE SONG”等待歌曲生成。

4.点击左边的库,查看生成的音频效果。

下面红框里面是,分离开的各个音轨下载。

此时我们已经完成了AI唱歌部分的操作,已经可以随意地替换各种声音演唱。

补充:

我们还可以用自己训练的模型,只需将自己的模型拖拽到此处,或者点击添加。

多模型混合:

下面的高级选项:

后台可能又会有人问,Replay里面下载的模型不是很喜欢,怎么换成自己想要的模型。比如原神的角色,电视剧角色,或者本人自己。

那么继续往下看...

训练自己的RVC模型:

训练自己的SCV模型就要用到Retrieval-based-Voice-Conversion-WebUI这个开源项目啦。

这个项目是一个基于VITS(Vocoder-based Interpolation of Time-domain Speech)的简单易用的语音转换(变声器)框架。它的核心算法是通过使用top1检索来替换输入源特征为训练集特征,以此来避免音色泄漏,确保声音转换的自然性和真实性。

这个项目的特点包括:

易用性:提供了一个简单易用的网页界面,用户可以通过这个界面进行实时变声操作。

快速训练:即使在相对较差的显卡上也能快速训练模型。

少量数据训练:推荐至少收集10分钟的低底噪语音数据,就能训练出效果不错的变声模型。

音色调整:可以通过模型融合来改变音色,提供了ckpt-merge功能。

硬件加速:支持A卡和I卡加速,以及AMD的Rocm技术(仅限Linux系统)。

项目还提供了一些额外的功能,比如调用UVR5模型来快速分离人声和伴奏,以及使用最新的人声 音色 提取算法RMVPE来解决哑音问题。

项目地址:

https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI?tab=readme-ov-file

RVC如何安装:

“go-web.bat”是我们需要的训练器

“go-realtime-gui.bat”是变声器

(变声器加载训练的模型,就可以使用。)

RVC如何训练:

处理后的音频会自动生成在整合包opt路径下,只留人声就行。

2.来到“训练”页签,填写名称路径,配置参数。

根据机器配置适当降低“batch_size”点击“一键训练”,静等完成。

3.完成后将log下的added_xxx.index和assets\exp_name.pth放到一个文件夹中。

4.接下来我们正常在Replay添加模型,AI演唱歌曲就好啦。

总结:

Replay软件以其直观的操作界面和强大的功能,让AI唱歌变得简单而有趣。用户可以轻松地将任何歌曲导入软件,选择预设的模型,就能立即享受到AI翻唱的乐趣。这种即时的体验不仅让音乐爱好者能够快速创作出个性化的歌曲,也为那些想要探索声音变换可能性的用户提供了一个便捷的入口。

而Retrieval-based-Voice-Conversion-WebUI项目则为那些希望深入探索声音变换技术的人提供了一个平台。通过这个项目,用户可以训练自己的RVC模型,无论是模仿偶像的声音,还是创造全新的声音风格,都能在这个项目的帮助下成为可能。它的易用性、快速训练能力和对少量数据的适应性,使得即使是技术新手也能参与到声音模型的训练中来。

这两个工具的结合,不仅展示了AI在声音处理领域的强大潜力,也为未来的音乐创作和声音艺术开辟了新的道路。随着技术的不断发展,AI唱歌和变声技术将会更加简单成熟,为我们的生活带来更多的惊喜和乐趣。

完over。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OvVZQkH_8vy6kZenIqVal6KQ0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券