前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >一款功能较全的 AI 虚拟主播吟美,由B站up主开源。

一款功能较全的 AI 虚拟主播吟美,由B站up主开源。

作者头像
Python兴趣圈
发布2024-07-08 18:16:21
1060
发布2024-07-08 18:16:21
举报
文章被收录于专栏:翩翩白衣少年

AI虚拟主播可以与B站直播对接,你知道吗?

如今,国内外AI虚拟主播产品其实远不如其他音视频领域发展迅速,而大多数科技公司开发AI虚拟人所应用的场景也较传统。

最近,在B站刷到一个up主的视频,讲解了一款自主研发开源的AI虚拟人工具,功能较全面,虽然是整合了相关开源技术,但是可以一试,就是安装部署有些麻烦!

它叫AI-YinMei,中文名吟美,可以根据你的指令完成各种任务。

作为一个多功能的AI系统,它不仅能与你进行自然语言的对话,还能在Bilibili直播中与观众互动,合成语音,切换不同的虚拟角色,甚至还可以生成艺术作品。

那么它有哪些特色功能呢?

  • 自然语言处理:基于ChatGLM模型的对话能力。
  • 直播互动:集成Bilibili直播聊天功能。
  • 文本转语音:实现合成自然的语音输出。
  • 多角色切换:支持多个虚拟角色的切换。
  • AI训练:使用LLaMA-Factory进行模型训练。
  • 表情控制:通过Vtuber Studio实现表情同步。
  • 图像生成:基于Stable Diffusion生成艺术作品。
  • 内容过滤:检测并过滤NSFW图像。

集成了花儿不哭大佬的GPT-SoVITS,唱歌变声Auto-Convert-Music等多个开源项目,以fastgpt等作为聊天模块核心,此外还有多种AI虚拟模型嵌入。

安装需要一些必装的工具和服务,具体可前往项目主页查看具体安装步骤,也可找作者看有没有一键安装包。(项目地址放到文末)

安装完成后,其实启动跟其他开源项目一样,是在本地起了一个http服务,访问该服务即可打开下图页面。

可以看到它内置了几种角色,当然我们也可以自定义添加角色,在parameter标签下upload character进行上传,支持yaml、json、png形式。

角色资源站可以参考:https://www.chub.ai/

由于它支持表情控制 Vtuber Studio,可以自由控制相关角色的一些模型信息及系统设置。

更可以实现3D虚拟人屏显控制,直播弹幕自动回复语播报。

最新功能还可以调用Stable Diffusion进行自动绘画,将图片输流到OBS直播间,这不更香了嘛!

GitHub: https://github.com/worm128/AI-YinMei

(相关场景图片均来自作者教程,有兴趣的同学可以自行搭建体验哈)

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-07-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python兴趣圈 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云直播
云直播(Cloud Streaming Services,CSS)为您提供极速、稳定、专业的云端直播处理服务,根据业务的不同直播场景需求,云直播提供了标准直播、快直播、云导播台三种服务,分别针对大规模实时观看、超低延时直播、便捷云端导播的场景,配合腾讯云视立方·直播 SDK,为您提供一站式的音视频直播解决方案。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档