腾讯出品！开源AI数字人框架！号称可以不限时长

如今数字媒体和虚拟现实技术飞速发展，对数字人的需求不断增加！

今天，介绍一个开源创新的虚拟人视频生成框架：MuseV

MuseV是由腾讯音乐娱乐的天琴实验室开源，MuseV专注于生成高质量的虚拟人视频和口型同步，能够制作出具有高度一致性和自然表情的长视频内容。据说可以不限时长！

话不多说，我们先看看效果！下面是由图片生成的数字人视频

下面是生成效果

技术亮点

无限视频长度：MuseV采用了视觉条件并行去噪方案，支持生成理论上无限长度的视频。

多样化生成方式：支持从图像到视频、文本到图像到视频、视频到视频的多种生成方式。

稳定扩散生态系统兼容：与基础模型、lora、controlnet等稳定扩散生态系统兼容，增强了用户的创作自由度。

多参考图像技术：支持IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID等多参考图像技术，提升了视频生成的质量和多样性1。

如何做到的？

MuseV利用了一种新颖的视觉条件并行去噪方案，支持无限长度的视频生成。这意味着理论上，MuseV可以生成任意长度的视频，而不受传统技术限制。它还提供了在人类数据集上训练的检查点，支持从图像到视频、文本到图像到视频、视频到视频的多样化生成方式。

下面是模型结构示意图

下面是并行去噪算法示意图

MuseTalk：实时高质量口型同步模型

值得一提的是，MuseV团队最近发布了MuseTalk，这是一个实时高质量的口型同步模型，可以与MuseV结合使用，提供完整的虚拟人生成解决方案。

如何使用？

准备 Python 环境并安装额外的包，如 diffusers、controlnet_aux、mmcm。然后按照下图所示，自行安装部署。

MuseV不仅仅是一个技术产品，它代表了虚拟人技术的未来方向。随着技术的不断进步，我们有理由相信，MuseV将在娱乐、教育、会议等多个领域发挥重要作用，为我们带来更加丰富和真实的虚拟体验。

项目地址：

https://github.com/TMElyralab/MuseV