腾讯MuseV发布让照片会唱歌 HeyGen平替 古希腊掌管音乐的神

文末领取项目地址和Github地址

AI绘画专栏之HAI起来~Stablediffusion|文生视频|Controlnet|SDXL|Comfyui

强烈推荐阅读👆👆👆

MuseV：基于视觉条件并行去噪的无限长高保真虚拟人视频生成

一个实时的高质量口型同步模型，可以与MuseV一起作为完整的虚拟人生成解决方案

MuseV是一个基于扩散的虚拟人视频生成框架，它

1. 支持使用新颖的视觉条件并行去噪方案生成无限长度。
2. 检查点可用于在人类数据集上训练的虚拟人类视频生成。
3. 支持 Image2Video、Text2Image2Video、Video2Video。
4. 兼容 Stable Diffusion 生态系统，包括 、 、 等。base_modelloracontrolnet
5. 支持多参考图像技术，包括 、 、 、 。IPAdapterReferenceOnlyReferenceNetIPAdapterFaceID

视频合集

提示词：

(masterpiece, best quality, highres:1),(1girl, solo:1),(beautiful face, soft skin, costume:1),(eye blinks:{eye_blinks_factor}),(head wave:1.3)

(masterpiece, best quality, highres:1),(1girl, solo:1),(beautiful face, soft skin, costume:1),(eye blinks:{eye_blinks_factor}),(head wave:1.3)

架构

1. 视频生成类型有限，运动范围有限，部分原因是训练数据类型有限。发布的版本已经在大约 60K 的分辨率下进行了人类文本-视频对的训练。 具有更大的运动范围，而在较低分辨率下具有较低的视频质量。 倾向于在高视频质量下产生较小的运动范围。在更大、更高分辨率、更高质量的文本视频数据集上进行训练可能会更好。MuseV512*320MuseVMuseVMuseV
2. 水印的出现可能是因为。带有水印的更干净的数据集可能会解决这个问题。webvid
3. 长视频生成类型有限。视觉条件并行降噪可以解决视频生成的累积误差，但目前的方法只适用于相对固定的摄像机场景。
4. 由于时间和资源有限，训练不足的referencenet和IP-Adapter。
5. 结构化代码不足。 支持丰富和动态的功能，但具有复杂且未经过修改的代码。这需要时间来熟悉。MuseV

项目地址：

• GitHub：https://github.com/TMElyralab/MuseV
• HuggingFace：https://huggingface.co/TMElyralab/MuseV