腾讯混元发布语音数字人模型，生成视频只需图和音频

5月28日，腾讯混元发布并开源的语音数字人模型HunyuanVideo-Avatar。

该模型由腾讯混元视频大模型（HunyuanVideo）及腾讯音乐天琴实验室MuseV技术联合研发，支持头肩、半身与全身景别，以及多风格、多物种与双人场景，面向视频创作者提供高一致性、高动态性的视频生成能力。

“仅需一张图和一段音频，就能让图中的主角自然的说话、唱歌”。在腾讯混元展示的例子中，爱因斯坦和赫本开口说起了相声，玩具可以用英文介绍自己。

甚至不需要输入文字解释，根据用户上传人物图像与音频，HunyuanVideo-Avatar模型会自动理解图片与音频，比如人物所在环境、音频所蕴含的情感等，让图中人物自然地说话或唱歌，生成包含自然表情、唇形同步及全身动作的视频。

比如，一张女性在海边拿着吉他的图，和一段女性歌声，HunyuanVideo-Avatar模型可以自动配出图中人物在弹唱的视频。

虽然拨吉他的动作明显和背景音乐不符，但能看出来已经非常流畅。

不仅如此，HunyuanVideo-Avatar还支持上传复杂人物图像并上传匹配音频，在此基础上保证视频中主体一致性以及视频的整体动态性。

在腾讯混元展示的例子中，在篝火前唱歌的小女孩，脸上会映出跳动的红色火光。

此外，相比传统工具仅限于头部驱动，HunyuanVideo-Avatar 还支持半身或全身场景，提升视频的真实感和表现力。

从宣传内容看，HunyuanVideo-Avatar可以适用于短视频创作、电商与广告等多种应用场景，可以节约制作视频的时间和降低制作视频的成本。

目前，该技术已经应用在腾讯旗下音频产品中，比如QQ音乐、酷狗音乐和全民K歌，比如歌手AI形象、长音频绘本自动生成虚拟动画等。