分享一个最近很火的！ 开源！视频对口型AI模型：LatentSync

AI对口型在短视频平台有很多有趣的玩法，比如让小猫唱歌！让小朋友玩梗。除此之外无论是电影、短视频，还是直播，口型同步（lip sync）技术也是AI很重要的发展领域。

今天给大家分享一个字节开源的AI对口型模型：LatentSync ！

目前在github上已收到2k⭐

什么是 LatentSync？

LatentSync 是基于音频条件的潜在扩散模型（latent diffusion models）的端到端口型同步框架。

它利用了强大的 Stable Diffusion 技术，直接建模复杂的音视频相关性，而无需任何中间运动表示。这与以往基于像素空间扩散或两阶段生成的扩散基口型同步方法截然不同。

简单来说，LatentSync 能够让视频中的人物口型完美地与音频同步，而且效果非常自然、逼真。

它不仅能够处理真实人物的视频，还能应对动漫角色的口型同步，这在以往是非常难以实现的。（大家这时候是不是想到了各种整活的点子了!)

惊艳的演示效果

LatentSync 的演示视频展示了其强大的功能。无论是真实人物的视频，还是动漫角色的视频，口型同步的效果都非常出色。

你可以看到，人物的口型与音频完美匹配，而且整个视频看起来非常自然，没有丝毫的违和感。

效果看起来还是很不错的，最重要的是这个是开源的，想自己玩玩整活的朋友快来试试吧！

地址：

https://github.com/bytedance/LatentSync

好了，今天的内容就分享到这里希望你们喜欢！欢迎关注、点赞和分享