仍旧需要SDXL环境

SVD）Image-to-Video 是一种潜在扩散模型，经过训练，可根据图像条件反射生成短视频剪辑。 该模型经过训练，在给定相同大小的上下文帧的情况下，以 14x576 的分辨率生成 1024 帧。

下载整合包https://pan.quark.cn/s/7bcfc88b2794

1、拉取项目到本地

2.部署所需要的环境

1. 这是在python3.10下测试的。对于其他python版本，您可能会遇到版本冲突

install required packages from pypi
python3 -m venv .pt2
source .pt2/bin/activate
pip3 install -r requirements/pt2.txt

2.安装sgm

3. Install sdata for training
pip3 install -e git+https://github.com/Stability-AI/datapipelines.git@main#egg=sdata

3.打包请安装hatch并运行hatch构建

上图评估了用户对 SVD-Image-to-Video 的偏好

直接使用

该模型仅用于研究目的。可能的研究领域和任务包括

• 生成模型研究。
• 安全部署可能生成有害内容的模型。
• 探索和理解生成模型的局限性和偏见。
• 艺术品的产生和在设计和其他艺术过程中的使用。
• 在教育或创意工具中的应用

局限性

• 生成的视频相当短（<= 4 秒），并且模型无法实现完美的照片级真实感。
• 该模型可能会生成没有运动的视频，或者相机平移速度非常慢。
• 模型不能通过文本进行控制。
• 模型无法呈现清晰的文本。
• 人脸和一般人物可能无法正确生成。
• 模型的自动编码部分是有损的。

我正在参与2023腾讯技术创作特训营第三期有奖征文，组队打卡瓜分大奖！