ComfyUI中SVD 1.1：文生图，图生图，LCM应用

引言：

前天看见群里有人问有没有SVD的整合包，其实官方有放出SVD的完整工作流，完全不需要整合包。随后我翻了一下自己的SVD工程发现Stability AI 更新了SVD 1.1，于是更新了一下工作流。

Stability官方目前总共放出了5款模型，分别是svd，svd_xt，svd_xt_1_1外加2个升级版的微调模型（文末有模型资源包），其中svd可以生成14帧的视频，svd_xt和svd_xt_1_1可以生成25帧的视频。

它们还分别有一个升级版本svd_image_decoder和svd_xt_image_decoder，是将sd1.5/sd2.1vae添加到了原本的模型中，官方说是用来让生成的视频细节更好，我个人是很少使用的。

svd_xt_1_1是在svd Image-to-Video [25 frames]模型的微调，文件大小少了一半，并实现了更高的输出一致性，更有性价比。同时清晰度以及自然度上都有了显著提升，无需调整超参数即可获得优质的视频效果。

最最最重要的是它们都是开源免费的！

官方模型地址：https://huggingface.co/stabilityai/stable-video-diffusion-img2vidhttps://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xthttps://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1

Stability AI的SVD可以结合ComfyUI，使得从静态图像到动态视频的转换不仅简单快捷，而且高效精准。本文将带你深入了解如何通过ComfyUI，利用SVD 1.1模型，实现图生视频、文生视频，并通过LCM优化，进一步提升视频内容创作速度和专业水平。但需要注意的是我们的机器显存配置最好10G以上才能跑起来，如果没有那更推荐使用官方的免费在线视频生成，只是每天有一定的次数限制，详情看下面这个文章：

这里我们主要还是分享ComfyUI中的使用。

图生视频流程详解：

1. 首先，我们启动“run_nvidia_gpu.bat”在弹出的URL中选择“Manager”

选择“Install Custom Nodes”安装节点，在弹出的窗口搜索“SVD”

安装第一个“ComfyUI-SVD”即可，然后再搜索一个“videohelpe”用于合成图片。安装即可。

2. 接下来，我们在“Install Models”安装需要的模型。

搜索“SVD”模型下载安装，它这里面暂时还没有1.1版本的模型。

那我们可以选择我个人网盘的模型，将模型资源放到“ComfyUI_windows_portable\ComfyUI\models\checkpoints”目录下。

我的路径是和WebUI共享的所以我读的是WebUI下的“sd-webui-aki-v4.6\models\Stable-diffusion”这个大家自行设置。

重启ComfyUI，我们会获得“SVD img2vid Conditioning”节点。

这个节点是控制视频生成效果的主要关键节点，里面的主要参数作用有：

video_frames：视频总帧数，按视频大模型来设定，即 svd 为 14 帧，svd_xt 为 25 帧。总帧数越多，能生成更明显生动的动作，但是对显存的压力也更大。

motion_bucket_id：控制视频动态，数值范围 1-255，数值越大，动态越明显，推荐 125-180。

fps：每秒传输帧数，数值范围 5-30，数值过高视频可能会不稳定，一般推荐 6-8。

augmentation level：表示添加到初始图像中的噪点量。数值越高，视频看起来就越不像初始图像，但提高该值可获得更多动态效果，推荐设置为 0.1。

3. 最后，拖入我准备的工作流“SVD_image_to_video.json”

选择你的模型路径，就可以正常使用了。

注意因为模型9G很大，读取模型会很消耗时间。

文生视频流程详解：

1. 将文生图节点拖入窗口，左边先选择一个大模型，用来生成图片。

2. 然后，生成的图片会输入到SVD工作流，

3. 最后生成视频。

LCM优化插帧视频生成流程详解：

1. 首先，将工作流“SVD_lcm_film.json”拖入窗口，在“Manager” 面板中选择“Install Missing Custom Nodes” 安装缺失的节点。

点击安装“comfyui-art-venture”和“ComfyUI_essentials.disabled”

安装完成后，运行“run_nvidia_gpu.bat” 重启ComfyUI。

2. 然后，选择SVD的大模型和lora_lcm加速模型，最左边的大模型随便选个就好-2参数是跳过，不用管。

film节点是每隔5帧插入关键帧。

这个节点第一次使用会后台下载模型，下载完成就能正常使用了。

3. 最后，点击运行生成视频、

还可以结合图片右键绘制蒙版，但是效果不是很理想就不分享了。

结论：

Stability AI的SVD 1.1模型与ComfyUI平台的结合，不仅为视频创作者提供了一个强大的工具，更为那些渴望突破传统创作界限的艺术家们打开了新的大门。通过图生视频、文生视频的流程，以及LCM优化高级应用，我们可以创造出更加丰富、个性化的视频内容。

随着Sora的到来，未来的视频创作将更加多元、更加精彩。

完over。