首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Comfyui制作AI视频,支持文生视频、图生视频、视频生视频,万相2.1本地部署详细方法

万相2.1可以在comfyui上自由调用,支持文生视频、图生视频和视频生视频,而且现在还出现了很多wan2.1的lora,今天我们一起来学习wan2.1的本地部署。

一、安装插件

在comfyui中调用万相2.1模型需要用到WanVideoWrapper插件

插件地址:https://github.com/kijai/ComfyUI-WanVideoWrapper

进入comfyui的节点文件夹“custom_nodes”,在地址栏输入"cmd",然后敲回车,调出命令行

在命令行内输入指令: git clone https://github.com/kijai/ComfyUI-WanVideoWrapper.git

插件安装完成后关闭命令行

二、模型下载

(1)模型下载地址:

https://huggingface.co/Kijai/WanVideo_comfy/tree/main

(2)模型含义

I2V  代表image to Video,意思是图生视频

T2V  代表Text to Video,意思是文生视频

(3)模型选择

显卡显存10G或更低

文生视频:建议使用 T2V 1.3B的Fp16精度模型

图生视频:建议使用GGUF,具体介绍见下文

显卡显存12G或更高

文生视频:选择 T2V 14B fp8 精度模型

图生视频:选择 I2V 480p fp8 精度模型

显卡显存16G或更高

文生视频:选择 T2V 14B fp16 精度模型

图生视频:选择 I2V 720p fp16 精度模型

显卡显存12G以上,建议使用 I2V 480B fp8精度模型

显卡显存24G或更高,如4090、5090,随便用

建议:本地模型可以追求高分辨率,但不要追求高精度,比如同分辨率下的fp16和fp8视频区分不是很大,但高精度的fp16速度非常慢!

10G以下低显存可以选择GGUF模型

4G显存:可以选择Q3_K_S

6G显存:可以选择Q3_K_S或Q3_K_M

8G显存:可以选择Q3_K_M或Q4_1

大于12G显存:建议使用GGUF的Q6_K或Q8_0

网址:

https://huggingface.co/city96/Wan2.1-T2V-14B-gguf/tree/main

(4)模型安装目录

主模型安装路径:models\diffusion_models

UUGF模型安装路径:models\text_encoders

三、下载VAE文件和clip文件

(1)从下面地址下载VAE文件

https://huggingface.co/ratoenien/wan_2.1_vae/tree/main

(2)安装VAE文件

将下载好的文件复制到文件夹 models\vae

(3)安装clip文件

放置路径:models\clip

下载地址:

https://huggingface.co/Kijai/WanVideo_comfy/tree/main

(4)下载text_encoders文件

放置路径:models\text_encoders

下载地址:

https://huggingface.co/Kijai/WanVideo_comfy/tree/main

四、更新comfyui至最新版本

按下图将comfyi更新至最新版本,减少报错机率,下载完后重启comfyui。

五、打开工作流

打开下面的路径,可以找到插件自带的工作流文件

custom_nodes\ComfyUI-WanVideoWrapper\example_workflows

打开默认的文生图工作流,将工作流中的模型全部改变本地模型,然后点击生成,用默认提示词生成一段视频。

在显卡玩命运转几分钟后,视频生成了。

下节我们详细讲一下图生视频及视频生视频的玩法。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OFhvuihjREkP_q1MTg2QYMaw0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券