首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

AI电影一镜到底,无限时长!SkyReels-V2直接生成长视频,ComfyUI本地运行!

一镜到底、无限时长的电影级AI视频,终于可以在comfyui中通过工作流实现了。

SkyReels-V2-DF模型,突破时长限制,理论上支持无限长度的影片生成,更适于电影叙事、多镜头运镜等长时序的连贯性场景。

kyReels-V2-I2V模型,专注静态图片的动态视频生成,即图生视频,更适于广告创意、概念图转视频的场景。

今天我们主要来介绍SkyReels-V2-DF模型的长视频功能。

一、插件安装

进入K神的github页面,安装wanvideo插件,如果已经安装过了,需要更新到最新版本

链接:

https://github.com/kijai/ComfyUI-WanVideoWrapper

插件的安装方法,这篇文章有介绍:

二、模型安装

进入K神的huggingface页面,在wanvideo模型下面找到Skyress路径

打开skyreels页面后,里面有很多模型,有14B、1.3B,如果你的显卡性能不够强劲,建议直接选择1.3B的。

14B的有720P和540P两种分辨率,另外还分为fp16和fp8两种精度,为了减少计算时间,我选择14B-540P-fp8和1.3B两个模型。

如果大家有更好的显卡,可以挑战一下720fp16的模型。

页面链接:

https://huggingface.co/Kijai/WanVideo_comfy/tree/main/Skyreels

因为模型是基于wan2.1训练的,所以模型要放置到下面的路径:

models\unet\wan2.1

根据下载的模型不同,视频参数设置参考下图:

三、工作流测试

1、打开工作流

启动comfyui,打开K神wanvideo插件路径下的工作流

路径:

custom_nodes\ComfyUI-WanVideoWrapper\example_workflows

工作流:

wanvideo_skyreels_diffusion_forcing_extension_example_01.json

2、测试工作流

工作流打开后先点击运行,检查一下哪些节点有问题,缺模型的重新下载模型,模型名字和本地不一致的改变本地模型。

看到节点有个红色外框的,就说明这个节点有了问题,缺少CLIP模型

Comfy-Org/Wan_2.1_ComfyUI_repackaged at main

模型放置位置:models\clip

将wanvideo模型节点改成我们之前下载的14B-540P-fp8或1.3B模型,VAE改成wan2.1vae。

3、输入提示词

因为用的是万相模型,所以提示词是支持中文的

4、调节画面尺寸

加载图像后,通过图像缩放节点调整图像尺寸。

这里你可以让comfyui对它进行调整尺寸,也可以事先自己先用PS裁剪好图像尺寸和比例。

四、节点功能介绍

这个工作流的核心就是下面的三阶采样节点

1、第一阶采样器

这个节点中最主要的是prefix_samples(下图右上角红框中)

这里有两种输入方式,一种是像下图所示,通过加载图像的输入,将图像生成视频。

另一种是把上一个视频末尾的第17帧作为参考生成视频(节点见左下角红框中,这个节点并没有启用)

2、第二阶采样器

从下图中可以看出,第二阶采样器是将第一阶采样器生成视频的第17帧作为采样的参考

3、第三阶采样器和第N阶采样器

同样,第三阶采样器是将第二阶采样器生成视频的第17帧做为采样的参考。

所以理论上我们可以加无限个采样器,生成无限时长的视频。

当然,每阶采样器我们可以分别设置不同的提示词来控制画面(对于图生视频的提示词引导,I2V效果更好)

下图是手动将第一阶采样器的提示词分别复制后连接到第二阶和第三阶采样器上,实现每阶采样器独立提示词控制。

下面是我用三段不同提示词引导的视频,第一段提示词是“一个女人,拿起咖啡杯喝了一口,第二段提示词是”一个女人,将咖啡杯放到桌子上“,第三段提示词是“一个女人,转头看着你,露出迷人的笑脸”。

从最终输出的视频来看,有两处比较明显的瑕疵,一是咖啡杯有变形,二是第三段提示词没有完全体现出来,第三段提示词是“人物转向屏幕然后微笑,视频中的人物没有转向屏幕。

不过总体来说,视频的整体效果还是不错的。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/Og3KHZeke0eiF_3Yda8wZ1sw0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券