​用AI视频将旅行世界具象化

前段时间用AI工具给自己总结了一份旅行笔记，看着一张张照片在AI工具的帮助下可以有不同风格的变化，当时就想着，是不是也可以尝试着用AI把这一张张照片变成视频。

AI旅行动画

说到AI视频，就想到前阵子SoraAI到来那会儿，许多关注AI的人估计都兴奋得一夜未眠，一个个都在震惊：这居然是AI生成的视频？

其实也很明显发现越来越多的人开始尝试用AI制作视频，当然这其中也包括我自己，我也有将自己的一些图片制作成视频，整个感觉更像是给静态的照片施加了魔法，画中人都动了起来。

最近尝试的是西藏林芝桃花节，摸索了一些现在通常用的AI视频工具，但发现时长是个大问题，一段视频通常就只能生成个4s，而且生成次数也有限制。

于是直接尝试使用了 StableDiffusion，可以生成更长的视频不说，创作空间也很大，更擅长将自己的想象转化为视频内容，就像之前很火的瞬息全宇宙系列，分分钟可以将人带入一个奇幻世界。

用了StableDiffusion试着做了些西藏桃花系列，很是喜欢啊。

倒腾了一阵，得到了一段自己挺满意的视频：

云部署

视频光是在时长上就很让人满意，相较于其他的AI工具，个人认为StableDiffusion最大的好处是不用花钱，不用花心思去解决网络问题，而且可以安装不同的插件模型，作为一些旅行博主，可以根据自己的旅程需要，做出不同的风格视频作品。

当然，这对电脑配置的要求也会更高，建议小伙伴直接尝试在云端部署，比如揽睿星舟，因为它几乎预装了所有的模型和插件，不需要再各种找资料一个个安装，即便带着一个笔记本都能轻松玩转StableDiffusion，个人已经体验过，在视频生成方面速度真的很快。

链接：

https://www.lanrui-ai.com/register?invitation_code=2850#58zn2i

邀请码：2850（可以获得免费时长）  

部署方法也非常简单，主页注册「用我给你的邀请码有折扣」并登陆后后进行设置。

1.登录成功后直接创建工作空间。

2.在工作空间中进行算力选择。如图，选择3090显卡->选择镜像（建议选择全插件版SD）。

3.继续选择启动方式（嫌操作麻烦直接点自动启动）->数据盘->挂载网盘。

4.选择完成后，直接右下角点击“立即创建”。

5.最后在工作空间中等待2分钟左右，直接“打开调试地址”即可展开Stable Diffusion。

也可以直接看官网提供的“使用文档”了解相关信息，顺便提一句，文档内还有炼LoRA的教程，我在自己做的案例中也是先炼丹之后再生成的视频噢。

视频制作方法

部署好后，我们就可以愉快地进行操作了，在StableDiffusion中，通常使用的制作视频的插件是Deforum和AnimateDiff，当你打开StableDiffusion后就可以看到这两个插件已经预装好了（这也是我更推荐云部署的原因之一）。

AnimateDiff

案例中所使用的动画基本都是AnimateDiff生成的，也算是相当简单，好用。

“AnimateDiff一款将个性化的文本到图像模型扩展为动画生成器的框架，其核心在于它能够利用从大规模视频数据集中学习到的运动先验知识，可以作为Stable Diffusion 文生图模型的插件，允许用户将静态图像转换为动态动画。”

官方项目主页：

GitHUb代码库：

https://github.com/guoyww/animatediff/

Hugging Face Demo：

https://huggingface.co/spaces/guoyww/AnimateDiff

补充说明一下，避免操作过程中出错，在使用AnimateDiff之前，去设置里调节一下AnimateDiff的参数，如下图所示把几个选项打上，然后保存设置，重启WebUI。  

文生图：

先说文生图操作方法。

选择好模型，输入正反向关键词等基础数据，采样器选择DDIM，据说是因为生成的效果更好。

常用负向词：Easy Negative, worst quality, low quality, normal quality, lowers, monochrome, grayscales

展开AnimateDiff，云部署里模型都已经下载好了，直接选择mm_sdv15_v2.ckpt，如下图所示选好参数，其他保持默认即可。      

补充说明：

Motion module：建议选择mm_sdv15_v2.ckpt

Number of frames：一般都选择16帧，效果最好。

Frames per second (FPS)：每秒帧数，选择每秒8帧，即生成2秒gif或者mp4。

Display loop number：循环次数— ，0表示播放不会停止。

参数设置好后，直接选择生成。

图生图：

个人更喜欢的是图生图模式，方法跟文生图差不多，主要是可以更多的在自己的图片上进行再加工。

第一步：基础参数跟文生图一样，在StableDiffusion中点开图生图，设置好正反向关键词等基础数据，在图生图中上传一张自己想要进行操作的图片。

第二步：与文生图一样，在AnimateDiff中设置同样的参数。

第三步：选择生成。

另外，在AnimateDiff中除了设置第一张（帧）图片外，也可以设置最后一张（帧）图。

在图生图中加入第一张图片后，还可以在AnimateDiff中上传需要生成视频的最后一张图。  

帧数越多，效果越明显，这里我选择的是64帧，也就是生成64张图片，可以看到图像从第一张到第64张的变化。

生成GIF效果如下：

Deforum

Deforum相较于AnimateDiff更早被人认识，之前火遍全网的瞬息全宇宙系列就是出自Deforum。当然相比起AnimateDiff，使用起来界面也更加复杂一些，需要学习的东西太多了，建议参考学习Deforum官网https://deforum.art/。

操作方法：

Deforum更适用于把自己的视频/图片做成无限动画。

为了方便操作，我直接将AnimateDiff生成的视频拿来举例。

首先打开Deforum，在“运行”中开始参数的设置，道理跟Stable Diffusion中其他设置一样，按需设置采样器，宽高度等。  

这部分可以如图设置，最大关键帧按照自己需要生成的视频长度设置。比如我的FPS设置为15，那150帧就可以生成10秒的视频。  

再往下关键帧keyframes的设置，有一点考验想象能力，个人感觉是Deforum设置里最麻烦，但也是最有意思的，最开始制作时可以默认原始数据。

关于关键帧具体设置不同含义可以看这：

https://github.com/deforum-art/sd-webui-deforum/wiki/Animation-Settings

https://exp-blog.com/ai/sd-ru-men-12-ai-dong-hua/#toc-heading-25

Deforum的提示词格式问题有点复杂也容易出错。

这里推荐一个在ChatGPT中撰写Deforum提示词的方法，如图所示最后可以直接生成正确格式的提示词。

该方法源自：

https://chat.openai.com/share/3ae3de05-b922-4314-98db-f5098ca30bc1 

使用上述方法制作出提示词后直接复制粘贴到框内就行。

这里有个小窍门，可以查看自己提示词的格式是否正确。

把自己的提示词复制进去，点击validate，如果下面显示绿色的Vaild JSON，就说明提示词没问题啦。

Init这一步就是放进自己的图片，或者视频的最后一帧。

我把刚刚用AnimateDiff制作视频的最后一帧导入，记得勾选“use init”。

最后一步设置就是“输出”了。基本就是默认就行，怕占电脑内存建议选择“Delete Imgs”，如果需要生成视频质量更好，可以选择“图像放大”。

操作完成后，选择生成。

可以看到我生成10s的低像素视频，用时3min多。

Deforum的可操作性很大，就是需要不断的尝试，达到理想效果。

就各种AI工具来说，这两年真的是大爆发，以前觉得稀奇，现在想的最多的就是怎么利用AI工具更好地创造内容，毕竟这更像是一群人的想象。

可能对我来说，旅行是一个世界，而与之相辅的AI再创造就是另一个世界，这可能就是我这个i人的希望探索的世界具象化吧。