实战制作stable diffusion的修复模型inpaint model

目标

本文详述如何通过已有的dreamlike-art/dreamlike-photoreal-2.0标准模型standard model，制作其修复模型inpaint model。

下载基础模型、基础修复模型、dreamlike-photoreal-2.0.ckpt

我是在腾讯云云服务器，操作系统为CentOS Linux操作系统上安装的stable-diffusion-webui。安装目录为/home/sd/new-sd-webui/stable-diffusion-webui。这里简述为${sddir}。

进入${sddir}/models/Stable-diffusion，通过wget下载标题所述文件。

A:

wget "https://huggingface.co/runwayml/stable-diffusion-inpainting/resolve/main/sd-v1-5-inpainting.ckpt"

B:

wget "https://huggingface.co/dreamlike-art/dreamlike-photoreal-2.0/resolve/main/dreamlike-photoreal-2.0.ckpt"

C:

wget "https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.ckpt"

下载完成后，模型目录中如下所示：

配置及生成dreamlike-photoreal-2.0-inpaint修复模型

配置及生成dreamlike-photoreal-2.0-inpaint修复模型

1. 转到检查点合并Checkpoint Merger
2. 选择“添加差异Add Difference”
3. 将“乘数Multiplier”设置为 1.0
4. 将“A”设置为官方修复模型（SD-v1.5-Inpainting）
5. 将“B”设置为dreamlike-photoreal-2.0模型
6. 将“C”设置为标准基模 （SD-v1.5）
7. 将名称设置为您想要的任何名称，可以像我这样写：dreamlike-photoreal-2.0-inpainting
8. 将模型(ckpt)格式设置为“Safetensors”，且“以float16存储”
9. 点击【合并merge】
10. 在 img2img 修复inpaint选项卡中使用新的dreamlike-photoreal-2.0-inpainting模型

这种工作方式实际上是一种简单地获取修复模型inpaint model的方式。它可以将标准模型standard model的独特的数据复制到修复模型inpaint model。请注意，公式为 A + （B - C），您可以将其解释为等效于 （A - C） + B。因为“A”是sd-v1-5-inpainting.ckpt，而“C”是v1-5-pruned-emaonly.ckpt，所以 A - C 是修复逻辑，仅此而已。所以公式是（修复逻辑）+（您的模型）。

效果展示

效果展示

可以看到使用inpaint模型，能够让瓶子稳定的在餐布上。

参考文档

https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/How-to-make-your-own-Inpainting-model