AI绘画SDXL实用笔记

SD1.6版本

SDXL的底模搭配SD1.5竟然没有报错

更正：有些Lora并不起作⽤，但是不会报错

⾃然语⾔的⽀持：

SDXL原⽣⽀持Controlnet啦~~

1.在哪下整合包

1 ControlNet SDXL1.0模型https://pan.quark.cn/s/8bff6e05dc96

2.怎么玩

CN版本为ControlNet v1.1.406+

和原来的CN⽤法⼀样，但是注意SDXL的基础环境搭配基本常识：SDXL底模不能与SD1.5的Lora搭配使⽤，反之亦然

今⽇福利

1 「压缩后8G资料等24个⽂件」来⾃UC⽹盘分享

2 https://drive.uc.cn/s/33cd069970884

4 「12000+AI绘画关键词 等2个⽂件」来⾃UC⽹盘分享

5 https://drive.uc.cn/s/4009c2e9dc254官⽅：https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features#stable

diffusion-20

webUI：https://github.com/AUTOMATIC1111/stable-diffusion-webui

原理：https://github.com/CompVis/stable-diffusion

模型：https://github.com/CompVis/stable

diffusion/blob/main/Stable_Diffusion_v1_Model_Card.md

SD

1 稳定扩散（Stable Diffusion）是⼀种⽤于图像⽣成的⼈⼯智能模型，它基于扩散过程。扩散过程是

指，将⼀个图像经过多次迭代，逐渐变得模糊、扩散的过程。在这个过程中，图像的细节信息会逐渐消

失，只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性，即在扩散过程中，模型能

够学习到图像的稳定特征，从⽽⽣成具有较⾼质量的图像。

2 稳定扩散模型通常使⽤⽣成对抗⽹络（GAN）进⾏训练。GAN 由两个部分组成：⽣成器和判别器。⽣成

器负责⽣成图像，判别器负责判断图像是真实图像还是⽣成的图像。在训练过程中，⽣成器和判别器互

相对抗，⽣成器试图⽣成更真实的图像以欺骗判别器，判别器则试图识别出真实图像和⽣成图像。通过

不断的迭代训练，⽣成器能够提⾼⽣成图像的质量。

3 U-Net 是⼀种特殊的⽣成对抗⽹络结构，它主要⽤于图像⽣成任务。U-Net 的结构呈“U”形，它将⽣成

器和判别器都拆分成两个部分，分别位于“U”形的两端。其中，⼀端的⽣成器负责⽣成低分辨率的图

像，另⼀端的⽣成器负责⽣成⾼分辨率的图像。判别器也同样分为两部分，分别对应低分辨率和⾼分辨

率的⽣成器。

4 U-Net 之所以有效，是因为它采⽤了⼀种称为“跳跃连接”的技术。跳跃连接允许低分辨率⽣成器直接获

取⾼分辨率⽣成器的输出，从⽽帮助低分辨率⽣成器更好地学习到⾼分辨率图像的细节信息。通过这种⽅式，U-Net 能够⽣成⾼质量、⾼分辨率的图像。

Stable Diffusion

Latent Diffusion Models

VAE:⽤来将推理时反向扩散最后⽣成的 denoised latents 转换回图像格式

https://link.zhihu.com/?target=https%3A//huggingface.co/stabilityai/sd-vae-ft-mse-original

https://link.zhihu.com/?target=https%3A//huggingface.co/hakurei/waifu-diffusion-v1-

4/tree/main/vaeSD vs MJ

https://photutorial.com/midjourney-vs-stable

diffusion/#:~:text=Midjourney%20and%20Stable%20Diffusion%20are%20two%20of%20the,ima

ges%2C%20while%20Stable%20Diffusion%20is%20open-source%20and%20free.

Adetailer：https://github.com/Bing-su/adetailer

FaceEditor：https://github.com/ototadana/sd-face-editor

这个脚本的特别之处在于，它将识别到的⾯部⽤512*512的分辨率进⾏重绘，在放回原来的脸部进⾏融

合。局部重绘是⽆法达到这样的效果的，因为全⾝图脸崩的原因就是脸部所占画⾯⽐例太⼩,⽽且AI不

知道哪⾥是脸，哪⾥要重点画，所以占⽐⼩的就画的不精细，容易脸崩。这个放⼤重绘就解决了AI在

⼩⽐例上⽆法绘制精细⾯部画⾯的问题

--ad-no-huggingface

显存优化：xformers and cuDNN

1 python webui.py --deepdanbooru --no-half --precision full --port 6006 --share -

-disable-safe-unpickle --xformers

1 https://huggingface.co/docs/diffusers/optimization/fp16图⽚反推：BLIP CLIP ⽂本理解

https://huggingface.co/spaces/Salesforce/BLIP

SDXL：改进⽤于⾼分辨率图像合成的潜在扩散模型（⼆阶段的

级联扩散模型）

1 官⽹

2 refiner：https://github.com/wcde/sd-webui-refiner.git

3 https://zhuanlan.zhihu.com/p/643420260

4 论⽂：https://arxiv.org/abs/2307.01952

切换底模是真的慢，下载refiner只能达到不⽤⼆次创作切换，底模切换需要更好的读写固态

搭配底模 SDXL-VaeLora

采样⽅法测试

参数训练量为101亿 其中BASE模型35 亿 加REFINER模型66

亿

1. 对Stable Diffusion原先的U-Net，VAE，CLIP Text Encoder三⼤件都做了改进。

2. 增加⼀个单独的基于Latent（潜在）的Refiner(炼制)模型，来提升图像的精细化程度。

3. 设计了很多训练Tricks(技巧)，包括图像尺⼨条件化策略，图像裁剪参数条件化以及多尺度训练

等。

4. 先发布Stable Diffusion XL 0.9测试版本，基于⽤⼾使⽤体验和⽣成图⽚的情况，针对性增加数据集

和使⽤RLHF技术优化迭代推出Stable Diffusion XL 1.0正式版。

5. 采样⽅法禁⽤DDIM ，不需要开启CN

6. 直接出1024分辨率图⽚模型下载

https://data.yanshiqwq.cn/software/other/stable_diffusion/models/LoRA

艺术⻛格

https://clio.so/rabbitsxl

预设 需要魔法打开

https://www.reddit.com/r/StableDiffusion/comments/15afvnb/sdxl_various_styles_keywords/

200+

预设在根⽬录（在与启动器同级别的⽬录）下的styles.cv ⽤本

地记事本txt打开！！！！！！！不要更改格式和编码

如果你误操作了怎么办？？只能保存⼀个空⽂件放在那⾥，就

不报错啦！！！！！E:\sd-webui-aki\sd-webui-aki-v4\models\Stable-diffusion

E:\sd-webui-aki\sd-webui-aki-v4\models\Lora

Low

Lora and checkpoint

在lora或者⼤模型的⽬录直接新建分类⽂件夹

1.设置封⾯

与模型同名的以PNG结尾

users_LORA_603722589067595268_UE_20230717224732-000003.safetensors

users_LORA_603722589067595268_UE_20230717224732-000003.PNG

2.civit help

我正在参与2023腾讯技术创作特训营第二期有奖征文，瓜分万元奖池和键盘手表