基础知识点科普

稳定扩散（Stable Diffusion）是一种用于图像生成的人工智能模型，它基于扩散过程。扩散过程是指，将一个图像经过多次迭代，逐渐变得模糊、扩散的过程。在这个过程中，图像的细节信息会逐渐消失，只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性，即在扩散过程中，模型能够学习到图像的稳定特征，从而生成具有较高质量的图像。

稳定扩散模型通常使用生成对抗网络（GAN）进行训练。GAN 由两个部分组成：生成器和判别器。生成器负责生成图像，判别器负责判断图像是真实图像还是生成的图像。在训练过程中，生成器和判别器互相对抗，生成器试图生成更真实的图像以欺骗判别器，判别器则试图识别出真实图像和生成图像。通过不断的迭代训练，生成器能够提高生成图像的质量。

U-Net 是一种特殊的生成对抗网络结构，它主要用于图像生成任务。U-Net 的结构呈“U”形，它将生成器和判别器都拆分成两个部分，分别位于“U”形的两端。其中，一端的生成器负责生成低分辨率的图像，另一端的生成器负责生成高分辨率的图像。判别器也同样分为两部分，分别对应低分辨率和高分辨率的生成器。

U-Net 之所以有效，是因为它采用了一种称为“跳跃连接”的技术。跳跃连接允许低分辨率生成器直接获取高分辨率生成器的输出，从而帮助低分辨率生成器更好地学习到高分辨率图像的细节信息。通过这种方式，U-Net 能够生成高质量、高分辨率的图像。

模型下载

contronet所有模型包含二维码SDXL和adpte链接：https://pan.quark.cn/s/5c5a48225bb3
SDXL生态模型下载https://pan.quark.cn/s/05691eef0f1

Stable Diffusion

VAE:用来将推理时反向扩散最后生成的 denoised latents 转换回图像格式

SDXL：改进用于高分辨率图像合成的潜在扩散模型（二阶段的级联扩散模型）

官网
refiner：https://github.com/wcde/sd-webui-refiner.git
https://zhuanlan.zhihu.com/p/643420260
论文：https://arxiv.org/abs/2307.01952

切换底模是真的慢，下载refiner只能达到不用二次创作切换，底模切换需要更好的读写固态

搭配底模 SDXL-Vae

Lora

采样方法测试

关于SDXL的生态问题

1.底模、lora、vae、controlnet、任意插件只要你用到就需要用SDXL的生态

2.直接出1024分辨率图片 1024 * 1024 起步

SDXL为什么强？

0.1参数训练量为101亿 其中BASE模型35 亿 加REFINER模型66亿 SD的8倍？？？

0.2对Stable Diffusion原先的U-Net(XL Base U-Net 一共14个模块)，VAE，CLIP Text Encoder三大件都做了改进。可以明显减少显存占用和计算量

0.3增加一个单独的基于Latent（潜在）的Refiner(炼制)模型，来提升图像的精细化程度。【新增：对Base模型生成的图像Latent特征进行精细化，其本质上是在做图生图的工作。】

0.4设计了很多训练Tricks(技巧)(这些Tricks都有很好的通用性和迁移性，能普惠其他的生成式模型)，包括图像尺寸条件化策略，图像裁剪参数条件化以及多尺度训练等。

0.5先发布Stable Diffusion XL 0.9测试版本，基于用户使用体验和生成图片的情况，针对性增加数据集和使用RLHF技术优化迭代推出Stable Diffusion XL 1.0正式版。

0.6采样方法禁用DDIM (保留意见、非绝对)，不需要开启CN,随着CN的支持，可以开启CN的XL版本。所有的环境需要都是XL的生态

0.7直接出1024分辨率图片 1024 * 1024 起步

参数训练量为101亿 其中BASE模型35 亿 加REFINER模型66亿

1. 对Stable Diffusion原先的U-Net，VAE，CLIP Text Encoder三大件都做了改进。
2. 增加一个单独的基于Latent（潜在）的Refiner(炼制)模型，来提升图像的精细化程度。对Base模型生成的图像Latent特征进行精细化，其本质上是在做图生图的工作。
3. 设计了很多训练Tricks(技巧)，包括图像尺寸条件化策略，图像裁剪参数条件化以及多尺度训练等。
4. 先发布Stable Diffusion XL 0.9测试版本，基于用户使用体验和生成图片的情况，针对性增加数据集和使用RLHF技术优化迭代推出Stable Diffusion XL 1.0正式版。
5. 采样方法禁用DDIM ，不需要开启CN,随着CN的支持，可以开启CN的XL版本。所有的环境需要都是XL的生态
6. 直接出1024分辨率图片

我正在参与2023腾讯技术创作特训营第三期有奖征文，组队打卡瓜分大奖！