Windows 11 体验 Stable Diffusion AI 图像生成

为为为什么

发布于 2023-03-28 09:48:11

2K0

发布于 2023-03-28 09:48:11

文章被收录于专栏：又见苍岚

Stable Diffusion 已经发展到可以生成以假乱真图像的程度，无论是 AI 作画还是照片生成都已经可以生成得很精细，本文记录使用过程。

简介

网上最近突然多了很多好看的图，后来发觉八成是 AI 图像的优质化和平民化导致的了，自己是没有那个实力和时间以及设备训练模型了，跟风本地跑一跑玩一玩~

这里先介绍两个网站，对于有能力探寻更深入的人会有所帮助：

Hugging Face 上有很多数据集可以用来做训练，也可以基于其他人共享的数据集进行训练，比自己找数据要方便很多，也有 auto train 功能，可以使用他们付费的服务进行训练。也可以创建 space 来快速给一个训练好的模型生成 API 接口，方便以服务的形式开放给他人使用或者让自己的其他服务调用。有了这些功能深度学习工程师便可以更专注于深度学习本身，而不用特别关注训练数据的来源或者如何部署机器进行训练、回测以及接口化。 CivitAI 主要是模型分享以及社区，用户会在其他人的模型下面回复通过这个模型生成的样本，以及生成时的参数和 seed，方便我们调试其他人模型时可以参考已有的输出进行快速尝试，不然可能会一直觉得自己生成的不够好。

本文记录在 Windows 11 下安装、配置、运行 Stable-diffusion 的流程

过程中经常需要访问境外的网站，需要访问国外网站。

实现过程：
- 安装 UI 环境
- 下载模型
- 运行 UI
- 根据需求生成图像

UI 安装

我们安装 stable-diffusion-webui ，进入链接，clone 仓库到本地。

按照 Automatic Installation on Windows 一节的要求配置环境

Automatic Installation on Windows

记录我的过程，供参考：

安装 Anaconda

下载、安装了 2023.03 版本的 Anaconda

接下来运行 webui-user.bat 文件，我在过程中遇到很多问题，没有问题的同志可以跳过这一节

安装 CUDA 11.7

下载链接：https://developer.nvidia.com/cuda-11-7-0-download-archive

torch

安装 torch 1.13.1+cu117，torchvision 0.14.1+cu117

webui-user.bat 会自动安装，如果安装太慢可以手动安装

webui-user.bat

修改这个文件，配置 VENV_DIR 为 Anaconda 路径，例如：

set VENV_DIR=D:\ProgramData\anaconda3\Scripts

webui.bat

将 set PYTHON="%VENV_DIR%\Scripts\Python.exe 修改为：

set PYTHON="%VENV_DIR%\Python.exe

这样就将 Python 环境配置为刚刚安装的 Anaconda 了

gfpgan

安装 gfpgan 时失败： RuntimeError: Couldn't install gfpgan

原因八成是网络的问题，解决方法是直接到 github下载 GFPGAN 代码到本地，并进行本地安装。

python setup.py develop

如果遇到其他 github 上的模块无法安装也可以用同样的方法。

CLIP

安装 CLIP 仓库链接

stable-diffusion-stability-ai

仓库地址： https://github.com/Stability-AI/stablediffusion

注意：克隆仓库时需要命名为 stable-diffusion-stability-ai

安装 xformers

需要安装 xformers

pip install xformers

ChilloutMix & LoRA

这样 Web-UI 需要的环境配置好了，需要下载模型

按照大佬的教程，选用 https://civitai.com/models/6424/chilloutmix 模型作为基础模型，模型大小 3.97GB

下载完成后放在 models/Stable-diffusion/ 文件夹下，文件名为 chilloutmix_NiPrunedFp32Fix.safetensors

其余的可以在 CivitAI 访问下载，注意需要选择 Automatic 1111 Web UI (Local) 可用的：

可以选择一个自己顺眼的 LORA 训练模型。LoRA（Low-Rank Adaptation of Large Language Models）粗略地讲就是利用少量的图像来对 AI 进行额外学习训练，并在一定程度上控制结果。

流程上也比较简单，就是基于 ChilloutMix 的训练结果和你自己准备的数据集来进行二次训练，目的是最终输出的内容既具有原始 ChilloutMix 的能力，又更倾向你提供的数据的特征。

下载的模型也一并放进 models/Stable-diffusion/ 文件夹下

生成图像

运行 webui-user.bat 文件，如果出现 Running on local URL: http://127.0.0.1:7860 表示本地服务器启动成功

venv "D:\ProgramData\anaconda3\Scripts\Python.exe"
Python 3.10.9 | packaged by Anaconda, Inc. | (main, Mar  1 2023, 18:18:15) [MSC v.1916 64 bit (AMD64)]
Commit hash: a9fed7c364061ae6efb37f797b6b522cb3cf7aa2
Installing requirements for Web UI
Launching Web UI with arguments:
No module 'xformers'. Proceeding without it.
Loading weights [31df16b1e2] from E:\lab\stable-diffusion-webui-bak\models\Stable-diffusion\actressSatomi_v10.safetensors
Creating model from config: E:\lab\stable-diffusion-webui-bak\configs\v1-inference.yaml
LatentDiffusion: Running in eps-prediction mode
DiffusionWrapper has 859.52 M params.
Applying cross attention optimization (Doggettx).
Textual inversion embeddings loaded(0):
Model loaded in 10.7s (create model: 8.3s, apply half(): 0.4s, move model to device: 0.7s, load textual inversion embeddings: 1.1s).
Running on local URL:  http://127.0.0.1:7860

To create a public link, set `share=True` in `launch()`.

访问 http://127.0.0.1:7860/，选择模型，输入关键词可以体验生成图像啦 ~