基于腾讯云HAI搭建Stable Diffusion大模型的文生图及训练完美环境

【部署用于文生图/图生图的Stable Diffusion WebUI V1.9环境及插件】

一、准备工作

1、登录https://buy.cloud.tencent.com/hai，购买一台首尔或东京的HAI机器（必须选海外机器才能下载插件），应用选”AI模型“-”Stable Diffusion WebUI“

2、在HAI控制台选“更多”-“云硬盘扩容”，将硬盘扩容到120G

二、升级WebUI到V1.9

1、在HAI控制台打开JupyterLab后台

2、在右侧操作窗口，新建一个Terminal窗口用于指令操作

3、pip install torch==2.1.2+cu118 xformers==0.0.23.post1.+cu118 torchvision==0.16.2 pytorch-cuda==12.1

4、conda config --add channels conda-forge

5、conda install cudatoolkit=11.8

6、选y确认

7、cd stable-diffusion-webui

8、git pull

9、pip install -r requirements.txt

10、在Jupyter Lab左侧目录栏，进入stable-diffusion-webui/repositories/目录里，创建一个名为stable-diffusion-webui-assets的子目录

11、在HAI控制台关机重启

三、安装腾讯COSCMD（非必要，方便跟COS互通）

1、在控制台打开JupyterLab后台

2、在右侧操作窗口，新建一个Terminal窗口用于指令操作

3、pip install coscmd

4、pip install coscmd -U

5、从腾讯云控制台获取<SECRET_ID>和<SECRET_KEY>

6、参考“对象存储 COSCMD 工具-工具指南-文档中心-腾讯云 (tencent.com)”制作配置文件.cos.conf

7、从控制台获取主机IP，从站内信获取用户名及密码，下载并安装WinSCP远程登录后台

8、将.cos.conf上传到/root/

四、安装ControlNet预处理器

1、在控制台打开JupyterLab后台

2、在右侧操作窗口，新建一个Terminal窗口用于指令操作

3、wget -N http://mirrors.tencentyun.com/install/HAI/install_hai_tools.sh -P /tmp && bash /tmp/install_hai_tools.sh && python3 /root/hai_application/qcloud_hai/hai_tools/download_models_main.py --model-class controlnet Annotators

五、安装常用关键插件

1、在控制台打开Gradio WebUI

2、页面上方操作菜单点选“扩展”-“从网址安装“

3、WD14反推插件：在“扩展的Github仓库网址“输入https://github.com/picobyte/stable-diffusion-webui-wd14-tagger，点”安装“

4、Prompt提词器插件：在“扩展的Github仓库网址”输入https://gitcode.net/ranting8323/sd-webui-prompt-all-in-one.git，点“安装“

5、Adetailer修脸插件：在“扩展的Github仓库网址“输入https://github.com/Bing-su/adetailer.git，点”安装“

6、页面上方操作菜单点选“扩展”-“已安装“，点”应用并退出“

7、在HAI控制台关机重启

8、页面上方操作菜单点选“扩展”-“WD1.4反推“，拉到下方勾选” 完成后从显存中卸载模型 (推荐勾选)“，然后随便传一张照片进去执行”开始反推“。等待一段时间完成所需模型的自动下载，并看看效果。

六、安装换脸插件Reactor

1、在控制台打开Gradio WebUI

2、页面上方操作菜单点选“扩展”-“从网址安装“

3、WD14反推插件：在“扩展的Github仓库网址“输入https://github.com/Gourieff/sd-webui-reactor，点”安装“

4、在HAI控制台关机重启，重新打开Gradio WebUI

5、随便写一段生成人像的文生图Prompt，例如“1girl,realistic,photo_(medium),looking_at_viewer,portrait,“，然后往下拉、展开ReActor组件、上传一张人像，执行”生成“。等待一段时间完成所需模型的自动下载，并看看效果。

七、安装各种Checkpoint主模型

1、从liblibai或者civalai网站下载喜欢的主模型

2、在Jupyter Lab左侧目录栏，将主模型上传到/stable-diffusion-webui/models/Stable-diffusion/目录

八、使用Stable Diffusion

1、在控制台打开Gradio WebUI

2、左上角点按钮刷新，选择自己下载回来的主模型

3、写Prompt，点“生成“，即可出图

4、由于首尔/东京的HAI资源稀缺，可将应用存档、搬迁到上海区域，一键重新部署

【部署用于Lora微调训练的Kohya_ss环境】

一、准备工作

登录https://buy.cloud.tencent.com/hai，重新购买一台首尔或东京的HAI机器，应用选”AI框架“-”PyTorch2.0.0“

二、安装Kohya_ss_GUI V24.0.3

1、在控制台打开JupyterLab后台

2、在右侧操作窗口，新建一个Terminal窗口用于指令操作

3、apt update -y

4、apt install -y python3-tk

5、apt install libgl1-mesa-glx

6、选y确认

7、git clone -b v24.0.3 https://github.com/bmaltais/kohya_ss.git

8、cd kohya_ss

9、./setup.sh （这一步会从pytorch下载很多东西，可能无反应1小时以上）

10、accelerate config，选项全选默认

三、安装腾讯COSCMD（非必要，方便跟COS互通）

1、在控制台打开JupyterLab后台

2、在右侧操作窗口，新建一个Terminal窗口用于指令操作

3、pip install coscmd

4、pip install coscmd -U

5、从腾讯云控制台获取<SECRET_ID>和<SECRET_KEY>

6、参考“对象存储 COSCMD 工具-工具指南-文档中心-腾讯云 (tencent.com)”制作配置文件.cos.conf

7、从控制台获取主机IP，从站内信获取用户名及密码，下载并安装WinSCP远程登录后台

8、将.cos.conf上传到/root/

四、运行Kohya_ss

1、在HAI控制台打开JupyterLab后台

2、在右侧操作窗口，新建一个Terminal窗口用于指令操作

3、cd kohya_ss

4、./gui.sh --share

5、复制下图红圈链接到浏览器，即可登录Kohya_ss页面

五、备注

1、这台HAI没有安装Stable Diffusion WebUI，训练出来的模型需要转移到SD WebUI的机器进行文生图/图生图。

2、由于首尔/东京的HAI资源稀缺，可将应用存档、搬迁到上海区域，一键重新部署

3、Lora训练需要作为微调对象的主模型，可从liblibai或者civalai网站下载风格相似的主模型，并在Jupyter Lab左侧目录栏将主模型上传到Kohya_ss服务器里面