【玩转GPU】AI绘画专栏stablediffusion SDXL小白入门教程 | 提示词教程 腾讯云专属

推荐阅读

【玩转 GPU】AI绘画、AI文本、AI翻译、GPU点亮AI想象空间-腾讯云开发者社区-腾讯云 (tencent.com)

腾讯云玩转Stable Diffusion 模型-腾讯云开发者社区-腾讯云 (tencent.com)

1. 常见问题排查

<!--br {mso-data-placement:same-cell;}--> td {white-space:nowrap;border:1px solid #dee0e3;font-size:10pt;font-style:normal;font-weight:normal;vertical-align:middle;word-break:normal;word-wrap:normal;}

1. 部署流程
2. 基础部署流程同云服务器部署步骤一样
3. 注意：显卡配置要求为N卡优先，适配程度高，CPU与主板要求不高，但需要跟显卡适配，运行过程温度较高，所以散热需要跟上，需要ATX3.0电源或者850W以上，可以物理降温，空调拉倒最低
4. 本地部署步骤，下面有一键安装包无需任何操作，不需要准备任何环境，但基础环境需要自己准备，方便后续使用
5. 1.优先有N卡的来，1060ti也能玩，A卡能玩吗？也能玩，但是A卡的教程少，内存不够的也劝退，总之AI有风险，N卡在咆哮。
6. 2.论文和资料极其多，丧心病狂的多
7. 3.苹果电脑需要系统在12.1+但是建议大家N卡
8. 4.笔记本也可以，所有的N卡在低配环境下可以使用CPU跑图，，但是建议大家N卡(算了手动滑稽)
9. 5.以上条件都不满足，online，在线社区邀请码官方更新中，邀请码每次更新就被抢光了，大家第一时间关注动态，交流群第一时间发送，内测链接，社区，邀请码实时更新
10. 相关论文：
11. Stable Diffusion官网:https://beta.dreamstudio.ai/generate?from=%2Fdream controlnet 论文地址：https://arxiv.org/pdf/2302.05543.pdf 项目地址：https://github.com/lllyasviel/ControlNet Lora论文：https://arxiv.org/abs/2106.09685
12. 1.1优化启动/运行速度
13. 1.配置优先
14. 2.xfomers
15. 3.显卡驱动更新，对应显卡型号
16. 4.显卡优化至8G以下，8G以上不需要
17. 5.webui设置参数：
18. 1.基础环境准备(启动器无需安装，但建议安装git)
19. git加速器：gitee/github边车devsidercar
20. https://gitee.com/docmirror/dev-sidecar/releases
21. 注：会更改本地代理服务器，第二次上网需要关闭，或者长期开启，关闭在控制台设置：搜索代理，关闭代理，拉取ncpm/git远程仓库开启加速，
22. 物理加速：凌晨下载模型，仓库，拉取镜像等等

1. Python：版本3.10或者3.9+

1. Git：官网下载地址：
2. Pytorch/CUDA：官网拉取GPU对应的pytorch https://pytorch.org/get-started/locally/

1. 2.配置要求N卡 参考主页AI算力跑图性能
2. 个人配置跟不上的推荐online
3. 3.模型拉取/模型之间的搭配，存放路径
4. 大模型存放路径：根路径\sd-webui-aki-v4\models\stable diffution
5. Lora模型存放：根路径\sd-webui-aki-v4\models\Lora
6. Lora如何展示预览图：在lora根目录下存放与Lora模型同名.png图片
7. 示例：
8. [LoHa] Oboro_朧 Concept (With multires noise version)_LoHa v1.0.png
9. [LoHa] Oboro_朧 Concept (With multires noise version)_LoHa v1.0.safetensors

模型一般都是直接下载，插件支持扩展从网址安装/git clone 也支持

1. Lora分门别类：

1. 1.1 WD tagger【线稿提示词提取】

1. 1.2插件下载

1. 1.3下载完插件记得重启UI

1. 1.4菜单功能解释

1. 2.爆显存参数设置：

第一步：
点击键盘 Win + R 然后输入%temp% 回车进入文件夹后删除所有缓存文件

第二步：
开始 - 设置 - 系统 - 存储 - 其他 - 删除文件夹里面的所有内容
开始 - 设置 - 系统 - 存储 - 临时文件 - 选择性删除

第三步：
我的电脑 - 上方路径处输入：%LocalAppData%\pip - 点击回车 - 把cache里的所有文件夹删掉

最后：
清空回收站

1. Tile VAE 防爆内存

1. 4.1.先检查启动器参数：

1. 4.2.外挂VAE选择自定义，不指定为autoencoder(自动解码)
2. 4.3.文件位置：根目录/与exe同级别目录/webui-user.bat，使用文本编辑器打开/或者管理员打开
3. 设置参数

webui-user.bat
@echo off
#此处为新加配置，改动任何配置文件需要备份，一次性不要改动多处！！！
set PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:32
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=

call webui.bat

1. 4.4借助优化工具优化显存

推荐process lasso

删除缓存文件

1. 1.把视频转为帧：一键切帧
2. 切帧工具我发给你
3. 2.图生图选择合适的seed

1. 3.转到mov2mov,调整参数，controlnet，步数，重绘幅度

1. 3.解决手部重绘问题

提示词：hand out of frame

反向：bad hands

1. https://github.com/jexom/sd-webui-depth-lib https://upscale.wiki/wiki/Model_Database 链接：https://pan.baidu.com/s/1jo8SraCqHA0shizeGA-eXQ?pwd=o6sl 提取码：o6sl

1. 4.二次元画风参数
2. ((8k, best quality)),((Exquisite facial features)),((Anime style:1.2)),(1girl, full body),((Standing posture ,looking at viewer )),((JK Style,JK short skirt, Football Baby Knee Socks,flashlight)),Cyberpunk, holographic aura, surreal science fiction art, future science fiction aesthetics, Han style clothing, clothing influenced by ancient Chinese operas,masterpiece, best quality,, masterpiece,best quality,ultra-detailed,very detailed illustrations,extremely detailed,intricate details,highres,super complex details,extremely detailed 8k cg wallpaper, blue eyes,white hair, cyberpunk, sense of technology.
3. 反向提示词：
4. nsfw,(low quality,normal quality,worst quality,jpeg artifacts),cropped,monochrome,lowres,low saturation,mutated hands,mutated fingers,deformed,bad anatomy,disfigured,poorly drawn face,extra limb,ugly,poorly drawn hands,missing limb,floating limbs,disconnected limbs,out of focus,long neck,long body,extra fingers,fewer fingers,,(multi nipples),bad hands,signature,username,bad feet,blurry,bad body
5. 参考图：

1. 5.个人常用大模型总结

1. 个人常用Lora模型：

1. 重绘/inpainting/蒙版重绘/后期处理
2. 1.放大系数选择：默认为regional时，根据画面大小，选择32/64，以重绘中心扩散半径计算，但系数越大，与周边融合越没有违和感
3. 2.inpainting vs 蒙版重绘 vs regional
4. 3.后期处理：upscale系数算法选择一致，scale在0时影响介入，1时效果最小
5. 选择original 再搭配Adetailer 效果不明显，需要选择fill,单元格选择face_mesh ，重绘填充半径32-64效果搭配脸部手部,提示词系数目前推荐0.5以上
6. cn重绘 inpainting
7. 视频教程

1. mov2mov vs Temporal
2. 扩展加载自：https://github.com/Scholar01/sd-webui-mov2mov
3. 1 是否闪动
4. mov2mov在tile模式下如果本身视频动作幅度较大，人不统一，会出现缺帧，少帧，甚至跳帧情况，除了一键合成工具，AR支持视频帧转入然后合成视频，不过AR本身操作的视频合成效果对帧数要求较高，最低30帧，如果需要一键切帧后再转视频有很多在线网站，但是推荐mov2mov形式合成
5. Temporal(Temporalkit)更轻量化，防呆一键操作
6. - 支持多个 ebsynth 项目（以避免 20 个关键帧限制）。 - 自动场景检测，剪切和重组。 - 显著的性能提升。
7. Temporal-Kit+EbSynth效果丝滑
8. git地址：https://github.com/CiaraStrawberry/TemporalKit
9. 2.是否缺帧
10. mov2mov会在1的场景下缺帧
11. Temporal-Kit+EbSynth效果丝滑
12. 3.硬件要求
13. 都需要搭配stable diffusion，如果想要高质量视频可以后期对问题帧进行PS，转入inpainting再次绘制
14. 4.速率
15. 依赖硬件
16. 8.Controlnet预处理器作用
17. 8.1.controlnet开多个tab窗口unit
18. 1.打开设置

1. 2.搜索或者下拉至controlnet,改变最大单元格，重启UI。

1. 3.记得勾选启用才能使用，当启用后最新版会变成绿色

1. 4.预处理器作用

1. 9.SD插件目录推荐
2. 根据个人喜好推荐大家安装插件，首先阅读前文，确定插件和模型的区别，以及插件的安装目录，下面是插件名称以及作用目录安装目录/extentions
3. 1.2.1常用插件3D openpose
4. 1.基础菜单：
5. 文件：可根据文件生成[人物骨骼3D图]，或者上传蒙版图片定位骨骼位置
6. 编辑：撤销/重做
7. 视图：锁定/释放
8. 设置：移动模式控制驱赶姿态移动，非移动控制角度
9. 反馈：忽略
10. 语言：设置为中文

1. 采样方法区别

1. 10.0提示词教程
2. 官网地址：https://github.com/PlexPt/awesome-chatgpt-prompts-zh
3. 10.1.基础概念
4. 如图所示，

1. 绿色文字框为正向提示词，即文本需要出现的风格，人物，景观，主要元素
2. 红色输入框为反向提示词，即文本中不需要出现的元素，即多手，多脚，劣质画质等等
3. 2.提示词由主题人物，元素，背景，灯光，等多个维度构成，提示词对于prompt属于小维度，在prompt维度包含文本对话提示词，AI绘画提示词等等，但遵循原则是统一标准，大部分的规则是可以通过提示词实现的
4. 例如：简单背景，纯人物，多人，单人，表情，pose等等，这些在语义对照表中均提到
5. 3.遵循规则：

1. 4.提示词权重
2. 语法格式：单词:1.1倍，在提示词中不存在前面书写的单词比后面出现的单词权重高(前提是同权重)
3. 第一：相同含义的提示词不会(不该)出现多次，当出现多次例如，1 girl 1 boy ，那么算法认为你需要1 girl or 1 boy or 1 girl and 1 boy，此时语义重复，对画面生成偶发性较高
4. 第二：当相同含义的提示词出现在一前一后的时候，例如 blue hair 、white hair 算法认为那么对同一部分的描述即为：都需要，会出现又蓝又白的头发

1. ，

StableDiffusion是一款利用深度学习的文生图模型，支持通过使用提示词来产生新的图像，描述要包含或省略的元素。 我在这里引入StableDiffusion算法中的Prompt概念，又被称为提示符。 下面的prompt是用来指导AI绘画模型创作图像的。它们包含了图像的各种细节，如人物的外观、背景、颜色和光线效果，以及图像的主题和风格。这些prompt的格式经常包含括号内的加权数字，用于指定某些细节的重要性或强调。例如，"(masterpiece:1.5)"表示作品质量是非常重要的，多个括号也有类似作用。此外，如果使用中括号，如"{blue hair:white hair:0.3}"，这代表将蓝发和白发加以融合，蓝发占比为0.3。 以下是用prompt帮助AI模型生成图像的例子：masterpiece,(bestquality),highlydetailed,ultra-detailed,cold,solo,(1girl),(detailedeyes),(shinegoldeneyes),(longliverhair),expressionless,(long sleeves),(puffy sleeves),(white wings),shinehalo,(heavymetal:1.2),(metaljewelry),cross-lacedfootwear (chain),(Whitedoves:1.2) 仿照例子，给出一套详细描述以下内容的prompt。直接开始给出prompt不需要用自然语言描述： 魔法小樱，权杖，光影，少女

One Button prompt 预设提示词，抽卡

下载插件：

插件--脚本--选择One Button

主题：

Art：

图像类型

预设前缀：

后缀：

NSFW:

1. Gamma教程
2. 完整版视频教学点这里
3. 简单教程：
4. 1.国内邮箱可进行注册

1. 2.主页

1. 3.

1. 4.

1. 5.输入主题

1. 出现生成的主题，可自定义主题

1. 等待生成可发送到邮箱，生成结果可编辑，导出的 PDF 可以用文章后面的转 PPT 工具