首页
学习
活动
专区
圈层
工具
发布
50 篇文章
1
AI绘画专栏之statble diffusion入门(一)
2
AI绘画专栏之statble diffusion入门之插件篇(二)
3
AI绘画专栏之statble diffusion采样方法篇(三)
4
AI绘画专栏之statble diffusion炼丹篇(四)
5
AI绘画专栏之statble diffusion SDXL 1.0 (五)
6
AI绘画专栏之statble diffusion SD艺术二维码教程(六)
7
AI绘画专栏之statble diffusion 大模型 Lora 测试实战(七)
8
AI绘画专栏之statble diffusion controlnet 篇(八)
9
AI绘画专栏之statble diffusion 放大图片 (九)
10
AI绘画专栏之statble diffusion 漫画线稿上色 实战篇(十)
11
AI绘画专栏之statble diffusion 风格迁移 IP Adapter SD vs SDXL (十一)
12
AI绘画专栏之statble diffusion regional-prompter 分区上色 SD SDXL1.0 (十二)
13
AI绘画专栏之statble diffusion 提示词插件 篇(十三)
14
AI绘画专栏之statble diffusion 提示词embedding (十四)
15
AI绘画专栏之statble diffusion ComfyUI从入门到放弃(十五)
16
AI绘画专栏之statble diffusion 炼丹素材批量调整分辨率 (十六)
17
AI绘画专栏之statble diffusion 电商场景应用篇(十七)
18
AI绘画专栏之statble diffusion 艺术字体光影文字(十八)
19
AI绘画专栏之statble diffusion SD秋叶启动器1104报错修复 这是个bug(十九)
20
又一里程碑!!GPT4全家桶16倍性能提升API降价
21
AI绘画专栏之 comfyUI WEBUI一个插件性能就提升5倍?(21)
22
AI绘画专栏之statble diffusion AI绘画&游戏速度翻倍 显卡硬件飞天了(22)
23
AI绘画专栏之statble diffusion SDXL 1.0 更加精细的OpenPose DW Openpose(23)
24
AI绘画专栏之statble diffusion SDXL 1.0 换脸roop easyphoto (24)
25
AI绘画专栏之statble diffusion SDXL 1.0 FaceSwapLab roop 换脸(25)
26
AI绘画专栏之statble diffusion SDXL 1.0 用AI绘画打造最炫酷de双11电商节
27
AI绘画专栏之statble diffusion SDXL 紧急通知!!SD秋叶启动器1104报错修复 这是个bug(二十)
28
AI绘画专栏之statble diffusion SDXL 1.0 Inpainting anything VS segment-anything 使用教程
29
AI绘画专栏之statble diffusion SDXL 1.0 解决下载git仓库慢 超时(time out),SSL,git403 404(25)
30
AI绘画专栏之statble diffusion SD XL 1.0 修复脸部 (29)
31
AI绘画专栏之statble diffusion SDXL 1.0 4种方式stable diffusion无需提示词文生图 | 图生图(31)
32
AI绘画专栏之statble diffusion SDXL 1.0 模型管理 大模型Lora(30)
33
AI绘画专栏之statble diffusion AI绘画提示词又进化 text rich(33)
34
AI绘画专栏之 SDXL AI动画手把手教程(34)
35
AI绘画专栏之 SDXL controlnet 老照片上色教程(35)
36
AI绘画专栏之 SDXL controlnet API教程(36)
37
AI绘画专栏之 SDXL Fooocus!让SD跟Midjourney一样简单易用!(37)
38
啊?AI绘画一个插件性能就提升5倍?尊嘟假嘟
39
又一里程碑!!GPT4全家桶16倍性能提升API降价
40
一键放大 10+免费好用的AI图像高清放大工具
41
AI绘画提示词又进化 放弃局部重绘 富文本提示词生效
42
7个可以AI视频网站手把手教程评测 附带chatGPT官方prompt教程
43
AI绘画专栏之 SDXL 插件之保持图片比例(41)
44
AI绘画专栏之 SDXL Stability Veidoe SVD动漫转动画制作(43)
45
AI绘画专栏之 SDXL AnimateDiff替代品动漫转动画制作(42)
46
AI绘画专栏之 SDXL 新的换脸插件使用非roop(38)
47
AI绘画专栏之 SDXL 查看历史提示词的N种方法(44)
48
AI绘画专栏之stablediffusion 用于扩散模型精确控制的 LoRA 适配器 (47)
49
AI绘画专栏stablediffusion之 AI 艺术的未来就在这里 (48)
50
重大更新!!!4G显存就能跑SDXL ?SD1.7或将对F8优化merge

AI绘画专栏之statble diffusion入门(一)

日常问题排查

1.加载时间过长

需要开启一次魔法

2.插件更新

CN大更新需要重启2次

3.启动闪退

什么是SD?

Stable Diffusion 是一个2022年发布的深度学习文本到图像的潜在扩散模型(LDM / Latent Diffusion Model),由 CompVis、Stability AI 和 LAION 的研究人员和工程师创建。它使用来自 LAION-5B 开源数据库子集的512x512图像进行训练,通过引入隐向量空间来解决 Diffusion 速度瓶颈,除了可用于文生图任务,还可以用于图生图、特定角色刻画,甚至是超分或者上色任务

启动器下载

我用夸克网盘分享了「SD启动器下载」,点击链接即可保存。打开「夸克APP」,无需下载在线播放视频,畅享原画5倍速,支持电视投屏。 链接:https://pan.quark.cn/s/b16bc4d3ff88

Stable Diffusion 是一个2022年发布的深度学习文本到图像的潜在扩散模型(LDM / Latent Diffusion Model),由 CompVis、Stability AI 和 LAION 的研究人员和工程师创建。它使用来自 LAION-5B 开源数据库子集的512x512图像进行训练,通过引入隐向量空间来解决 Diffusion 速度瓶颈,除了可用于文生图任务,还可以用于图生图、特定角色刻画,甚至是超分或者上色任务

如何理解呢?

当向平静的湖面扔了一个小石子,水波纹向周边扩散最终恢复平静的过程,我们称之为稳定扩散,在图像生图原理中扩散过程是指,将一个图像经过多次迭代,逐渐变得模糊、扩散的过程。在这个过程中,图像的细节信息会逐渐消失,只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性

稳定扩散(Stable Diffusion)是一种用于图像生成的人工智能模型,它基于扩散过程。扩散过程是指,将一个图像经过多次迭代,逐渐变得模糊、扩散的过程。在这个过程中,图像的细节信息会逐渐消失,只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性,即在扩散过程中,模型能够学习到图像的稳定特征,从而生成具有较高质量的图像。 稳定扩散模型通常使用生成对抗网络(GAN)进行训练。GAN 由两个部分组成:生成器和判别器。生成器负责生成图像,判别器负责判断图像是真实图像还是生成的图像。在训练过程中,生成器和判别器互相对抗,生成器试图生成更真实的图像以欺骗判别器,判别器则试图识别出真实图像和生成图像。通过不断的迭代训练,生成器能够提高生成图像的质量。 U-Net 是一种特殊的生成对抗网络结构,它主要用于图像生成任务。U-Net 的结构呈“U”形,它将生成器和判别器都拆分成两个部分,分别位于“U”形的两端。其中,一端的生成器负责生成低分辨率的图像,另一端的生成器负责生成高分辨率的图像。判别器也同样分为两部分,分别对应低分辨率和高分辨率的生成器。 U-Net 之所以有效,是因为它采用了一种称为“跳跃连接”的技术。跳跃连接允许低分辨率生成器直接获取高分辨率生成器的输出,从而帮助低分辨率生成器更好地学习到高分辨率图像的细节信息。通过这种方式,U-Net 能够生成高质量、高分辨率的图像。

问题速查

- CUDA out of memory: 炸显存 换启动参数 换显卡 - DefaultCPUAllocator: 炸内存 加虚拟内存 加内存条 - CUDA driver initialization failed: 装CUDA驱动 - Training models with lowvram not possible: 这点显存还想炼丹? - WinError 5: 建议重装电脑,或者等下一个整合包

硬件要求

Windows 10 的详细信息:

  • 操作系统: Windows10
  • python: python 3.10
  • pytorch: torch2.0.1
  • tensorflow-cpu: 2.13.0
  • CUDA: 11.7
  • CUDNN: 8+
  • GPU: Nvidia-3060 12G

如何查看自己的显卡和显存?

桌面右键 任务管理器

点击性能 显卡型号 显存大小

基础部署流程同云服务器部署步骤一样显卡建议N卡即英伟达的显卡,显存建议12G以上,固态建议2T,与主板兼容读写速度更佳

1.显卡配置要求为N卡优先,适配程度高,CPU与主板要求不是很高,但需要跟显卡适配,运行过程温度较高(80度左右是正常的不用担心,如果有条件可以物理降温:冰块,玻璃侧板换成防尘纱网),所以散热需要跟上,需要ATX3.0电源或者850W以上(针对90系列显卡),可以物理降温,空调拉倒最低

本地部署步骤,下面有一键安装包无需任何操作,不需要准备任何环境,但基础环境需要自己准备,方便后续使用

优先有N卡的来,1060/ti也能玩,A卡能玩吗?苹果!!!也能玩,但是A卡的教程少,显存不够的也劝退,总之AI有风险,N卡在咆哮。

2.论文和资料极其多,丧心病狂的多

3.苹果电脑需要系统在12.1+但是建议大家N卡

4.笔记本也可以,所有的N卡在低配环境下可以使用CPU跑图,但是建议大家N卡(算了手动滑稽)

这里给大家一个显卡的出图速度参考,方便大家升级显卡: 默认 512*512分辨率 啥也不设置 20步 4090 ----- 36its 大概0.6秒一张图 (王者) 4070ti ---- 19its 大概1秒一张图 (40系最佳性价比 6500块) 3090 -------19its 大概1秒一张图 3080 -----15its 大概1.3秒一张图 2080ti ------14its 大概1.4秒一张图 (最佳性价比 2500块) 3070ti-------10its 大概2秒一张图 3060ti ------6its 大概3秒一张图 2070 -------4its 大概5秒一张图 1080ti -----3its 大概6秒一张图 1650 --------2its 大概10秒一张图 1060 --------1.5its 大概15秒一张图

内存建议上固态PCIE4.0,买之前确认好自己的主板传输速度是否支持,一定上大空间

由于本插件是批量抽卡 可能显卡速度低于2080ti 抽卡会体验不好 开高清后更是全部速度会减半 所以大家可以根据榜单对应升级显卡。 如果你的速度没有达到上面的测速 说明你的SD整合包 可能不是满速包,可以下载秋叶最新包或者群主公告的整合包。 如果不想自己搞硬件,可以尝试云端部署。

WEBUI安装

1.点击zip包解压缩到非C盘盘符,尽可能使用固态硬盘提升读写速度

安装

解压网盘文件

第一步点击启动器运行依赖

第二步解压缩zip文件夹

第三将可选controlnet模型放置\sd-webui-aki-v4\extensions\sd-webui-controlnet\models

你生成的图都放在output文件夹里了

文生图在\outputs\txt2img-images

图生图在outputs\img2img-images

你的插件任意插件都在sd-webui-aki-v4\extensions

你的插件如果需要模型那么也在你的插件里的models文件夹

2.先点击启动器运行依赖安装必要的软件环境,安装完成后点击启动器.exe双击启动

1.一键启动:启动软件和快速查询目录以及版本信息

2.高级选项:非必要勿动

3.疑难解答:有问题可以先看教程

4.版本管理:管理本地版本,插件版本的切换

5.模型管理:出图所需要的全部模型

6.小工具:出图所需要的tag解析器等等

7.小灯泡:切换白色或者深色主题

8.设置:非必要勿动

ctrl + enter 直接出图

Hypernetworks

一种微调 CLIP 和 Unet 权重的方法,使用方法同Lora

采样方法区别

webui插件下载

汉化

2.基础设置调出大模型,vae,clip

3.优化方案设置

3.图片管理器安装

代码语言:javascript
复制
https://github.com/zanllp/sd-webui-infinite-image-browsing

1.基础环境准备(启动器无需安装,但建议安装git)

注:会更改本地代理服务器,第二次上网需要关闭,或者长期开启,关闭在控制台设置:搜索代理,关闭代理,拉取ncpm/git远程仓库开启加速,

物理加速:凌晨下载模型,仓库,拉取镜像等等

Python:版本3.10或者3.9+

Git:官网下载地址:

Pytorch/CUDA:官网拉取GPU对应的pytorch https://pytorch.org/get-started/locally/

2.配置要求N卡 参考主页AI算力跑图性能

个人配置跟不上的推荐online

1.1 WD tagger【线稿提示词提取】

1.2插件下载

1.3下载完插件记得重启UI

1.4菜单功能解释

爆显存参数设置:

第一步: 点击键盘 Win + R 然后输入%temp% 回车进入文件夹后删除所有缓存文件 第二步: 开始 - 设置 - 系统 - 存储 - 其他 - 删除文件夹里面的所有内容 开始 - 设置 - 系统 - 存储 - 临时文件 - 选择性删除 第三步: 我的电脑 - 上方路径处输入:%LocalAppData%\pip - 点击回车 - 把cache里的所有文件夹删掉 最后: 清空回收站

Tile VAE 防爆内存

4.1.先检查启动器参数:

4.2.外挂VAE选择自定义,不指定为autoencoder(自动解码) 84万

4.3.文件位置:根目录/与exe同级别目录/webui-user.bat,使用文本编辑器打开/或者管理员打开

设置参数

代码语言:javascript
复制
webui-user.bat
@echo off
#此处为新加配置,改动任何配置文件需要备份,一次性不要改动多处!!!
set PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:32
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=

call webui.bat

删除缓存文件

1.把视频转为帧:一键切帧

切帧工具我发给你

2.图生图选择合适的seed

3.转到mov2mov,调整参数,controlnet,步数,重绘幅度

3.解决手部重绘问题

提示词:hand out of frame

反向:bad hands

4.二次元画风参数

((8k, best quality)),((Exquisite facial features)),((Anime style:1.2)),(1girl, full body),((Standing posture ,looking at viewer )),((JK Style,JK short skirt, Football Baby Knee Socks,flashlight)),Cyberpunk, holographic aura, surreal science fiction art, future science fiction aesthetics, Han style clothing, clothing influenced by ancient Chinese operas,masterpiece, best quality,, masterpiece,best quality,ultra-detailed,very detailed illustrations,extremely detailed,intricate details,highres,super complex details,extremely detailed 8k cg wallpaper, blue eyes,white hair, cyberpunk, sense of technology.

反向提示词:

nsfw,(low quality,normal quality,worst quality,jpeg artifacts),cropped,monochrome,lowres,low saturation,mutated hands,mutated fingers,deformed,bad anatomy,disfigured,poorly drawn face,extra limb,ugly,poorly drawn hands,missing limb,floating limbs,disconnected limbs,out of focus,long neck,long body,extra fingers,fewer fingers,,(multi nipples),bad hands,signature,username,bad feet,blurry,bad body

参考图:

5.个人常用大模型总结

个人常用Lora模型:

重绘/inpainting/蒙版重绘/后期处理

1.放大系数选择:默认为regional时,根据画面大小,选择32/64,以重绘中心扩散半径计算,但系数越大,与周边融合越没有违和感

2.inpainting vs 蒙版重绘 vs regional

3.后期处理:upscale系数算法选择一致,scale在0时影响介入,1时效果最小

选择original 再搭配Adetailer 效果不明显,需要选择fill,单元格选择face_mesh ,重绘填充半径32-64效果搭配脸部手部,提示词系数目前推荐0.5以上

cn重绘 inpainting

我正在参与2023腾讯技术创作特训营第三期有奖征文,组队打卡瓜分大奖!

下一篇
举报
领券