【AI绘图教程】实时绘图脚本！搭配ControlNet新模型使用！手残党福音？

一般的图生图和文生图加上ControlNet模型,每次稍微改一下可能就要手动去点点按钮,这稍微有点麻烦.正好有一个插件

看不懂?跟着做就完了.

使用前提,安装stable diffusion web ui

安装

这不是插件,所以下载下来放个地方就行

配置

安装后需要进行设置,打开web ui设置界面,点击ControlNet允许其他脚本控制扩展.

image-20230429224903663

这样就可以让脚本实时控制这个模型了

然后需要开启web ui的Api模式,可以新建一个文件比如

主要更改控制参数加上,这样不用打开GUI了,

使用

首先运行刚才的脚本启动

image-20230429231408444

打开下载的文件夹,点击,这个脚本会创建一个虚拟环境并下载一些包

image-20230429225628415

运行后会有文件可以进行配置,

config.json文件处理全局界面和脚本配置。

controlnet.json或img2img.json文件可以用来配置提示、负提示、种子、控制网模型等。当你保存json文件时，程序会在下一次刷新后或按回车键时使用它。

一个controlnet-high.json-dist的例子配置文件可以获得更好的图像质量，代价是延长渲染时间。只能用强大的显卡来使用。

如果你想在你的controlnet扩展中添加额外的模型，你可以通过将模型文件夹添加到controlnet扩展的模型文件夹中来实现。

注意,一定要进行配置不然会闪退,打开文件,端口要与打开的程序一致,配置ControlNet模型路径

后续发现这个仓库Bug也不少,我写这篇文章的时候作者还在更新！！

image-20230430081500865

我在写着这篇文章的时候这个脚本也有Bug,更改了文件中的一些代码

image-20230430081815293

更新后的文件有了

image-20230430082352075修改一下源代码

截止到发文为止,脚本还是有点问题,中

代码有一点问题,这里有两种修改方法(如果你运行程序没报错那就不用改了)

第一种

删除typing的使用,修改如下

第二种

引入模块的,把改为

修改后运行,注意运行之前也要运行刚才的,也就是加上参数运行stable diffusion web ui.

操作介绍

最后结果

显卡爆了...

还是,不错的...吧

注意

由于脚本作用其实是不断地向ControlNet发送请求将你画的作品通过图生图功能更新,本人实际使用时配置不太好的笔记本跑起来还是有些卡顿的.

这个信息就表示显存小了,显存溢出.

一个可行的解决办法是先按暂停动态渲染,画好后再按渲染,同时画错了可以使用鼠标中键擦除,按键e+左键擦除更多.

考虑在启动脚本中增加参数

比如下面配置

不过还是有可能显存溢出, 哭/(ㄒoㄒ)/~~

参考资料

1. SdPaint/INSTALL_Windows.md at main · houseofsecrets/SdPaint · GitHub