【玩转 GPU】ControlNet 初学者生存指南

这是一个充满文艺气息的 ControlNet 快速指南和绘画技巧，本文档的目标是通过描述一张二次元的照片是如何通过ControlNet生成一张满意的三次元照片，来帮助你初步了解如何使用ControlNet。本文假设你已经有使用stable-diffusion-webui的经验。

你在图像编辑中尽情发挥之前，需要：

• 一、先准备一张你钟爱的原始照片，让它成为你的创作灵感。比如：

原始照片

• 二、接着，安装 ControlNet，这是一个神奇的工具，可以让你轻松实现你的创意想法。你可以在 stable-diffusion-webui 上安装 ControlNet 的稳定版本，为你的创作之路打下坚实的基础。 stable-diffusion-webui下载地址： https://github.com/AUTOMATIC1111/stable-diffusion-webui

安装 ControlNet

安装完成后需要重启stable-diffusion-webui。

• 三、如果你想要更加出彩的创作，那么你可以使用 ChilloutMix 模型进行编辑。这是一个超级厉害的真人照片训练的 AI 模型，可以让你的真人照片创作变得更加生动有趣。你可以在 Civit AI 网站上下载 ChilloutMix 模型，让你的创作更上一层楼。 ChilloutMix 模型下载地址： https://civitai.com/models/6424/chilloutmix

以下是 ControlNet 快速指南和绘画技巧，让你在图像编辑中尽情发挥创意，创造出更加出彩的作品。

第一步：生成创意小图

我把源照片复制到 【txt2img文生图】 ，并启用了 ControlNet，你可以复制下面的设置，但要确保将分辨率设置正确。

txt2img

在使用 SD 1.5 或更早的版本，一般的经验法则是，使用较小的分辨率 512x512，其他的根据你的想法来配置。（我这里选择了512x768的原始照片，所以【Width宽度】设置为512，【Height高度】设置为768）

生成过程

生成结果

多次执行第一步，最终获得满意的创意小图，记住对应的Seed。过程中，你可以多次调整ControlNet的Preprocessor和Model，尝试不同的效果。

如果对多次点击【Generate生成】觉得麻烦，可以使用Script - X/Y/Z pilot 单次生成多张照片选择合适的Seed。

第二步：生成大图

现在我们需要更多的细节，所以我把分辨率提高了一倍，这很简单，只要勾选【Hires. fix】，并选择Upscale by为2。

生成大图

尝试调整【Denoising strength笔画强度】，此值越大与提示词的匹配度越高，此值过大则也可能导致图片崩坏。

Denoising strength==0.35

Denoising strength==0.55

Denoising strength==0.85

可以很明显看出，Denoising strength越大，越像真人，也越与原始图不一样。

第三步 重绘照片人物局部

在重新绘制了一个我满意的高分辨率版本后，我们导入到【img2img - inpaint sketch】，并开始逐个修复画面，我从人物开始。这里使用ControlNet - openpose处理人物动作和姿势。这一步非常耗费时间和精力。

重绘结果

第四步 重绘照片其他局部

在前景和背景的不同地方重复与主体相同的过程。我们导入到【img2img - inpaint】，并开始逐个修复画面。这里关闭了ControlNet。这一步非常耗费时间和精力。

重绘结果

我在照片的多个部分重复这个过程，直到我对人物和背景感到满意。

第五步 照片放大

在这之后，就到了放大的时候了，如果你用的是标准 SD，那么你就可以使用放大的选项了。

第六步 传统处理

使用 Photoshop做一些润色，这里不再赘述。