万能模型 ControlNet Union ！10+控制效果一键生成！

关注无为设计研究所，了解更多精彩世界！

大家好，这里是和你们一起探索 AI 的花生~

Controlnet 可以说是目前最重要的一款 AI 绘画控制插件，可以帮我们实现轮廓、深度、动作姿势、颜色等多种控制效果。由于每种控制条件都需要调用不同的控制模型，加上 SD1.5 和 SDXL 的生态并不互通，大家肯定都至少安装了十几种模型文件，给磁盘空间带来了很大的压力。

最近一款名为 ControlNet++ 的模型却改变了这个状况，它将十多种控制功能合为一体，只需要安装一个模型，就能和多种不同的预处理器搭配使用，今天就来看看它的具体用法。

一、ControlNet++简介

ControlNet++，也称为 ControlNetPlus，目前更普遍的称呼是 Controlnet Union，它是一款新训练的 ControlNet 控制架构，融合了 10 多种控制模型，适用于 SDXL 1.0 生态。与独立控制模型相比，它的处理效果没有明显下降，使用起来也非常方便，所以推出后很快就受到了广泛关注。

Controlnet Union 融合的控制类型一共有 13 种，可以分为 6 大类：

openpose 动作姿势

depth 深度

thick line 粗线条 (包括：scribble / hed / softedge / ted-512 )

thin line 细线条 (包括：canny / mlsd / lineart / animelineart / ted-1280 )

normal 法线贴图

segment 语义分割

除了单独使用，Controlnet Union 也支持多重控制。也就是我们可以同时开两个控制窗口，使用不同的预处理器，然后同时选择 Controlnet Union 做为控制模型，这样运行起来显存压力更小。

Controlnet Union 的模型权重已经开源，目前 SD WebUI 和 ComfyUI 都可以使用，下面介绍具体的安装方法。

二、在 SD WebUI 中使用

从 Huggingface 上下载名为 diffusion_pytorch_model.safetensor 的模型文件，为了方便识别，将其名称改为 controlnet++_union_sdxl.safetensor，然后放到根目录的 extensions\sd-webui-controlnet\models 文件夹中。

将 Controlnet 插件更新到最新版本，然后启动 WebUI，就能在 Controlnet 控制列表里看到 controlnet union 的选项了，使用时记得选择 SDXL 系列的大模型。我的显存是 8G，在用 controlnet union 时出现了内存不足的报错，但是使用独立模型时不会有这样的问题，感觉 union 还是会需要更高的 VRAM。

另外 controlnet union 目前不适用于以下预处理器：

带面部和手部的姿势骨架的模型，比如 openpose_full，openpose_hand、openpose_faceonly 等，因为 union 没有对这些内容进行训练，生成的图像会出现错误。

seg_ofade20k 语义分割预处理器。

三、在 ComfyUI 中使用

如果想在 ComfyUI 中使用 Controlnet Union，同样先下载文件，改名后并安装到 ComfyUI\models\controlnet 文件夹，或者 SD WebUI 共用路径中的 models\controlnet 文件夹中（模型资源可以在文末资源包中下载）。

下图是一个最基础的 controlnet 调用工作流（文末资源包可下载），在 ComfyUI 中运行起来非常顺利，没有出现爆显存的情况。运行此工作流前，需要注意：

图像尺寸记得与上传的图像保持一致；

选择 SDXL 大模型，如果模型不同，生成步数、CFG、采样器等参也需要同步修改；

检查是否正确地选择了 controlnet union 模型。

我还搭建了一个多重控制工作流，可以同时使用两种控制条件（超过两个后 controlnet union 的效果就会变差），使用时可以多尝试不同的 contorlnet 强度，获取更好的效果。对于新手来说，可以先熟悉这两个基础工作流的节点构成，等熟悉之后就能将 controlnet union 结合到其他更复杂的工作流中了。

那么以上就是对新的 AI 绘画控制模型 Controlnet Union 的介绍，从总体上来说它的效果还是不错的，而且使用更方便，也省空间，非常推荐大家都使用。当然如果你想要更精致的出图效果，用最新的独立模型效果肯定会更好。