【玩转 GPU】ControlNet 1.1 Instruct Pix2Pix 初体验

今天分享一下使用ControlNet 1.1 Instruct Pix2Pix的过程和感受。

Pix2Pix （ip2p）的作用是可以直接对图片进行指令控制：采用指令式提示词（make Y into X 等，详见下图中每张图片上的提示词）

• 模型文件：control_v11e_sd15_ip2p.pth
• 配置文件：control_v11e_sd15_ip2p.yaml

主要设置方式为：

1. 进入img2img，按照上图设置好相应的参数。Prompt按照【make X into Y】的形式填写。
2. 打开ControlNet，选中“Enable”；Preprocessor选择none，Model选择control_v11e_sd15_ip2p；其他参数按照上图设置。无需设置Single Image。
3. 点击“Generate”生成图片。

下面是其他案例，由于其他参数没有变化，因此仅仅贴图和Prompt咒语。

make it into autumn

make it into winter

下面案例换了原始图。

上述效果图体现了提示词效果会影响到人物衣服的颜色。估计这也是为什么ControlNet 1.1 Instruct Pix2Pix还是实验版本的原因。

从上述效果图来看，Denoising至少需要0.75才能有较好的效果。Steps对效果的影响不显著。