利用ControlNet重新定义你的AI姿势

利用ControlNet重新定义你的AI姿势

前段时间给大家分享了如何利用colab实现AI绘画自由[1]又更新了不少新功能。最重要的是可以通过谷歌硬盘的快捷方式导入模型，极大的节省了谷歌硬盘容量。

众所周知，谷歌硬盘免费的只有15G，而每个大模型基本都在2，3G。所以每次要么手动删除一些模型，要么不挂载谷歌硬盘。前者麻烦，后者下载图片更麻烦。。。

现在这些问题都解决了，作者介绍了一种使用谷歌硬盘捷径节省空间的小技巧[2]。只需要在以下模型站点里的模型以快捷方式保存到自己硬盘的对应位置即可。这里以模型站点一为例：选中模型-右键将快捷方式添加到云端硬盘-按步骤选中自己硬盘的文件夹-添加快捷方式。具体如下图：

1

这个时候，你硬盘的模型文件应该是这样的，其他对应文件夹也类似。

image-20230329111336774

⚠️：如果站点里没有且是自己想要的模型，就别删除了哈～ 💡：将大模型删除后记得在回收站也清除，这样就能腾出大量的空间了～ 🧩：当然缺点也有，目前作者提供的站点包含的模型不多，且都是大模型，理论上lora模型也是可以的。所以如果大家有新的站点资源也可以分享哈～一起做大做强。

需要注意的是，ControlNet和T2IAdapter都放在ControlNet文件夹下，如果没有则需要新建改文件夹。 模型站点一（Anything, Counterfeit, VAEs）[3] 模型站点二（AbyssOrangeMix, PastelMix）[4] 模型站点三（ChilloutMix）[5] 模型站点四（CamelliaMix2.5D, ControlNet, T2IAdapter）[6]

现在我们在重新回到colab上，在2.1下载SD模型中的model_package选其他，不用填url了。然后将3.1 下载Extensions里的所有插件全部勾选。完成这两步后（其余全部默认），点击全部运行即可。

首次安装完插件后，就不用再勾选这些了，直接用默认的就行。下次只用将2.1下载SD模型中的model_package选其他就可以直接运行了，启动效率直线上升

colab

现在打开webUI你就发现那些快捷方式的模型都可以选择了～

image-20230329112222081

而且也多了不少插件，具体的插件介绍可以看原作的Extensions整理[7]。介绍的已经很详细了，我就不赘述了。

ControlNet应用

回到正题，上次应该算是AI绘画入门吧，之后我也学了一些新知识，顺带分享一下，虽然不及各大佬千分之一，但胜在直白（因为高深的我也不懂，毕竟也新手。哈哈～）

使用起来也很简单，在原先的基础上，点开文生图下面的ControlNet，设置参数后启用即可。

ControlNet参数解释

参数

在刚开始的时候，并不需要全部尝试，大部分的参数选择默认即可。个人建议：点击添加图片->勾选启用和猜测模式->选择预处理器和模型->点击预览结果->文生图即可

有时候点击预览结果没有展示，等等即可，个人使用感觉这个webUI有点反应迟钝，还很容易错误导致需要重启。

简单示例

1. 单人 在网上随机下载个姿势复杂的单人照片（最好不要有复杂背景）。然后按照上述步骤操作，选择canny相关预处理器和模型。预览结果如下，发现边缘检测的还是很不错的。

image-20230329131318743然后设置文生图基本参数和提示词，点击Generate即可，产出的结果还是很不错的。 虽然猜测模式不需要提示词，但是容易出现质量不好的图，所以可以适当加一些提高质量的提示词即可。下面可参考的参数设置，发现大部分默认的效果也很不错。

image-20230329132523005

canny单人

1. 多人 canny在单人模式表现的非常优异，不知道多人姿势怎么样。同样的，在网上随机下载一个多人姿势的图片。然后和上面步骤一样，预览发现边缘检测的效果也很好。

image-20230329133433803但是点开后就会发现人物脸部并不精致。而且由于脸部较小，在不做特别参数处理时，出的人物图容易崩坏。这个时候就需要进行HiRes.fix，尤其是真人模型。以下是一个参数的参考～ ⚠️：3次元的放大算法建议R-ESRGAN 4x+；2次元和2.5次元建议R-ESRGAN 4x+ Anime6B

20230327223710

下面是3次元至2次元的结果（模型分别为chilloutmix_NiPrunedFp32Fix、camelliamix25D_v10、Counterfeit-V2.5_pruned）：

00010-2377483458

00011-2377483458

00012-2377483458

有没有发现3次元的人脸基本一致，这是因为我在提示词加上了lora，如果不加的话，人物比较真实但不精致。因此如果想在多人的模式下加上lora的话，就需要用到别的方式了，例如Latent Couple+OpenPose。

总结

本文介绍了如何利用快捷方式节省谷歌硬盘，并开始通过ControlNet控制人物的姿势。这里只介绍了其中的一种算法canny--快速模仿别人的姿势。其他的算法大伙可以自行尝试，或者参考ControlNet使用教程[8]，里面详尽了各个算法的差异与主要用途。例如适合建筑的mlsd，适合CG建模的normal_map，提取骨骼姿势的openpose等。

ControlNet除了自身插件外，还可以和别的插件合用，例如Latent Couple（+Composable Lora）、poseX、OpenPose Editor、Depth Library。极大的丰富了ControlNet的可玩性。这个有时间单独再说一期～

值得一提的是，有时候当你发现怎么调参数图都崩坏了，可以换一些随机种子，大量出图找一些比较好的图后再修改其他参数试试。

最后，只要你的手机或者pad能访问国外网站，可以将这个colab保存到收藏夹。在手机和pad上就可以AI绘画了，能限制你的，只有colab的免费时间了～

参考资料

[1]

利用colab实现AI绘画自由: https://mp.weixin.qq.com/s?__biz=MzkxMDQyMzU0NQ==&mid=2247485199&idx=1&sn=4a6e446a527da2ca93689e094d8c6a88&chksm=c12ae399f65d6a8f00bab3cb70d88dac4bf980f24aba620d22b21615d1fba1c42d832278f5ef&token=1432077118&lang=zh_CN#rd

[2]

使用谷歌硬盘捷径节省空间的小技巧: https://home.gamer.com.tw/artwork.php?sn=5677784

[3]

模型站点一（Anything, Counterfeit, VAEs）: https://drive.google.com/drive/folders/1nwfhnAMRkufekKsVBNSfKlX52BScklhJ

[4]

模型站点二（AbyssOrangeMix, PastelMix）: https://drive.google.com/drive/folders/1ZxP6h5t68s1n2_iDJAOsTQsSzXmPdPFy

[5]

模型站点三（ChilloutMix）: https://drive.google.com/drive/folders/14fhPkuhd1ZI-pNipEuPAOeTEf8qZjf33

[6]

模型站点四（CamelliaMix2.5D, ControlNet, T2IAdapter）: https://drive.google.com/drive/folders/1dWTjwjwks6rjpccy1SuoVt_bmLrCLvRO

[7]

Extensions整理: https://home.gamer.com.tw/artwork.php?sn=5678466

[8]

ControlNet使用教程: https://openai.wiki/controlnet-guide.html