首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Stable Diffusion ControlNet 深度约束|一键提取特征图,不再花冤枉钱

这是一套 0 基础入门的AI绘画系列课程,不需要任何基础!涉及全面:环境搭建、基础篇、进阶篇、应用篇、模型篇以及行业解决方案篇

课程制作不易,爱学习的你一定不要忘了订阅关注哦~~

经过前面的学习,我们知道 ControlNet 分为了 预处理器和模型。使用 ControlNet 的过程就是使用 预处理器 对原图进行 特征提取,然后基于选择的 ControlNet 模型结合提示词渲染新图。

这一节大A会分享 4种深度预处理器 和 深度模型 的使用。

一 Stable Diffusion Depth 深度约束

如果你了解三维动画的一些知识,那你肯定知道深度图,图像当中只有黑白二色,图片颜色越浅的区域,代表距离镜头越近;图片越是偏黑色,则代表这部分区域距离镜头越远。

而 处理器&模型的主要功能是捕捉画面的深度,获取图片前后景关系。并且根据深度关系渲染新的图。

也就是说,当我们需要某张图的 深度图 时,我们可以直接一键导入 Stable Diffusion 直接提取特征即可。

二 4种深度预处理器

我们在提取深度特征的时候由于提取的程度和细节的需求不一致,所以出现了不同的预处理器,下面四种预处理器我们按照细节提取程度从小到大列举

Depth Midas:经典的深度预处理器。也是官方默认的预处理器

Zoe:提取的细节介于 Midas 和 Leres 之间

Depth Leres:更多细节,也倾向于渲染背景

Depth Leres ++

我们直接上对比图

原图

特征图提取

提取方式和参数介绍我们可以参考之前的课程

步骤:

上传原图

启用,并打开 预览

选择预处理器,模型可以先不用选。提取特征图只需要选 预处理器即可

点击预处理和模型中间的 图标进行特征提取

最后我们可以得到4种特征图的效果图

如果你不需要过多的 前后景 关系,直接选择 即可,如果需要保留非常多的后景细节和深度关系,那么毫无疑问,选择 。

三 特征图提取后出图

ControlNet 提取后出图

直接基于上面的四个特征图看看出图效果比较

为了保证出图的效果尽可能的减少非 特征图的影响。我们把参数和种子都设置成一样的。最后可以得到下图效果

参数设置

ControlNet 设置

不同的预处理器出图效果

可见,虽然 提取到的细节最为丰富,但是也在一定程度上影响了后景的渲染,和原图的差异比较大。但对于前景图,每个预处理器的特征得到的新图效果都非常好。

直接上传深度特征图出图

如果我们已经有了一张深度图,希望根据提供的提示词渲染出一张新的具备相同深度关系的新图,那就可以直接使用 模型,不需要使用预处理器;

找一个深度图:

设置合适的提示词和参数:

出图效果:

可以看到最终的 深度关系 和深度关系特征图是一样的。

ControlNet 深度约束的作用 其实就是保证我们渲染出的新图和原图的前后影关系完全一致。

通过深度特征提取之后,Depth 将会严格根据生成的深度图图去生成图像,无论是室内还是室外,都将会在与原图前后景位置信息差不多的地方生成相关物体。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OGFn1kOjjQr4uopwdHtBfGwQ0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券