AI绘画专栏之HAI起来~Stablediffusion|文生视频|Controlnet|SDXL|Comfyui插件

原创

疯狂的KK

修改于 2024-03-23 18:15:53

3.2K10

代码可运行

文章被收录于专栏：Java项目实战

运行总次数：0

代码可运行

本文持续更新可关注清单，1500人在读的AI绘画专栏，请加入收藏或者加入收藏栏

热知识：点赞是免费的，却可以让up开心好几天；

三连是珍贵的，评论却可以让你更快成为六级大佬；

三连是神圣的，请把你们神圣的三连交给up吧！

求求有缘刷到的小可爱救救糊糊的孩子吧

资料分享区👇👇👇

SD本地安装包
https://pan.quark.cn/s/8e66ada8a434
1.提示词预设：https://pan.quark.cn/s/5a0d7d9d784d 
2.openpose骨骼图:https://pan.quark.cn/s/b73b2531675f 
3.1万张线稿:https://pan.quark.cn/s/51eaee9a5ea7 
4.SDXL生态:https://pan.quark.cn/s/2952bf68e0b0 
5.comfyui工作流集锦:https://pan.quark.cn/s/320387279505 
6.controlnet所有生态:https://pan.quark.cn/s/217f482da2e4
7.Comfyui插件大全：https://pan.quark.cn/s/0aef558217fe
8.Stable diffusion插件大全：https://pan.quark.cn/s/2ae2f155be8b

AI绘画的全部内容 - 阅读清单 - 腾讯云开发者社区-腾讯云

OpenAI Sora 1分钟视频生成现实不存在了！

预计更新央视AI生成字体教程(敬请期待长期更新)

一、引言

简述AI绘画的兴起背景
介绍Stable Diffusion技术及其在AI绘画中的应用
提及ControlNet技术及其对AI绘画的影响

二、Stable Diffusion技术概述

定义Stable Diffusion及其工作原理

三、ControlNet技术详解

解释ControlNet技术的核心概念
分析ControlNet如何增强AI绘画的控制性和精确性
展示ControlNet技术在实际绘画中的应用案例

四、准备工作

介绍所需的硬件和软件配置
推荐学习资源和社区
讨论如何设置合适的学习目标

五、Stable Diffusion实践指南

步骤1：安装和配置必要的软件环境
步骤2：理解并使用Stable Diffusion的基本命令
步骤3：尝试不同的参数设置以获得最佳效果

六、ControlNet应用技巧

技巧1：如何使用ControlNet进行细节控制
技巧2：利用ControlNet实现风格迁移
技巧3：结合ControlNet进行创意合成

七、案例分析

案例1：创建一幅具有特定主题的风景画
案例2：设计一个具有独特风格的动漫角色
案例3：重现经典艺术作品的风格

八、常见问题与解决方案

问题1：如何提高生成图像的质量？
问题2：如何处理模型生成的不相关或不准确内容？
问题3：如何优化工作流程以提高效率？

九、最新技术案例分享和学习和探索的资源链接

Sora、StableForge、StableCasecade、Stable3.0、SDXLLighting、PlaygroundV2.5，Stable webui1.8等

作品展示

写作契机

本文从AI绘画的入门，到实际操作，一步一步带领大家从小白到上手，那么其中最重要的Controlnet和文生视频部分，我们也会一步一步拆解出来，采用图文方式和具体参数复刻央视AI文字生图，为大家带来AI绘画的视觉盛宴。

一、引言

简述AI绘画的兴起背景其实要说背景，我们最应该了解的是设计、游戏、电商、广告的小伙伴，但是对于我们程序相关的从业人员来说，更容易上手，面对大量的参数，大家更容易理解，随着计算硬件、艺术和设计领域，大家对于画面的表现形式，不但要求精细化，还要求其效率，那么AI绘画算是应运而生，而其中开源的Stablediffusion就是面向大众最广，成为上手最简单的AI绘画应用。
Stable Diffusion技术及其在AI绘画中的应用 Stable Diffusion为什么能够在众多AI绘画产品中脱颖而出呢？最重要的是它是开源的，具有丰富的插件，庞大的社区以及目前非常完善的生态,包括大模型，Lora，插件，文生图，文生视频等等，而最近大火的Sora以及Stablediffusion3具有同样的架构，也让Stablediffusion再次占领热搜。
ControlNet技术及其对AI绘画的影响如果说Stablediffusion解决了人们将想象力变为现实，那么ControlNet就是将人们的想象力注入灵魂，顾名思义，ControlNet为控制网络，也就是万物皆可控，线条，轮廓，涂鸦，姿势，都是可控的。

二、Stable Diffusion技术概述

定义Stable Diffusion及其工作原理 Stable Diffusion 是一个2022年发布的深度学习文本到图像的潜在扩散模型（LDM / Latent Diffusion Model），由 CompVis、Stability AI 和 LAION 的研究人员和工程师创建。它使用来自 LAION-5B 开源数据库子集的512x512图像进行训练，通过引入隐向量空间来解决 Diffusion 速度瓶颈，除了可用于文生图任务，还可以用于图生图、特定角色刻画，甚至是超分或者上色任务

一图了解SD生图流程：文本解码-->大模型(Lora)定义风格--->CLIP图像反推--->采样器随机噪点--->U-NET图像生成--->VAE上色---->finish

三、ControlNet技术详解

ControlNet技术的核心概念 ControlNet模型介绍（1）OpenPose-动作姿势简介：包含对于躯干、四肢、面部在内的骨骼。

（2）Depth-深度

简介：根据提供的图片识别出纯黑白的信息图

（3）Canny-边缘检测

简介：该模型用于识别图像里的边缘特征，

（4）Lineart-线稿

简介：在Canny这个模型的基础上，Lineart是专门基于动漫风格的线稿实现上色功能的预处理器与模型的组合

（5）SoftEdge-柔和边缘

简介：该模型与Canny类似，只要是描绘图像里面的边缘特征，

（6）Scribble-涂鸦乱画

简介：Scribble是比SoftEdge更自由、奔放的描摹，给予ai较大的自由进行创作。

（7）Tile-分块

简介：该模型核心控制在于图像拆分成小块的过程中，主动识别每一块的内容，从而维系图片内容不变。

ControlNet如何增强AI绘画的控制性和精确性

四、准备工作

介绍所需的硬件和软件配置
推荐学习资源和社区
讨论如何设置合适的学习目标

那么为了更好学习SD，我建议大家本地的显卡在16G以上，如果你是学生党，或者是非相关从业人员，暂时不想购买昂贵的显卡，那么我为大家推荐腾讯云的HAI平台，澎湃算力，即开即用，使用高性能GPU服务HAI，快速部署LLM、AI绘画，显存24G还有更高版本的32G显存，妈妈再也不用担心我爆显存了！！！

现有春季优惠活动，最高可得200元代金券

丰富预装环境

多种 AIGC 部署场景，轻松拿捏

算力套餐性能对比

多款高性能算力套餐，强劲性能一目了然

基于腾讯云GPU云服务器底层算力，提供即插即用的高性能云服务。灵活使用，一键部署

更有海量视频课程等你领取

五、Stable Diffusion实践指南

步骤1：安装和配置必要的软件环境点击新建
择适合的算力
接实例

选择 Gradio WebUI 登录方式，进入 Stable Diffusion checkpoint 可视化交互界面

步骤2：理解并使用Stable Diffusion的基本命令重启 WebUI

若您在使用过程中遇到 WebUI 界面无法正常打开，可进入 Terminal，通过如下指令重新启动 WebUI 服务。

cd stable-diffusion-webui
(python3 -u launch.py --skip-prepare-environment --xformers --listen --enable-insecure-extension-access --port=6889 >> /var/log/sd_service.log 2>&1  &) && tail -f /var/log/sd_service.log

查看 WebUI 运行日志

若您希望查看 WebUI 运行状态，包括模型加载、图片生成、插件下载进度等内容，可进入 Terminal，通过如下指令查看 WebUI 运行日志。

cd stable-diffusion-webui
tail -f /var/log/sd_service.log

安装汉化插件

选择extentions

输入以下路径，点击install，重启webui即可

https://gitcode.net/overbill1683/stable-diffusion-webui-localization-zh_Hans

步骤3：认识webui

古诗词：天阙沉沉夜未央，碧云仙曲舞霓裳，一声玉笛向空尽，月满骊山宫路长

我们填入正向提示词

1 celestial maiden gazing up at the full moon over a mountain range,
pausing in her celestial dance. (mythological illustration, fantasy art, spiritual art),
dramatic night sky illuminated by a large silver moon,
pastel clouds drifting across the starry sky, mountain silhouettes in the distance, 
the maiden's flowing robes and long sleeves swaying gently, 
limited color palette with shades of blue, pink and purple
(concept art, romantic art, poetic art), serene yet wistful mood.

反向提示词

(low quality, worst quality:1.4), negativeXL_D, cgi, text, signature, watermark, extra limbs,

就可以生成图片啦~~

六、ControlNet应用技巧

技巧1：如何使用ControlNet进行细节控制比如我们控制人物的特定姿势

还是一样的提示词

技巧2：利用ControlNet实现风格迁移

说到风格迁移，就不得不提到controlnet中最重要的组件，由腾讯AI实验室出品的IPadapter，这是一种有效且轻量级的适配器，可实现预训练的文本到图像扩散模型的图像提示功能。

选择一张自己喜欢的图片，传图到controlnet

就可以生成风格非常相似的图片，也可以用来保持人物的一致性

技巧3：结合ControlNet进行创意合成

红包封面生成，在开始设计之前，你需要确定红包封面的主题和风格。你可以根据自己的喜好或者节日氛围来选择主题，比如春节、情人节等。同时，你还需要确定风格，比如简约、卡通、抽象等。

一、制作封面文字

首先，你需要选择一款合适的SD大模型和Lora。目前市面上有很多AI绘画软件可供选择，这里以SD为基准做一个演示

底模我使用麦橘真实大模型majic_v7，

Lora随便选择一个龙为主题的Lora

制作一个红包封面问题，打开PS

长宽选择512 * 768

黑色背景，白色字体

例如新春大吉 2024

书写提示词，尽量与Lora风格一致，提供一下我自己的提示词

Masterpiece, best quality, 4k, Chinese New Year, red background, festive atmosphere, dragon illustration, Chinese Dragon Year Spring Festival Gala mascot, cartoon, cute,

放大两倍，采样方法我选择DPM++ 2M Karras

来到controlnet unit1 选择qrcode

来到controlnet unit2 选择brit

参数如图，批次选择为4，出图即可

七、案例分析

案例1：创建一幅具有特定主题的风景画

荷包蛋花瓣

日落

案例2：设计一个具有独特风格的动漫角色

案例3：重现经典艺术作品的风格

梵高

八、常见问题与解决方案

问题1：如何提高生成图像的质量？

1、开启高清修复

2、放大分辨率

3、选择合适的大模型

问题2：如何处理模型生成的不相关或不准确内容？

在反向提示词中出现不需要的内容，并在正向提示词中加强想要元素的权重

问题3：如何优化工作流程以提高效率？

可搭配LCM提升有效提升效率

九、最新技术分享和学习和探索的资源链接

Sora可参考OpenAI Sora 1分钟视频生成现实不存在了！

Stableforge

以前我们分享的SVD不管是文生视频还是长视频还是图生视频，都是在Comfyui中实现的，但是大多数的用户还是在webui中使用的，那么forge它来了，A111点赞的实现SVD的整合方式。

特点

更少的显存

更快的速度

更大的图像分辨率

支持SVD

StableCascade

Stability更新的Cascade模型，这个模型在图像质量上对比SDXL提升了40%的性能，现已官方版本支持了Comfyui的工作流

模型概述

稳定级联由三个模型组成：阶段 A、阶段 B 和阶段 C，代表生成图像的级联，因此得名“Stable Cascade”。A级和B级用于压缩图像，类似于VAE在稳定扩散中的工作。但是，通过这种设置，可以实现更高的图像压缩。虽然 Stable Diffusion 模型使用空间压缩因子为8，编码分辨率为1024 x 1024至128 x 128的图像，Stable Cascade 实现压缩系数为 42。这将 1024 x 1024 图像编码为 24 x 24，同时能够准确地解码图像。这带来了更便宜的训练和推理的巨大好处。此外，C 阶段负责用于生成给定文本提示的小型 24 x 24 潜伏物。下图直观地显示了这一点

本地版本点击本地的update

在HAI平台中使用comfyui拖拽本工作流填入提示词就可以啦~

transparent cube suspended, volcanic landscape within, 
molten lava rivers flowing, night sky canvas, 
twinkling stars speckled above, moon's glow soft, 
juxtaposition of icy chill against fiery eruptions, 
glacial formations bordering the inferno,
 slow dance of ash and vapor, 
 lunar reflection on icy surfaces, 
 cube edges catching the celestial light,
  dynamic contrast of elements, 
 primeval earth forces encased,
  (best quality, 4k, 8k, highres, masterpiece:1.2), ultra-detailed, 
  (photorealistic:1.37), frozen and fiery, harmonious duality, (nature photography), volcanic activity vibrant, (environmental art), 
  (digital painting), atmospheric effects, 
mystical emanation, elemental balance, serene, sublime geology,

AI绘画的全部内容 - 阅读清单 - 腾讯云开发者社区

资料分享区👇👇👇

SD本地安装包
https://pan.quark.cn/s/8e66ada8a434
1.提示词预设：https://pan.quark.cn/s/5a0d7d9d784d 
2.openpose骨骼图:https://pan.quark.cn/s/b73b2531675f 
3.1万张线稿:https://pan.quark.cn/s/51eaee9a5ea7 
4.SDXL生态:https://pan.quark.cn/s/2952bf68e0b0 
5.comfyui工作流集锦:https://pan.quark.cn/s/320387279505 
6.controlnet所有生态:https://pan.quark.cn/s/217f482da2e4
7.Comfyui插件大全：
8.Stable diffusion插件大全：https://pan.quark.cn/s/2ae2f155be8b

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

玩转腾讯混元大模型

玩转AI绘画

stable diffusion

AI绘画