前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >AI绘画专栏之 comfyUI WEBUI一个插件性能就提升5倍?(21)

AI绘画专栏之 comfyUI WEBUI一个插件性能就提升5倍?(21)

原创
作者头像
疯狂的KK
发布2023-11-13 15:21:05
2.1K0
发布2023-11-13 15:21:05
举报
文章被收录于专栏:Java项目实战

LCM 这个技术可以让 4090在1 秒钟生成 10 张 512X52 大小的图片,太强了,如果可以用在 Animetadiff 中的话可以大幅提高视频生成效率。以往我们用 SD 生成图片起码需要 20 步的推导步骤,但是使用 LCM 只需要 4 步就行,从一些测试结果看 6-8 步可能是一个理想的步骤。你现在可以在 WebUI 和 ComfyUI 中尝试 LCM,但是这两个插件我安装的时候都遇到了不同程度的问题,感兴趣的可以自己安装一下。LCM 有个问题是目前只能用自己的模型,不能兼容现有的 SD 模型,不过如果效率足够高的话我感觉会有更多适配。

伴随着OpenAI在11月7日开发者大会当天除了chatGPTs全家桶外,OpenAI开源了全新解码器,依赖LCM技术,开源了全新的VAE,随之而来的LCM这个名词也火了起来,但是说好的提升怎么变成5倍了?文末领取插件地址!!!

图片
图片
图片
图片
图片
图片

Stablediffusion

Stable Diffusion 是一个2022年发布的深度学习文本到图像的潜在扩散模型(LDM / Latent Diffusion Model),由 CompVis、Stability AI 和 LAION 的研究人员和工程师创建。它使用来自 LAION-5B 开源数据库子集的512x512图像进行训练,通过引入隐向量空间来解决 Diffusion 速度瓶颈,除了可用于文生图任务,还可以用于图生图、特定角色刻画,甚至是超分或者上色任务

图片
图片

如何理解呢?

当向平静的湖面扔了一个小石子,水波纹向周边扩散最终恢复平静的过程,我们称之为稳定扩散,在图像生图原理中扩散过程是指,将一个图像经过多次迭代,逐渐变得模糊、扩散的过程。在这个过程中,图像的细节信息会逐渐消失,只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性

图片
图片
图片
图片

潜在一致性模型:不再逐步去噪直接映射

在官方论文中指出潜在扩散模型(LDMs)在合成高分辨率图像方面取得了显著的成果。但是,迭代采样过程是计算密集型的,并且会导致生成缓慢。受一致性模型(song 等人)的启发,我们提出了潜在一致性模型 (LCM),可以在任何预训练的 LDM 上以最少的步骤进行快速推理,包括稳定扩散(rombach 等人)。将引导反向扩散过程视为求解增强概率流常微分方程 (PF-ODE),LCM 旨在直接预测此类常微分方程在潜在空间中的解,从而减少对多次迭代的需求,并允许快速、高保真采样。高质量的 768 x 768 2~4 步 LCM 从预先训练的无分类器引导扩散模型中高效提炼出来,训练时间仅为 32 个 A100 GPU 小时。此外,我们还引入了潜在一致性微调 (LCF),这是一种为在自定义图像数据集上微调 LCM 量身定制的新方法。对 LAION-5B-Aesthetics 数据集的评估表明,LCM 通过几步推理实现了最先进的文本到图像生成性能

图片
图片

通过将无分类器的引导提炼到模型的输入中,LCM 可以在非常短的推理时间内生成高质量的图像。我们比较了使用 A800 GPU 在 768 x 768 分辨率、CFG 规模 w=8、batchsize=4 设置下的推理时间。

图片
图片
图片
图片

ComfyUI

图片
图片
图片
图片

LCM img2img

图片
图片

LCM vid2vid

图片
图片
图片
图片

报错解决

代码语言:javascript
复制
ValueError: Non-consecutive added token '<|startoftext|>' found. Should have index 49408 but has index 49406 in saved vocabulary

要解决此问题,请找到 huggingface hub 缓存目录。

它将是类似 .在 Windows 上,它大致是 .~/.cache/huggingface/hub/path_to_lcm_dreamshaper_v7/tokenizer/C:\Users\YourUserName\.cache\huggingface\hub\models--SimianLuo--LCM_Dreamshaper_v7\snapshots\c7f9b672c65a664af57d1de926819fd79cb26eb8\tokenizer\

找到文件并将内容更改为:added_tokens.json

代码语言:javascript
复制
{
  "<|endoftext|>": 49409,
  "<|startoftext|>": 49408
}
超多AI合集已整理到https://yv4kfv1n3j.feishu.cn/docx/MRyxdaqz8ow5RjxyL1ucrvOYnnH

我正在参与2023腾讯技术创作特训营第三期有奖征文,组队打卡瓜分大奖!

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 如何理解呢?
    • LCM img2img
      • LCM vid2vid
      相关产品与服务
      大模型图像创作引擎
      大模型图像创作引擎是一款提供 AI 图像生成与处理能力的 API 技术服务,可以结合输入的文本或图像智能创作图像内容,具有更精美的绘图品质、更强大的中文理解能力、更多样的风格选择与更广泛的应用场景,为高质量的图像内容创作、内容运营提供技术支持。
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档