最近被layerdiffusion分层生成透明图像技术刷屏了！

最近一周，在各大社交平台都能刷到众多互联网科技博主发文分享这样一款透明图像生成工具LayerDiffusion。

LayerDiffusion 是 ControlNet 作者提出的一种新技术，它允许大规模预训练的潜在扩散模型（Latent Diffusion Model）生成透明图像。

LayerDiffusion：https://github.com/layerdiffusion/LayerDiffusion

当然，这不仅仅是我们表面上看到了抠图这么简单，它的核心在于生成。

基于LayerDiffusion也衍生出了两款比较火的插件：Comfyui LayerDiffusion 和 sd-forge-layerdiffusion。

这两款插件前两天还只是发布出来还不能真正开始使用，今天看最新消息称已经可以正式使用了。

Comfyui LayerDiffusion

ComfyUI-layerdiffusion 是 Layer Diffusion 的一个自定义实现，专门用于生成和处理前景、背景图像及其混合效果，目前只支持SDXL模型。

ComfyUI-layerdiffusion：https://github.com/huchenlei/ComfyUI-layerdiffusion

具体使用安装需要通过项目的下载或克隆，然后拷贝到ComfyUI的custom_nodes文件夹，并运行 pip install -r requirements.txt 安装Python相关依赖。

主要功能：

• • 生成前景：提供了生成带有透明度（RGB+alpha）的前景图像的流程。
• • 混合前景/背景：支持将给定的前景（FG）和背景（BG）图像混合。
• • 提取前景/背景：能够从混合图像中提取前景或背景，尽管该流程可能不如其他对象移除流程高效。

sd-forge-layerdiffusion

sd-forge-layerdiffusion 是LayerDiffusion作者自己开发的一个基于forge ui的项目，目前功能正在更新迭代中，该项目旨在为Stable Diffusion WebUI（通过Forge）提供生成透明图像和图层的能力，目前已实现基本的文生图功能，但透明的img2img（图生图）还未完成。

sd-forge-layerdiffusion：https://github.com/layerdiffusion/sd-forge-layerdiffusion

和普通版本的WebUI一样，在扩展处安装layer

其登录界面后所有模型都是自动下载的，适用于SDXL模型。能处理透明玻璃、半透明发光效果等，比简单的背景移除方法更为高级。

用于将SDXL转换为透明图像生成器，以及处理前景、背景和混合组合的图层生成模型等。

注意事项: 目前仅支持 SDXL 模型。

相关模型说明：模型说明：

layer_xl_transparent_attn.safetensors 一个LoRA，可将SDXL变成一个透明图像生成器。

layer_xl_transparent_conv.safetensors 将SDXL变成透明图像生成器的替代模型。

layer_xl_fg2ble.safetensors 该模型包括偏移量，将SDXL变成一个层生成模型，该模型基于前景，并生成融合的组合。

layer_xl_fgble2bg.safetensors 该模型包括偏移量，将SDXL变成一个层生成模型，该模型基于前景和融合的组合，并生成背景。

layer_xl_bg2ble.safetensors 该模型包括偏移量，将SDXL变成一个层生成模型，该模型基于背景，并生成融合的组合。

layer_xl_bgble2fg.safetensors 该模型包括偏移量，将SDXL变成一个层生成模型，该模型基于背景和融合的组合，并生成前景。

vae_transparent_encoder.safetensors 这是一个图像编码器，用于从像素空间提取潜在偏移量。该偏移量可以添加到潜在图像中，以帮助透明度的扩散。

vae_transparent_decoder.safetensors 这是一个图像解码器，输入为SD VAE输出和潜在图像，输出为真实的PNG图像。