字节跳动发布SDXL-Lightning模型：WebUI与ComfyUI平台，实现1步生成图像的极速体验

引言：

在AI绘画领域，图像生成的速度一直是研究的热点。随着深度学习技术的发展，我们见证了从简单的图像处理到复杂的文本到图像生成（Text-to-Image Generation）的飞跃。

字节跳动最近推出的SDXL-Lightning模型，以其惊人的生成速度和高质量的图像输出，再次刷新了我们对这一技术的认知。本文将探讨SDXL-Lightning模型的特点、试用体验以及它如何超越现有的LCM（Latent Conditioned Diffusion Model）模型。

开源项目地址：

https://huggingface.co/ByteDance/SDXL-Lightning

Demo地址：

https://huggingface.co/spaces/AP123/SDXL-Lightning

资源获取写在最后

什么是SDXL-Lightning：

SDXL-Lightning模型的核心优势在于其创新的蒸馏策略，该策略结合了渐进式和对抗式蒸馏方法，有效解决了传统扩散模型在生成速度和计算成本上的瓶颈。

这一模型能够在极短的时间内，即一步或少步骤内，生成1024px分辨率的高质量图像，实现了快速生成高分辨率图像的能力。

以下是关于SDXL-Lightning的一些关键特点和工作原理：

1.快速生成高分辨率图像：

SDXL-Lightning能够在一步或少步骤内生成1024px分辨率的图像，这对于需要快速图像生成的应用场景非常有利。

2.渐进式和对抗式蒸馏：

模型结合了这两种蒸馏方法，以提高生成效率并保持图像质量。渐进式蒸馏简化了生成步骤，而对抗式蒸馏通过引入鉴别器来提高图像的真实性和质量。

3.优化的模型设计和训练策略：

SDXL-Lightning采用了预训练的扩散UNet编码器作为鉴别器，这有助于提高训练效率。同时，模型还采用了对抗性损失目标和稳定训练技术，确保了生成图像的高质量和训练过程的稳定性。

4.广泛可用性：

SDXL-Lightning模型已经开源，包括支持LoRA（LoRA是一种用于微调大型语言模型的技术）的版本和完整的UNet权重版本，这使得研究者和开发者可以在多种场景下应用和进一步研究这个模型。

5.插件兼容性：

模型支持与LoRA模块和控制插件的兼容性，这意味着它可以灵活应用于多种文本到图像的生成任务，包括风格化和特定主题的图像生成。

这对于需要快速图像生成的应用场景，如实时广告创意、游戏角色设计等，具有重要意义。

Demo在线体验：

https://huggingface.co/spaces/AP123/SDXL-Lightning

这一模型的试用体验可以分为以下几个步骤：

1.1-Step（一步生成）：

在试用SDXL-Lightning模型时，我们首先尝试了一步生成。输入一段描述，如“一个穿着未来风格服装的宇航员站在月球表面”，模型几乎在瞬间就生成了一张高清图像。图像中的宇航员形象逼真，月球表面的光影效果处理得恰到好处，展现了模型对细节的精准把握。

2.2-Step（两步生成）：

为了测试模型在稍微增加步骤后的表现，我们选择了两步生成。在这一步，模型似乎有了更多的时间来细化图像，宇航员的面部表情更加丰富，月球表面的纹理也更加细腻。尽管步骤增加，但生成速度仍然非常快，用户体验流畅。

3.4-Step（四步生成）：

在四步生成的设置下，模型的图像质量有了显著提升。图像的细节更加丰富，如宇航服上的反光和月球表面的坑洼都清晰可见。这一步骤的增加，使得图像的逼真度和艺术感得到了进一步的提升。

4.8-Step（八步生成）：

最后，我们尝试了八步生成。在这一设置下，模型生成的图像几乎达到了照片级别的质量。宇航员的每一个细节都被精心雕琢，月球的背景也更加宏大和壮观。尽管步骤增加，但生成速度仍然保持在可接受的范围内。

如何在SDwebUI中使用：

底膜和UNet模型太大了，我下载的是Lora文件放到SDwebUI目录下。当然如果你追求更好的效果，推荐下载前面2个最大的模型文件。

Lora模型路径：

StableDiffusion\sd-webui-aki-v4.6\models\Lora

如何在Comfy中使用：

官方直接支持了 ComfyUI ，还给了工作流！

我只下载了 Lora的josn工作流，前面的是大模型和UNet的。

模型太大了，没那么多空间o(╥﹏╥)o。

载入工作流，我调高了步数。就是正常的Lora使用，没什么门槛。

当然有条件的可以试试高质量的

sdxl_lightning_1step_unet_x0.safetensors

自动获取我下载完的Lora和工作流。

总结：

SDXL-Lightning模型的发布，无疑是XL生态下图像生成的一次重大突破。它不仅在速度上超越了现有的LCM模型，更在图像质量和多样性上展现了卓越的表现。字节跳动的这一创新成果，又为艺术家和设计师提供了新的强大工具，也为AI在创意产业的应用开辟了新的可能性。随着模型的进一步优化和应用场景的拓展，SDXL-Lightning将引领图像生成技术进入一个全新的时代。

完over。