AI绘画专栏stablediffusion 之DemoFusion提升SDXL16倍分辨率

SDXL可以合成分辨率高达 1024×1024 的图像，结合我们本身的放大算法最高可放大到4倍，而 DemoFusion 允许 SDXL 生成 4×、16× 甚至更高分辨率的图像，而无需任何调整和大量内存需求。所有生成的图像均使用单个 RTX 3090 GPU 生成

【腾讯云AI绘画】AI绘画专栏之全网第一套系统的AI绘画课 零基础学会AI绘画-腾讯云开发者社区-腾讯云 (tencent.com)

AI绘画50篇合集专栏请点击AI绘画的全部内容 - 阅读清单 - 腾讯云开发者社区-腾讯云 (tencent.com)

领取百川大模型2400万token【玩转向量数据库】限量 LLM 百川大模型限时Baichuan2400万免费tokens! 送向量数据库免费实例-腾讯云开发者社区-腾讯云 (tencent.com)

DemoFusion框架的总结如下：

a) DemoFusion从传统的分辨率生成开始，采用"上采样-漫射-去噪"循环。它利用低分辨率生成的结果作为通过噪声反演获得更高分辨率的初始化。在"上采样-漫射-去噪"环路中，前一个扩散过程中相应时间步长的噪声反转表示被用作跳跃残差，作为全局引导。

图片

b) 为了改善MultiDiffusion的局部去噪路径，DemoFusion引入了扩展采样，以建立全局去噪路径，从而促进更全球连贯的内容生成。DemoFusion框架与SDXL结合使用，与ControlNet结合使用，可以实现可控的高分辨率生成。

DemoFusion具有免调谐特性，

可以与基于LDM的应用程序无缝集成。

DemoFusion以渐进式方式工作，实现真实图像的放大。基于基础LDM的潜在数据分布。

使用生成式人工智能（GenAI）生成高分辨率图像具有巨大潜力

图片

图片

图片

原理

DemoFusion的框架。

（a） 从传统的分辨率生成开始，DemoFusion采用“上采样-漫射-去噪”循环，将低分辨率生成的结果作为通过噪声反演获得更高分辨率的初始化。在“上采样-漫射-去噪”环路中，来自前一个扩散过程中相应时间步长的噪声反转表示作为跳跃残差作为全局引导。

（b） 为了改善MultiDiffusion的局部去噪路径，我们引入了扩展采样来建立全局去噪路径，从而促进更全球连贯的内容生成

图片

与 ControlNet 结合使用DemoFusion 的免调谐特性可实现与许多基于 LDM 的应用程序无缝集成。例如，DemoFusion与ControlNet[3]相结合，可以实现可控的高分辨率生成

图片

放大真实图像由于 DemoFusion 以渐进式方式工作，我们可以将阶段 #1 的输出替换为编码的真实图像表示，从而实现真实图像的放大。然而，我们小心翼翼地避免使用术语“超分辨率”，因为输出倾向于基础LDM的潜在数据分布，使这个过程更类似于基于真实图像的图像生成

图片

在这之前Stable Diffusion Reimagine 已经基于基于 stability.ai 创建的新算法实现了单图放大

图片

图片

图片

项目：https://ruoyidu.github.io/demofusion/demofusion.html
论文：https://drive.google.com/file/d/1pAWCfpEgwy4UAkUqTGDuqypJt-5bl8se/view?usp=sharing
GitHub：https://github.com/PRIS-CV/DemoFusion
在线体验：https://huggingface.co/spaces/radames/Enhance-This-DemoFusion-SDXL
超多AI合集已整理到https://yv4kfv1n3j.feishu.cn/docx/MRyxdaqz8ow5RjxyL1ucrvOYnnH