ELITE项目原作解读：基于扩散模型的快速定制化图像生成

近年来，大规模预训练的扩散模型（如 Imagen、DALLE-2、Stable Diffusion）在图像生成方面取得了巨大进展，尤其是在文本到图像生成任务中。根据给定的文本，现有的大模型能够生成多样且逼真的图像。然而这些模型依然难以满足用户对于生成结果精细控制的需求，特别是生成特定视觉概念的要求。定制化文本到图像生成方法，如 Textual Inversion、Custom Diffusion 等通过将给定的视觉概念表示成文本嵌入，可以更方便地实现对特定概念的生成和编辑。然而这些方法通常基于优化的方式来学习文本嵌入，需要较长时间（几分钟至几十分钟）学习新概念，限制了其实际应用效果。

为了实现快速的定制化文本到图像生成，我们提出一种基于模型的方法 ELITE。首先，ELITE 利用全局编码网络将视觉概念直接映射到文本嵌入，并在训练时引入多层特征策略以提升文本嵌入的可编辑性。同时，ELITE 使用局部编码网络进行细节补充，以更好地平衡定制化生成的一致性和可编辑性。实验结果表明，ELITE 可以在极短的时间内（小于 0.1 秒）学习新的视觉概念，并可以进行高效的编辑。

机器之心最新一期线上分享邀请到了哈尔滨工业大学博士生魏于翔，为大家分享他们近期工作 ELITE。

分享主题：ELITE：基于扩散模型的快速定制化图像生成

分享嘉宾：魏于翔，哈尔滨工业大学博士生，主要研究方向为图像生成，曾在 CVPR, ICCV, ECCV 等会议上发表论文数篇。

分享摘要：ELITE 是一种基于模型的快速定制化文本到图像生成方法。其首先利用全局编码网络将视觉概念直接映射到文本嵌入，并结合局部编码网络对概念细节进行补充，以更好地平衡定制化生成的一致性和可编辑性。实验证明 ELITE 能够以极高的效率（<0.1秒）得到新的视觉概念，并可以高效快捷的编辑。

相关链接：

1）SOTA！模型平台项目主页链接：

https://sota.jiqizhixin.com/project/elite

2）论文链接：

https://arxiv.org/abs/2302.13848

3）代码仓库：

https://github.com/csyxwei/ELITE

加群看直播

直播间：关注机器之心机动组视频号，北京时间 3 月 29 日 19:00 开播。

交流群：本次直播设有 QA 环节，欢迎加入本次直播交流群探讨交流。

如群已超出人数限制，请添加机器之心小助手：syncedai2、syncedai3、syncedai4 或 syncedai5，备注「ELITE」即可加入。

如果你也有最新工作希望分享或提交你感兴趣的内容方向，随时告诉我们吧：https://jiqizhixin.mikecrm.com/fFruVd3

机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区，聚焦于学术研究与技术实践主题内容，为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。