本篇分享论文ClassDiffusion: More Aligned Personalization Tuning with Explicit Class Guidance
,由北交&字节联合提出 ClassDiffusion: 使用显式类别引导的一致性个性化生成。
详细信息如下:
个性化生成领域最近取得了飞速的发展, 但微调引入的过拟合导致模型无法生成与提示词一致的结果, 本文通过两个重要观察及理论分析提出了新的观点:一致性的损失是个性化概念语义偏移导致的, 并据此提出了一个简单有效的方法ClassDiffusion来提升个性化生成的一致性。文章还引入了BLIP2-T 来为个性化生成领域提供更公平有效的指标。
文章对之前方法微调后的模型进行了两个观测:
因此文章提出了一个理论: 一致性的缺失是由于个性化概念的语义偏移导致的。
由EBM[1]的结论可以得出:
其中
为类别对应条件,
为模型隐式分类器, 将
,
,
分别记为d(x),q(x),a(x). 条件概率a(x)的熵可以被计算为:
微调前后熵的变化可以被计算为:
结合文章的实验观测和概率论的性质, 有:
熵的降低导致了在
条件下进行采样的难度增加, 从而导致了一致性的降低。
ClassDiffusion引入了一个全新的损失函数Semantic Preservation Loss(SPL), 旨在缩小个性化概念与文本空间中超类分布中心之间的语义差距。用
和
分别表示个性化短语和类短语的 CLIP 编码器输出的嵌入,语义保留损失可以用下式表示:
ClassDiffusion可以生成比现有方法更好一致性的结果:
量化对在沿用了当前工作使用的CLIP-T, CLIP-I, DINO-I指标外, 还引入了BLIP2-T以获得更公平有效的评价, 结果表明ClassDiffusion在与提示词的一致性上优于现有方法。
文章通过实验观察和理论分析提供了对一致性损失解释的新理论, 并提出了ClassDiffusion以解决这个问题。同时文章将BLIP2-T引入以提供更公平有效的评测。