理解无分类器指引(Classifier-Free Guidance - CFG)概念之前,需要先谈谈它的前身 - 分类器指引(classifier guidance)。
分类器指引是将图像标签纳入扩散模型的一种方式。你可以使用标签来指导扩散过程。例如,标签 "猫" 引导反向扩散过程,生成猫的照片。
尽管分类器指引取得了破纪录的表现,但它需要一个额外的模型来提供这种指引,这给训练带来了一些困难。无分类器指引,一种实现 "不实用分类器的分类指引" 的方法。他们没有使用分类标签和单独的模型进行指引,而是提议使用图像标题并训练一个条件扩散模型(conditional diffusion model),把分类器部分作为噪声预测器 U-Net 的条件,实现了图像生成中所谓的 "无分类器"(即没有单独的图像分类器)指导。
现在我们有一个可调节的无分类扩散过程,我们如何控制应该遵循多少指引?
无分类指引(CFG)尺度是一个控制文本提示对扩散过程的影响程度的值。当它被设置为 0 时,图像生成是无条件的(也就是说,提示会被忽略)。