卡内基梅隆大学研究人员推出 Diffusion-TTA：通过生成反馈提升判别性 AI 模型，实现无与伦比的测试时间适应

扩散模型用于从复杂的数据分布中生成高质量的样本。判别扩散模型旨在利用扩散模型的原理来执行分类或回归等任务，其目标是预测给定输入数据的标签或输出。通过利用扩散模型的原理，判别扩散模型具有多种优势，例如更好地处理不确定性、对噪声的鲁棒性以及捕获数据内复杂依赖性的潜力。

生成模型可以通过量化新数据点与学习数据分布的偏差来识别异常或异常值。它们可以区分正常和异常数据实例，有助于异常检测任务。传统上，这些生成模型和判别模型被认为是有竞争力的替代方案。卡内基梅隆大学的研究人员在推理阶段将这两个模型结合起来，利用生成反演迭代推理的优势和判别模型的拟合能力。

该团队构建了一个基于扩散的测试时间适应 (TTA) 模型，该模型通过使用图像分类器、分割器和深度预测器的输出来调整图像扩散模型的调节并最大化图像扩散，从而将图像分类器、分割器和深度预测器的方法应用于单个未标记图像。他们的模型让人想起编码器-解码器架构。预先训练的判别模型将图像编码为假设，例如对象类别标签、分割图或深度图。这用作预训练生成模型的条件来生成图像。

Diffusion-TTA 有效地调整了跨既定基准（包括 ImageNet 及其变体）的分布内和分布外示例的图像分类器。他们使用图像重建损失来微调模型。通过将扩散似然梯度反向传播到判别模型权重，对测试集中的每个实例进行适应。他们表明，他们的模型优于以前最先进的 TTA 方法，并且在多种判别和生成扩散模型变体中都有效。

研究人员还对各种设计选择进行了烧蚀分析，并研究了 Diffusion-TTA 如何随超参数（例如扩散时间步长、每个时间步长的样本数量和批量大小）变化。他们还学习了适应不同模型参数的效果。

研究人员表示，Diffusion-TTA 的性能始终优于 Diffusion Classifier。他们推测，由于（预训练的）判别模型的权重初始化，判别模型不会过度拟合生成损失，这阻止了它收敛到这个简单的解决方案。

总之，生成模型以前已用于图像分类器和片段的测试时间适应；通过在联合判别任务损失和自监督图像重建损失下共同训练 Diffusion-TTA 模型，用户可以获得有效的结果。