首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    CVPR2023 | 用于统一的图像恢复和增强的生成扩散先验

    在拍摄、存储、传输和渲染过程中,图像质量往往会降低。图像恢复和增强的目标是逆转这种退化并改善图像质量。通常,恢复和增强任务可以分为两大类:1)线性反演问题,例如图像超分辨率(SR)、去模糊、修补、彩色化等,在这些任务中,退化模型通常是线性的且已知;2)非线性或盲问题,例如低光增强和HDR图像恢复,其中退化模型是非线性的且未知。对于特定的线性退化模型,可以通过对神经网络进行端到端的监督训练来解决图像恢复问题。然而,在现实世界中,受损图像往往存在多个复杂的退化情况,全面监督的方法很难泛化应用。近年来,通过生成模型寻找更通用的图像先验并在无监督设置下处理图像恢复问题引起了广泛的兴趣。在推理过程中,可以处理不同退化模型的多个恢复任务而无需重新训练。例如,经过大量干净图像数据集训练的生成对抗网络(GAN)通过GAN反演,在各种线性反演问题上取得了成功,学习到了真实世界场景的丰富知识。与此同时,去噪扩散概率模型(DDPMs)在GAN的基础上展现了令人印象深刻的生成能力、细节水平和多样性。作为早期尝试,现有的工作——去噪扩散恢复模型(DDRM)使用预训练的DDPMs进行变分推断,并在多个恢复任务上取得了令人满意的结果,但其在已知线性退化矩阵上利用奇异值分解(SVD),因此仍然局限于线性反演问题。本文进一步提出了一种高效的方法,名为生成扩散先验(GDP)。它利用经过良好训练的DDPM作为通用图像恢复和增强的有效先验,并以退化图像作为引导。作为一个统一的框架,GDP不仅适用于各种线性反演问题,还首次推广到非线性和盲目图像恢复和增强任务。GDP采用了一种盲退化估计策略,在去噪过程中随机初始化并优化GDP的退化模型参数。此外,为了进一步提高光真实性和图像质量,本文系统地研究了一种有效的指导扩散模型的方法。另外,借助提出的分层指导和基于分块的生成策略,GDP能够恢复任意分辨率的图像,其中首先预测低分辨率图像和退化模型,以引导高分辨率图像的生成过程。

    01
    领券