ICCV 2023 | 9篇论文看扩散模型diffusion用于图像恢复任务：超分、恢复、增强、去模糊、去阴影

1、HSR-Diff: Hyperspectral Image Super-Resolution via Conditional Diffusion Models

尽管高光谱图像(hyperspectral image，HSIs)在执行各种计算机视觉任务中的重要性已被证明，但由于在空间域中具有低分辨率(LR)属性，其潜力受到不利影响，这是由多种物理因素引起的。

受到深度生成模型最新进展的启发，提出一种基于条件扩散模型的HSI超分辨率(SR)方法，称为HSR-Diff，将高分辨率(HR)多光谱图像(MSI)与相应的LR-HSI合并。HSR-Diff通过重复精化生成HR-HSI，其中HR-HSI通过纯高斯噪声进行初始化，并进行迭代精化。在每次迭代中，使用基于条件的去噪变换器(CDFormer)去除噪声，该变换器在不同噪声水平下训练，并以HR-MSI和LR-HSI的分层特征图为条件。此外，采用渐进学习策略来利用全分辨率图像的全局信息。在四个公共数据集上进行了系统性实验，结果表明HSR-Diff优于现有方法。

2、DDS2M: Self-Supervised Denoising Diffusion Spatio-Spectral Model for Hyperspectral Image Restoration

扩散模型近来受到极大关注，其在图像恢复方面表现出色，尤其是在噪声鲁棒性方面。然而，现有基于扩散的方法是在大量训练数据上训练的，并且在分布内表现非常好，但对分布的转移很敏感。这对于缺乏数据的高光谱图像(HSI)恢复尤为不适用。

为解决这个问题，本研究提出一种用于HSI恢复的自监督扩散模型，即去噪扩散空间-光谱模型(DDS2M)，它通过在逆向扩散过程中推断出所提出的变分空间-光谱模块(VS2M)的参数来工作，仅使用受损HSI而没有任何额外的训练数据。在VS2M中，使用变分推断的损失函数被定制为使未经训练的空间和光谱网络能够学习后验分布，该分布用作采样链的转换，帮助逆向扩散过程。由于其自监督性质和扩散过程的优势，DDS2M对各种HSI具有更强的泛化能力，与现有的基于扩散的方法相比，对噪声具有更强的鲁棒性。在多种HSI的去噪、有噪HSI完成和超分辨率方面进行了广泛实验，结果表明DDS2M优于现有的任务特定最先进技术。已开源在：https://github.com/miaoyuchun/DDS2M

3、DiFaReli: Diffusion Face Relighting

提出一种新方法来处理自然场景中单视角人脸重打光（single-view face relighting）问题。在人脸重打光中，处理非漫反射效应（如全局照明或投影阴影）一直是个挑战。之前工作通常假设Lambertian surfaces、简化的光照模型或涉及估计3D形状、反照率或阴影图。然而，这种估计往往容易出错，并且需要很多带有光照真值的训练样本才能很好地推广。

本文仅用二维图像进行训练，无需任何光照设备数据、多视图图像或光照真值。关键思想是利用条件扩散隐式模型（DDIM）来解码解缠的光照编码以及从现成的估计器中推断出的与3D形状和面部身份相关的其他编码。还提出一种新条件技术，通过使用渲染的阴影参考空间调制DDIM，从而简化了光照和几何之间复杂相互作用的建模过程。在标准基准数据集Multi-PIE上实现最先进的性能，并能够对自然场景图像进行逼真的光照调整。已开源在：https://github.com/diffusion-face-relighting/difareli_code

5、DiffIR: Efficient Diffusion Model for Image Restoration

图像恢复（image restoration，IR）中，传统的DM在大型模型上运行大量迭代以估计整个图像或特征图是低效的。为解决这个问题，提出一种高效的IR扩散模型（DiffIR），包括紧凑的IR先验提取网络（IR prior extraction network，CPEN）、dynamic IR transformer（DIRformer）和去噪网络。

具体而言，DiffIR有两个训练阶段：预训练和训练DM。在预训练中，将真实图像输入到CPENS1中，以捕获紧凑的IR先验表示（IPR）来指导DIRformer。在第二阶段，训练DM直接估计与预训练的CPENS1相同的IRP，只使用LQ图像。观察到，由于IPR只是一个紧凑的向量，DiffIR可以使用比传统DM更少的迭代次数来获得准确的估计并生成更稳定和逼真的结果。

由于迭代次数很少，DiffIR可以对CPENS2、DIRformer和去噪网络进行联合优化，从而进一步降低估计误差的影响。在几个IR任务上进行大量实验证明，并在消耗更少的计算成本的同时实现最先进的性能。已开源在：https://github.com/Zj-BinXia/DiffIR

6、Diff-Retinex: Rethinking Low-light Image Enhancement with A Generative Diffusion Model

本文重新思考低光图像增强任务，并提出一种基于物理可解释性和生成扩散模型的低光图像增强方法，称为Diff-Retinex。旨在结合物理模型和生成网络的优势。此外，希望通过生成网络补充甚至推断出低光图像中丢失的信息。因此，Diff-Retinex将低光图像增强问题转化为Retinex分解和条件图像生成问题。

在Retinex分解中，将Transformer中的注意力优越性与精心设计的Retinex Transformer分解网络（TDN）相结合，将图像分解为照明和反射图。然后，设计多路径生成扩散网络来重建正常光照的Retinex概率分布，并分别解决这些组成部分的各种退化问题，包括暗照明、噪声、颜色偏差、场景内容丢失等等。由于生成扩散模型，Diff-Retinex能够实现低光细节的恢复。在现实低光数据集上进行广泛实验，定性和定量证明所提方法有效性、优越性和泛化性。

7、Towards Authentic Face Restoration with Iterative Diffusion Models and Beyond

在许多计算机视觉应用中，如图像增强、视频通信和肖像摄影，需要一个真实的面部修复系统。大多数先进的面部修复模型可以从低质量的面部图像中恢复出高质量的面部，但通常不能真实地生成用户喜欢的逼真和高频细节。

为实现真实的修复，提出一种基于去噪扩散模型（DDM）的迭代学习面部修复系统（IDM）。定义了真实面部修复系统的标准，并认为去噪扩散模型天生具有两个方面的这一特性：内在迭代细化和外在迭代增强。内在学习可以很好地保留内容并逐渐改进高质量的细节，而外在增强有助于清理数据并进一步改善修复任务。在盲面部修复任务中展示了优越的性能。

除了修复之外，发现所提修复系统通过修复干净的数据还有助于图像生成任务，具有训练稳定性和样本质量方面的优势。在不修改模型的情况下，在FFHQ和ImageNet生成任务中使用GAN或扩散模型的质量比最先进方法更好。

8、Multiscale Structure Guided Diffusion for Image Deblurring

扩散概率模型（DPMs）已被用于图像去模糊，构建成一个以模糊输入为条件的图像生成过程，将高斯噪声映射到高质量图像上。与基于回归的方法相比，基于图像条件的DPM（icDPM）在对配对的域内数据进行训练时展现出更逼真的结果。然而，当面临域外图像时，它们在恢复图像方面的鲁棒性尚不清楚，因为它们没有施加特定的退化模型或中间约束条件。

引入一个简单而有效的多尺度结构引导作为隐式偏差，向icDPM提供了有关中间层锐利图像的粗略结构信息。这种引导形式显著改善了去模糊结果，特别是在未知领域上。引导信息是从回归网络的潜在空间中提取的，该回归网络在多个较低分辨率下训练，从而保持最显著的锐利结构。有了模糊输入和多尺度引导，icDPM模型可以更好地理解模糊并恢复清晰图像。

在多样化数据集上评估单数据集训练模型，以及在未见数据上展现出更强的去模糊结果和更少的伪影。方法超过了现有的基线方法，在保持竞争性畸变度量的同时实现了最先进的知觉质量。

9、Boundary-Aware Divide and Conquer: A Diffusion-based Solution for Unsupervised Shadow Removal

最近的深度学习方法在去除阴影方面取得优秀结果。然而，大多数这些监督方法依赖于对大量阴影和无阴影图像对进行训练，这需要繁琐的注释并可能导致模型泛化性差。事实上，阴影只在图像中形成局部的退化，而它们的非阴影区域为无监督学习提供了丰富的结构信息。

本文提出一种新的基于扩散的无监督阴影去除解决方案，用于分别建模阴影、非阴影和它们的边界区域。使用预训练的无条件扩散模型与未受损信息融合，生成自然无阴影图像。虽然扩散模型可以通过利用其相邻的未受损上下文信息来恢复边界区域的清晰结构，但由于非受损上下文的隔离，它无法处理阴影内部区域。因此，进一步提出一个阴影不变内在分解模块，以利用阴影区域中的基本反射来在扩散采样过程中保持结构一致性。

公开可用的阴影去除数据集的实验，证明方法的显著改进，甚至与一些现有的监督方法相当。