综述 | 图像去噪方法比较

作者：CV君 来自：我爱计算机视觉

图像去噪是计算机视觉领域的传统方向，对于可见光图像、视频、核磁图像等的处理仍应用广泛，在工业和学术界引起很多人的关注，基于BM3D(block-matching 3D ，2007)框架的系列算法是该领域的著名方法，其结合图像非局部相似的属性和变换域的稀疏表示，在深度学习用于CV各领域的今天仍有用武之地。

今天新出的论文『A Comprehensive Comparison of Multi-Dimensional Image Denoising Methods』，对传统的图像去噪方法和深度学习方法进行了综述和比较，考察了191篇文献，相信对研究该方向的朋友定有帮助。

该文作者信息：

作者来自理海大学和华南理工大学。

• 论文链接：https://arxiv.org/abs/2011.03462
• 代码链接：https://github.com/ZhaomingKong/Denoising-Comparison

图像去噪旨在给定噪声图像恢复原图像，单在噪声模型难以估计的情况下，利用图像的 NLSS（非局部自相似） 属性成为方法的主流。亦即自然图像内部含有相似的图像块，利用此特点恢复源图像，NLSS先验与补丁表征示例：

传统图像去噪方法（成功的BM3D框架的众多方法）流程：

即噪声图像经过Grouping、Collaborative filtering、Aggregation，得到结果图像。

传统的多维图像数据的去噪器：

基于DNN去噪方法及应用：

具有三个卷积层的简单CNN去噪框架图解：

该文详尽总结了用于评测结果的人工合成和真实世界的多维图像去噪数据集（具体出处和下载方式请参考原论文）：

具有代表性的多维图像去噪方法和数据集的发展史：

部分数据集的示例图像：

另外为评估算法，作者还推出了自己收集的IOCI数据集：

传统方法和基于DNN的方法在几个真实彩色图像数据集上的结果，以 PSNR 和 SSIM 为评价指标：（请点击查看大图）

多个方法在真实彩色视频数据集上的评比详细结果：

另外，对于图像去噪PSNR 和 SSIM 并不能完美反应图像质量，作者还做了大量的视觉效果评估：

1）CC15 数据集(PSNR) （图8）

2）PolyU 数据集(PSNR) （图9）

3）IOCI’s IPHONE 5S 数据集(PSNR) （图10）

4）IOCV 数据集（彩色视频去噪）（图11）

同样，作者使用用户调查打分的方式，得到了人为评分结果：

FastDVDNet算法在计算量较低的前提下，效果表现也一致的好。

在 CAVE 数据集上的高噪声水平σ=100时，对基于张量的去噪器的比较结果：（图12）

CAVE 数据集上，高斯噪声 σ = {10, 30, 50, 100}时的质量和计算时间（分钟）对比结果：（表7）

高斯噪声下 MSt-SVD 和 QRNN3D 的平均PSNR/SSIM 值和计算时间（分钟）σ∈{10，20}（表8）

在真实世界 HHD 数据集上，MSI 去噪方法比较结果：（图13）

σ≥11%时高噪声水平下的去噪性能比较：（图14）

T1w、T2w和PDw数据被Rician噪声破坏的情况下，不同方法的平均PSNR/SSIM 值 和 计算时间(s)（表9）

在估计噪声水平σ = 19% 的合成Brainweb T1w 数据上对比较方法进行可视化评估（图15）

在估计噪声水平σ=3% 的真实OAS1 0112 T1w数据上对比较方法进行可视化评估（图16）

在估计噪声水平σ = 4.5% 的真实 OAS1 0092 T1w数据上对比较方法进行可视化评估（图17）

CBM3D1 在 σ∈[10，30]时五个数据集上的 PSNR 和 SSIM 值对比（图18）

PSNR 和 SSIM 6种不同实现的（图19）

使用和不使用图像大小调整策略的 CMSt-SVD 方法的视觉效果对比：（图20）

当一组中的所有补丁都相同时，T-HOSVD 应用于无噪声图像时的过度平滑效果图（图21）

最终，作者总结发现：

1）BM3D系算法在性能和效果上均展示出不俗的表现；

2）对于仅从噪声观察中学习的传统降噪器，改进的奇异值分解（M-SVD）方法能够与许多基于张量的方法产生相似的结果；

3）基于DNN的方法虽然在合成数据集上训练（因为所需标签数据在实际场景中是不存在的，只能采用合成噪声图像的方法），但在实际测试中仍表现出强大的泛化能力。