ICCV 2021 | 新的去雪数据集CSD开源！更快更有效的去雪网络HDCW-Net

ALL Snow Removed: Single Image Desnowing Algorithm Using Hierarchical Dual-tree Complex Wavelet Representation and Contradict Channel Loss

论文链接：

https://openaccess.thecvf.com/content/ICCV2021/papers/Chen_ALL_Snow_Removed_Single_Image_Desnowing_Algorithm_Using_Hierarchical_Dual-Tree_ICCV_2021_paper.pdf

数据集链接：

https://ccncuedutw-my.sharepoint.com/:u:/g/personal/104501531_cc_ncu_edu_tw/EfCooq0sZxxNkB7F8HgCyKwB-sJQtVE59_Gpb9soatYi5A?e=5NjDhb

代码链接：

https://github.com/weitingchen83/ICCV2021-Single-Image-Desnowing-HDCWNet

简介

最近因为科研的需要，开始找寻去雪网络的相关文章，发现去雪的文章相对于去雾或是去雨来说相对少，而我找到最近台湾大学以及华硕电脑在今年ICCV发表了一个大型去雪数据集以及新的去雪网络HDCW-Net，在各项数据集达到SOTA的性能，并且在执行速度上优于现有的算法，相当有趣，所以写了一帖文章供小伙伴们参考。

此外，我也发现这个团队去年也有在ECCV'20发表另一篇去雪的工作，有兴趣可以参考：https://link.springer.com/chapter/10.1007/978-3-030-58589-1_45

Single Image Desnowing (单张影像去雪)，字面上就是给予一张含有雪的场景，透过影像重建的技术，将影像中的雪以及受损的影像内容还原回来。此任务由于大型数据集深度学习的进步，在近年有着相当大的突破，例如著名的JSTASR [1]以及DeSnowNet [2]的提出。然而在现今的去雪算法当中仍然存在着下面的问题：

1. 对于真实世界场景的鲁棒性：因为雪的型态多样且复杂，通常包含snow streak, snow flake, 以及veiling effect，除此之外，雪的大小差异也相当大，而尺寸较大的雪现有的网络无法有效地去除。
2. 现有的数据集不能反映出真实世界的场景：在现有的数据集当中，如:Snow-100K [1]和RWD [2]，都缺少了snow streaks，使得网络在训练时没办法学习到更全面雪的信息。

方法

针对上述问题，提出了一个基于Dual-tree Wavelet Transform (DTCWT)的阶层式(Hierarchical Architecture)网络。DTCWT是Discrete Wavelet Transform的改良版，他拥有较好的方向性，能够有效的捕捉不同方向的特征，而雪通常含有不同的方向，如下图所示，相比于传统的DWT，DTCWT可以更有效地将不同方向的雪去做型态上的捕捉。此外，为了能更有效地去解决不同大小雪的问题，使用阶层式的分解方式，可以将形状较大的雪去做切割，让较大的雪可以分解至每一个子频带，使得尺寸问题可以被解决。

除了上面的网络设计外，还提出了一个新型的特征称为Contradict Channel (CC)，此特征可用于雪的场景作为一种用来判断图片是否有残余的雪的特征。此特征可以被定义如下：

相较于干净的影像，当影像含有残存的雪时，contradcit channel的值就会较大，接近1。运用这个特性，我们就可以利用它作为一个还原影像是否残留雪的指针，去帮助网络训练。

此外，针对snow streak的部分，论文当中也提出了一个新的大型数据集Comprehensive Snow Dataset (CSD)，供这个领域的研究者使用。

实验结果

论文当中做了相当多实验去验证有效性

首先是消融实验(Ablation Study)：

● 针对不同的feature extraction方式做比较：

上表当中证明了，对比于其他feature extraction方式，使用DTCWT对于网络而言是一种有效的方式去做雪的特征萃取。

● 使用阶层式对于网络效能的提升：

而此实验验证了，使用阶层式的分解方式对于去雪的效能也是有显着的帮助的，但过度的分解可能会带来效能的降低。

● 使用contradict channel对于去雪的效能比较：

Contradict Channel的有效性也在此实验被验证，使用contradict channel做为计算loss的方式能够有效地增强去雪的效能。

● 与现有方法的比较：

● 计算复杂度比较：

而提出的算法在去雪效果以及计算复杂度也明显优于现有的去雪网络，在单张影像去雪工作又往前进了一步。

结语

读完这篇文章后，有两个特点非常值得学习

1. 使用DTCWT做为特征的萃取的工具搭配阶层式的分解似乎对于去雪工作有着不错的效果。

1. 除了传统的dark channel以及bright channel外，contradict channel对于雪来说是一个有效评估的特征。

参考文献

[1] Chen, W. T., Fang, H. Y., Ding, J. J., Tsai, C. C., & Kuo, S. Y. (2020, August). JSTASR: Joint size and transparency-aware snow removal algorithm based on modified partial convolution and veiling effect removal. In European Conference on Computer Vision (pp. 754-770). Springer, Cham.

[2] Liu, Y. F., Jaw, D. W., Huang, S. C., & Hwang, J. N. (2018). DesnowNet: Context-aware deep network for snow removal. IEEE Transactions on Image Processing, 27(6), 3064-3073.

[3] Chen, W. T., Fang, H. Y., Hsieh, C. L., Tsai, C. C., Chen, I., Ding, J. J., & Kuo, S. Y. (2021). ALL Snow Removed: Single Image Desnowing Algorithm Using Hierarchical Dual-Tree Complex Wavelet Representation and Contradict Channel Loss. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 4196-4205).