SWCNN | 西工大&哈工大& 台湾清华大学联合提出一种基于自监督卷积神经网络的图像去水印方法

本文分享论文A self-supervised CNN for image watermark removal，由西工大& 哈工大&台湾清华大学联合提出一种基于自监督卷积神经网络的图像去水印方法。

• 作者：田春伟，郑梦华，焦天才，左旺孟，张艳宁，林嘉文
• 单位：西北工业大学、空天地海一体化大数据应用技术国家工程实验室、哈尔滨工业大学、国立清华大学
• 原文链接：https://arxiv.org/abs/2403.05807
• 代码链接：https://github.com/hellloxiaotian/SWCNN

01摘要

卷积神经网络主要通过监督方式使用成对的图像进行图像水印去除。然而，在现实世界中，水印图像没有参考图像，导致图像水印去除技术的鲁棒性较差。

因此，本文提出了一种基于自监督卷积神经网络的图像去水印方法（Self-supervised Convolutional Neural Network in image watermark removal, SWCNN）。SWCNN摒弃了借助成对训练样本的监督学习方法，而采用自监督方式构建参考水印图像。采用异构U-Net架构提取更多的互补的结构信息用于图像水印去除。考虑到纹理信息，采用混合损失来提升图像水印去除的视觉效果。此外，本文构建了一个包含12种不同水印覆盖率的水印数据集，验证所提出的水印方法的鲁棒性。

实验结果表明，所提出的SWCNN在图像水印去除方面由于已存在的卷积神经网络方法。

代码可以在https://github.com/hellloxiaotian/SWCNN获取。

主要贡献：

1. 提出了一种自监督机制来构建参考水印图像。
2. 设计了异构U-Net，获取更多分层和互补的结构信息，高效地实现图像水印去除。
3. 利用混合损失函数，提取更多的结构信息和纹理信息，提高图像水印去除方法的鲁棒性。
4. 创建了一个水印数据集，提高了工程师和学者研究去图像水印技术的便利性。

02 方法

SWCNN网络结构如图1所示：

图1 SWCNN网络结构图

03 实验

本文提出的方法在本文提出的数据集上超过了很多流行的方法，如：DRD-Net、EAFNWDD和FFDNet等。更多的结果如表1-表4所示：

表1 不同图像去水印方法对于透明度为0.3的PSNR和SSIM结果

表2 不同图像去水印方法对于透明度为0.3、0.5、0.7和1.0的PSNR结果

表3 不同图像去水印方法对于透明度为0.3的NIQE和ILNIQE结果

表4 不同图像去水印方法的复杂度

此外，本文也制作了2组可视化结果来验证本文提出的方法的有效性，如图2-图3所示：

图2 不同方法的可视化结果：(a)水印图像(29.82dB), (b)FFDNet (24.95dB), (c)DIP (34.88dB), (d) WGAN-GP (30.59dB), (e)DnCNN(28.26dB)和(f) SWCNN(Ours) (37.32dB)

图3 不同方法对于水印透明度为0.5的去水印可视化结果：(a)水印图像(34.24dB), (b) DnCNN (33.46dB), (c) FFDNet (31.50dB)和(d) SWCNN (Ours) (40.89dB).

04 结论

本文提出了一种基于自监督卷积神经网络的图像去水印方法（Self-supervised Convolutional Neural Network in image watermark removal, SWCNN）。SWCNN采用自监督方式构建参考图像，而不是使用给定的成对训练样本。本文设计了异构U-Net和混合损失来权衡结构信息和纹理信息。此外，本文构建了一个包含十二种不同水印覆盖率的水印数据集，验证所提出的水印方法的鲁棒性。

与常见的CNN相比，SWCNN在不同透明度、视觉效果和复杂度等方面具有竞争力，这验证了本文提出方法的有效性。