北京大学 | 联合篡改定位和版权保护的多功能图像水印

本篇文章分享论文EditGuard: Versatile Image Watermarking for Tamper Localization and Copyright Protection ，联合篡改定位和版权保护的多功能图像水印研究。

详细信息如下：

• 项目地址：https://xuanyuzhang21.github.io/project/editguard/
• 代码地址：https://github.com/xuanyuzhang21/EditGuard
• 通讯作者：Xuanyu Zhang, Runyi Li, Jiwen Yu, Youmin Xu, Weiqi Li, Jian Zhang

图1：我们提出了一个多功能的主动取证框架 EditGuard。应用场景如左图所示，用户通过EditGuard预先在图像中嵌入双重不可见水印。如果遭受篡改，可以通过EditGuard提供的被篡改区域和版权信息来维权、取证。右侧是一些支持的篡改方法（蓝色标记）和EditGuard的定位结果。本方法可以实现95%以上的定位精度（F1分数）和近100%的版权复原准确率。

得益于扩散模型的优越性能以及海量数据的加持，AI图像生成模型如DALL·E 3、Imagen和Stable Diffusion已经能够制作出逼真而令人惊叹的图像，这给摄影师和图像编辑者的工作带了极大的便利。

然而，这些模型强大的能力也是一把双刃剑，它们给版权保护和信息安全方面带来了新的挑战。AIGC编辑技术使得图像、视频和文本的篡改变得更加容易，容易造成虚假信息的传播、隐私侵犯、舆论误导、社会动荡甚至法律纠纷。

因此，开发有效的版权保护和篡改定位技术是维护图像信息可信度、安全度的关键。

鉴于图像篡改的方式种类繁多，从源头避免图像篡改极具挑战。因此，使用图像水印这种主动取证的方式来保护图像版权、检测恶意篡改已成为人们的共识。然而，现有的取证型图像水印技术功能单一，它们仍然集中在检测图像真实性或保护图像版权上，对于一些进阶需求，如定位被篡改区域存在不足。

此外，大多数先前的篡改定位方法在网络训练时将不可避免地引入特定类型的篡改—真实样本对，这往往会引起在未知篡改类型上的泛化性问题。因此，研究一个联合通用篡改定位和版权保护的多功能水印框架至关重要。

为了解决上述问题，受图藏图隐写局部性和脆弱性的启发，本文设计了一种多功能主动取证方法EditGuard（如图2所示），它采用一种“串行编码”和“并行解码”的结构。“串行编码”是指通过双重水印编码器依次以一种不可见的方式向原始图像中添加定位水印和版权水印，使它们互不干扰，最终得到一张被保护的容器图。

其中，定位水印是一张预先定义的RGB图像，局部地添加在原始图对应位置的像素上。版权水印是一串二进制比特流，冗余地添加在原始图像的全局位置中。

之后，在解码端，本文采取不同的鲁棒性等级来训练篡改定位器和版权提取器。篡改定位器将半脆弱地提取出定位水印，并将它和预定义的水印进行比对，得到表示篡改区域的二值掩膜。它将准确反应潜在的恶意篡改，如基于AIGC的编辑痕迹，但对于网络传输过程中的常见退化如高斯噪声、JPEG压缩、泊松噪声等表现地鲁棒。

同时，版权提取器将完全鲁棒地解码出输入的原始版权。

图2：多功能主动取证水印框架EditGuard示意图。采用串行编码和并行解码结构解决“水印添加的局部—全局”矛盾和“水印提取的半脆弱—鲁棒”矛盾。

进一步地，为了实现通用、与类型无关的篡改定位和版权保护，本文将上述双重取证任务（篡改定位、版权保护）转化为一个联合的图像比特隐写问题。如图3所示，联合隐写网络包括图像隐藏模块、比特加密模块、比特恢复模块和图像解密模块。本文采用堆叠的可逆模块来构建图像隐藏和解密模块。

为了增强定位水印解码的保真度和鲁棒性，引入了基于退化提示的后验估计模块，使用深度网络估计可逆网络丢失的高频信息。同时，考虑到容器图在网络传输过程中的容易遭受各种退化，本文预先定义了若干个作为退化提示的可学习嵌入向量。这种退化提示可以自适应地学习丰富的退化表征，使网络能够用一套参数处理多种类型的退化。

为了将版权水印编码到图像中，本文将比特流调制到U型特征提取网络的每一个特征尺度。最后再使用一个特征细化子网络和全连接层，从容器图中无损地恢复出用户输入的原始版权比特串。

图3：将双重取证任务转化为了一个联合图像—比特隐写问题，利用图藏图隐写的局部性、脆弱性和比特藏图隐写的鲁棒性实现EditGuard框架的功能。

最终，本文采用一种两阶段策略分别优化比特隐藏—恢复模块，以及图像隐藏—解密模块。得到训练好的联合隐写网络之后，基于该网络构建多功能水印框架EditGuard。其中，双重水印编码器由图像隐藏和比特加密模块组成，分别对应于图2中的添加定位水印和版权水印。版权提取器严格对应于比特重建模块，而篡改定位器则由图像恢复模块和一个掩码提取器（ME）组成。比较预定义的水印与解码后的定位水印，可以通过掩码提取器得到表示篡改区域的二值掩膜。

在实验方面，如表1和图4所示，得益于采用的主动定位方式，我们的方法在定位精度上远远超过了现有的篡改定位方法，并能够适用于任意的图像生成或编辑算法的篡改，包括Stable Diffusion Inpaint, Controlnet, SDXL, RePaint, Lama, FaceSwap。同时，在遭受AIGC编辑方法的篡改下，我们的方法仍能以接近100%的精度提取用户输入的版权信息。

表1：在多种AIGC编辑方法下，EditGuard和现有篡改定位方法的定位性能对比。同时，我们的方法也能以接近100%的准确率（BA）重建用户输入的版权。

图4：在AIGC编辑方法下EditGuard和现有篡改定位方法的定位性能主观对比。

实验室简介: vvvv视觉信息智能学习实验室(VILLA) 由张健助理教授在2019年创立并负责，致力于AI内容生成与安全、底层视觉、三维场景理解等研究方向，已在CVPR、ICCV、ECCV、NeurIPS、ICLR、TPAMI、TIP、IJCV、AAAI等高水平国际期刊会议上发表成果50余篇。VILLA在图像合成与编辑领域发布多款爆火技术和产品，包括T21-Adapter、DragonDiffusion、FreeDoM。其中T2I-Adapter已被AIGC领域的独角兽公司Stability AI与其旗舰模型Doodle。近期，VStableDiffusion-XL结合，推出涂鸦生成产品StableILLA在AIGC内容生成和安全方面推出了多项工作，包括零样本图生视频新方法AnimateZero，扩散隐写新范式CRoSS，基于物理的动态人机交互模拟框架PhysHOl，针对复杂语义提示的渐进式局部3D编辑方法Progressive3D，语言辅助的3D场景理解LAST-PCL，神经视频编辑场NVEdit等。更多信息可关注: 实验室主页:https://villa.jianzhang.tech/ 张健老师主页: https://jianzhang.tech/