图像和谐化公开数据集：让前景和背景更“般配”

作者 | 丛文艳

编辑 | 唐里

图像合成（image composition）是图像处理的常用操作，即把前景从一张图上剪切下来粘贴到另一张图上，获得一张合成图。但通过这种方式获得的合成图非常不和谐，因为前景和背景是在不同的拍摄条件（比如光照、天气）下拍摄的，在亮度色泽等方面存在明显的不匹配问题。

图像和谐化（image harmonization）旨在调整合成图中的前景，使其与背景看起来和谐。传统的图像和谐化方法一般是从背景或者其他图片转移颜色信息到前景上，但这样无法保证调整之后的前景看起来真实并且与背景和谐。

近年来，随着深度学习技术的发展，已经有少量的工作尝试用深度学习做图像和谐化，但深度学习模型的训练需要大量成对的合成图和真实图。如果对合成图的前景进行人工调整得到真实图，获取代价极高。

因此，在[1]中，作者提出了一种构建数据库的方式，给定一张真实图，选择一个前景进行调整使其和背景不和谐，得到一张人造的合成图。这种构建数据库的方式可以产生大规模成对的训练数据用以支持深度学习。但是[1]没有公布其构建的数据库，并且[1]建库的方式在合成图的真实性和多样性上存在不足。大规模高质量数据集的缺失在一定程度上阻碍了图像和谐化技术的发展。

我们沿用[1]中构建数据库的方式并加以改进，构建了共有73,146对合成图和真实图的数据库。基于我们构建的数据库，我们测试了传统的和基于深度学习的图像和谐化方法。并且，我们提出了一种新的基于域验证(domain verification)的图像和谐化方法，性能超过了现有方法。

目前，图像和谐化是个比较小众的方向，但有着广阔的应用前景，欢迎大家关注图像和谐化任务。

我们构建的和谐化数据库及相关代码已发布在：

https://github.com/bcmi/Image_Harmonization_Datasets

详细的介绍分析请参见：

https://arxiv.org/pdf/1911.13239.pdf

数据库构建

我们的数据库包含四个子数据库：

HCOCO

HAdobe5k

HFlickr

Hday2night

前三个子数据库的构建方式与[1]中提出的方案类似，最后一个子数据库考虑到day2night包含同一场景在不同拍摄环境下得到的一组照片，与图像和谐化的任务非常契合。

四个子数据库具体的构建过程参见下图：

1) HCOCO: 我们选取COCO数据库[2]中的一张图片，根据分割标注选择一个前景，从其他图片相同种类的前景迁移颜色信息，得到一张合成图。

2）HAdobe5k: Adobe5k[3]数据库对于一张原图有五张经过人工编辑的图像。我们选取一张原始真实图，分割一个前景，从该图对应的人工编辑图中选一张把相同位置的前景覆盖在原始真实图上，得到一张合成图。

3) HFlickr: 为了丰富数据库的种类多样性，我们用ImageNet1000类的标签从Flickr网站上爬取大量图片，图片内的物体种类不局限于1000个类。我们选取一张图片，分割一个前景，从其他图片相同种类的前景迁移颜色信息，得到一张合成图。

4) Hday2night: day2night数据库包含同一个场景在不同时间拍摄的一组照片。我们选取一张图片，分割一个前景，从同一场景的其他照片中选一张把相同位置的前景覆盖在原图片上，得到一张合成图。

经过上述步骤，我们可以产生大量的合成图。但很多合成图看起来不真实或者不满足图像和谐化任务的要求。所以，我们用自动筛选和人工筛选保证最终保留图片的质量。

具体来说，两轮自动筛选包括用预训练的美学模型删除看起来不真实的图片，以及用真实图片和被删除的图片训练二分类网络对图片进行筛选。然后，我们制定了详细的人工筛选准则，对剩余的图片做进一步筛选。

经过自动筛选和人工筛选，我们的四个子数据库HCOCO、 HAdobe5k、HFlickr、 Hday2night分别保留42,828、21,597、8,277、444对真实图和合成图，总计73,146。

接下来，我们从每个子数据库选两个例子展示我们的数据库。如下图所示，

我们对真实图片（real image）的前景（mask对应的区域）进行调整，得到合成图（synthesized composite）。可以看出在合成图中，前景虽然真实，但是和背景明显违和。图像和谐化的任务是调整合成图的前景，使其与背景看起来和谐。

评 估

为了评估构建的数据库，我们对数据库进行了详尽的分析，并且测试了传统的图像和谐化方法以及基于深度学习的图像和谐化方法。并且，我们提出了一种新的图像和谐化的方法，在构建的数据库上进行验证。

具体来说，根据域迁移（domain adaptation）领域的定义，我们把每一种拍摄条件（比如光照、天气）当做一个域（domain）。

对于合成图来说，前景和背景属于不同的域，而对于真实图来说，前景和背景属于相同的域。于是图像和谐化的任务就变成了对前景进行域迁移，将其迁移到和背景相同的域。

为了实现这个目标，我们设计了域验证鉴别器（domain verification discriminator），用于拉近和谐化图片前景和背景的域。我们的整体网络结构如下图所示：

我们生成器的结构基于UNet实现，但是增加了注意力机制（attention block）。另外，我们引入了两个鉴别器：

第一个鉴别器是生成对抗网络（GAN）里面标准的鉴别器，作用于整张图片，使得生成图片的数据分布和真实图片的数据分布接近；

第二个鉴别器就是我们提出的域验证鉴别器，使得生成图中前景和背景的域尽可能接近。

具体来说，我们用部分卷积（partial convolution）分别提取前景和背景的域表征，然后基于前景和背景的域表征使用鉴别损失。

实验及数据库链接

在构建的数据库上，我们比较了我们提出的方法、传统的图像和谐化方法和基于深度学习的图像和谐化方法。实验结果表明我们的方法优于现有的方法。而且，我们还在[1] 提供的99张真实合成图上进行用户主观评测（user study）,结果也验证了我们方法的有效性。

关于数据库详细的分析、我们方法的技术细节和全部的实验结果，请参见

https://arxiv.org/pdf/1911.13239.pdf

最后，欢迎大家使用我们发布的图像和谐化数据库以及相关代码：

https://github.com/bcmi/Image_Harmonization_Datasets

参考文献：

[1] Tsai, Yi-Hsuan,et al. “Deep imageharmonization.” In CVPR, 2017.

[2] Tsung-Yi Lin,Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, PiotrDollar, and C Lawrence Zitnick. “Microsoft coco: Common objects in context.” InECCV, 2014.

[3] VladimirBychkovsky, Sylvain Paris, Eric Chan, and Fredo Durand. “Learning photographicglobal tonal adjustment with a database of input/output image pairs.” In CVPR,2011.

[4] Pierre-YvesLaffont, Zhile Ren, Xiaofeng Tao, Chao Qian, and James Hays. “Transientattributes for highlevel understanding and editing of outdoor scenes.” ACMTransactions on Graphics, 33(4), 2014.