DeepFake系列之Easy to Spot

1. 简介

论文题目和作者

今天给大家介绍的是一篇由Adobe团队做的一份工作，他们通过一些简单的数据增强方法来增强检测模型对不同GAN数据集的鲁棒性

2. 前言

在这个工作中，我们在想是否能训练出一个与架构无关，与数据集无关的通用分类网络

我们收集了11种现有的GAN网络生成的图片数据集，通过一些细微的图像预处理以及图像增广，只在一个GAN网络（Pro-GAN)数据集下训练，得到的模型达到了惊人的泛化能力

3. 巨大的假脸数据集

要想验证模型的鲁棒性，最好的方法是造一个有各种生成方法的图片数据集

该工作造出7万多张图片，而这些图片来源如下

• GANS：使用了现阶段的SOTA GAN模型，ProGAN， StyleGAN，BigGAN。StyleGAN加入了高频噪声以提升图片细节，BigGAN则采用更大的batch，以及自注意力机制进行训练。此外我们还使用了其他三种传统GAN模型，有GauGAN，CycleGAN，StarGAN
• 基于感知损失(Perceptual loss)的级联网络CRN， IMLE
• 低光照条件的SAN，SITD模型
• Deepfake

Deepfake

4. 训练检测器

4.1 制造训练集

这里我们只选用了单一的一个生成模型进行训练集生成，类似于现实世界中的检测，其中要泛化的数据在训练中是未知的。

这里选择的是ProGAN生成训练集，因为它能生成高质量的数据，并且整体网络结构较为简单

4.2 分类器选择

我们选用了基于Imagenet预训练的Resnet-50模型来训练二分类任务，一些训练策略如下

4.3 数据增广

我们尝试了以下各种数据增广组合

• 图片剪裁至224x224，并且经过左右翻转，这个策略是通用的
• 不做任何图像增广
• 高斯模糊Blur，以50%的概率，σ取值在[0, 3]的均匀分布
• JPEG压缩，以50%概率，质量分布在[30, 100]的均匀分布
• Blur+JPEG（50%概率)
• Blur+JPEG（10%概率)

各个增广策略，在不同测试集下的AP值。

上图是各个增广策略，在不同测试集下的AP值。

可以看到不同模型对于不同增广策略，分类效果也是不一样的

5. 数据增广的效果

根据实验我们有以下几点结论

5.1 数据增广通常能提升泛化能力

在大部分模型内，加入图像增广能一定程度提升鲁棒性。

但有个例外是针对超分辨率模型SAN，加入了图像增广反而效果更差。

经过比较，我们认为Blur+JPEG(0.1概率)能达到一个较好的平衡

5.2 数据增广提升鲁棒性

数据增广提升鲁棒性

在实际中，我们通常不知道一张图片经过了多少预处理方法，而此时需要一个更鲁棒的检测模型。

在测试中我们对原始图片加入了模糊和压缩操作，检测器依旧能保持较好的鲁棒性

6. 数据多样性的影响

6.1 图片多样性能提高性能

对每个生成模型，生成了不同类别数目的图片，观察模型性能

我们对每个生成模型，生成了不同类别数目的图片，图片类别由2-16，模型性能都是提升的，但是类别数目达到20，模型性能有一定下降

7. 对数据集频谱分析

对数据集中各个生成模型的图片，做了频谱分析

这里作者也对数据集中各个生成模型的图片，做了频谱分析。可以看到大部分GAN算法生成的图片有层叠效应，频谱图出现了周期性图案。而ProGAN和BigGAN生成的图片则没有类似的效应

8. 总结

这篇论文信息量和实验还是比较大的，文章关注提升模型的鲁棒性，从测试集，训练集开始对各种GAN进行分析，并对数据多样性，数据增广策略做了大量实验比对。最后由ProGAN网络生成图片训练下，得到一个更稳定的二分类模型。

作者开源了相关实验代码

https://github.com/PeterWang512/CNNDetection

而实际测试中，该模型表现也十分不错。该工作的图像增广策略值得借鉴，但是对Deepfake检测准确率不如其他GAN数据理想

实际测试中，该模型的表现