基于RNN网络的Deepfake检测

0. 简介

今天给大家介绍的是一篇基于CNN+RNN结构的检测Deepfakes框架

1. 前言

大部分检测假脸工作是在图片上进行的，而针对deepfake视频往往有很少检测方法。这个工作里我们提出了一种基于时间序列的处理方法，用于检测Deepfake视频。我们采用了CNN去提取帧级别的高维特征，并用这些高维特征训练RNN。我们展示了通过一个简单的架构也能在检测任务上达到不俗的效果。

2. Deepfake视频生成

深度学习方法可用于图片压缩性能， 最常用的就是自编解码器(AutoEncoder-Decoder)。自编码器可以通过最小化损失函数，将图片压缩成一个高维特征，这比现有的压缩方法都要来的高效

而编码器则是将高维特征映射回图片，如Figure2所示

使得Deepfakes生效，关键是将两个潜在的人脸编码到相同的特征上

我们通过共享一个自编码器权重，而去分别训练两个自解码器。

当我们去替换人脸的时候，先对输入图像编码，再用目标人脸解码器去解码

但是自编解码器在不同摄像角度，不同光照等复杂条件下，很难去生成人脸。种种条件变化导致人脸替换部分与背景在视觉上不一致，这种帧级别的场景不一致性将是我们方法利用的第一个特性

第二个特性来自于替换人脸需要用到人脸检测器，而自编解码器只关注人脸部分，很少去关注余下的背景信息，因此最后融合很容易出现边界效应

第三个特性是自编解码器是独立于每一帧的，它并不考虑前后帧生成人脸图片效果。最突出的是帧与帧之间光源的不一致性，导致假脸有闪烁现象，这种特征是很适合使用CNN来进行像素级别的检测。

3. 整体架构

至此我们确定了基础架构，由CNN提取帧特征，由LSTM进行时间序列上的分析，我们的网络还包含2个全连接层加Dropout以防模型过拟合

我们使用预训练后的InceptionV3网络作为CNN结构，对输入的图片抽取出2048个特征。

抽取得到的2048特征，送入LSTM单元，接一个512单元的全连接层，0.5概率的Dropout，最后通过softmax计算概率，做最终的二分类

4. 训练策略

• 抽取每个通道的特征
• 图像缩放至299x299
• 每个视频帧序列长度分别为20/40/80
• 优化器选用Adam，学习率为1e-5，decay为1e-6

5. 实验结果

最终结果显示增加帧序列，能提高一定的准确率，但是提升幅度不是很大

6. 总结

网络上流传的Deepfakes往往是以视频格式，很少是单单以图片的格式

该工作观察到帧与帧之间的融合不自然的问题，很巧妙的将CNN与LSTM结合起来，用于视频序列检测

而最后结果也是十分不错的