专栏首页GiantPandaCV基于RNN网络的Deepfake检测

基于RNN网络的Deepfake检测

0. 简介

今天给大家介绍的是一篇基于CNN+RNN结构的检测Deepfakes框架

1. 前言

大部分检测假脸工作是在图片上进行的,而针对deepfake视频往往有很少检测方法。这个工作里我们提出了一种基于时间序列的处理方法,用于检测Deepfake视频。我们采用了CNN去提取帧级别的高维特征,并用这些高维特征训练RNN。我们展示了通过一个简单的架构也能在检测任务上达到不俗的效果。

2. Deepfake视频生成

深度学习方法可用于图片压缩性能, 最常用的就是自编解码器(AutoEncoder-Decoder)。自编码器可以通过最小化损失函数,将图片压缩成一个高维特征,这比现有的压缩方法都要来的高效

而编码器则是将高维特征映射回图片,如Figure2所示

使得Deepfakes生效,关键是将两个潜在的人脸编码到相同的特征

我们通过共享一个自编码器权重,而去分别训练两个自解码器。

当我们去替换人脸的时候,先对输入图像编码,再用目标人脸解码器去解码

但是自编解码器在不同摄像角度,不同光照等复杂条件下,很难去生成人脸。种种条件变化导致人脸替换部分与背景在视觉上不一致这种帧级别的场景不一致性将是我们方法利用的第一个特性

第二个特性来自于替换人脸需要用到人脸检测器,而自编解码器只关注人脸部分,很少去关注余下的背景信息,因此最后融合很容易出现边界效应

第三个特性是自编解码器是独立于每一帧的,它并不考虑前后帧生成人脸图片效果。最突出的是帧与帧之间光源的不一致性,导致假脸有闪烁现象,这种特征是很适合使用CNN来进行像素级别的检测。

3. 整体架构

至此我们确定了基础架构,由CNN提取帧特征,由LSTM进行时间序列上的分析,我们的网络还包含2个全连接层加Dropout以防模型过拟合

我们使用预训练后的InceptionV3网络作为CNN结构,对输入的图片抽取出2048个特征。

抽取得到的2048特征,送入LSTM单元,接一个512单元的全连接层,0.5概率的Dropout,最后通过softmax计算概率,做最终的二分类

4. 训练策略

  • 抽取每个通道的特征
  • 图像缩放至299x299
  • 每个视频帧序列长度分别为20/40/80
  • 优化器选用Adam,学习率为1e-5,decay为1e-6

5. 实验结果

最终结果显示增加帧序列,能提高一定的准确率,但是提升幅度不是很大

6. 总结

网络上流传的Deepfakes往往是以视频格式,很少是单单以图片的格式

该工作观察到帧与帧之间的融合不自然的问题,很巧妙的将CNN与LSTM结合起来,用于视频序列检测

而最后结果也是十分不错的

本文分享自微信公众号 - GiantPandaCV(BBuf233),作者:zzk

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-06-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 利用渐进校准网络(PCN)的实时角度无关人脸检测

    然后现在的很多人脸检测器比如我们介绍过的MTCNN,FaceBoxes,RetinaFace等等都实现了高精度的实时人脸检测,但这些算法往往都是在直立的人脸上表...

    BBuf
  • 基于Kaggle DeepFake比赛的代码实战

    本文使用Kaggle的Deepfake比赛数据集,使用CNN+LSTM架构,对视频帧做二分类,该项目部署在百度的aistudio上进行训练。

    BBuf
  • 【论文分享】 作者带你读CVPR2020-MSFSR

    [GaintPandaCV导语] 今天带来我自己的一篇CVPR2020论文,这篇论文主要针对于大放大倍率情况下人脸超分辨率网络出现的性能衰减问题进行思考。现有的...

    BBuf
  • R-CNN,Fast R-CNN,Faster-RCNN快速理解

    检测资源合集http://objectdetection.cn/2018/05/14/awesome-object-detection/

    水球喵子
  • 资源丨用PyTorch实现Mask R-CNN

    FACEBOOK人工智能实验室何恺明博士领衔的Mask R-CNN喜提ICCV 2017最佳论文后,吸引了大量业内研究者的兴趣。

    量子位
  • 7大类深度CNN架构创新综述

    通过 1989 年 LeCun 处理网格状拓扑数据(图像和时间系列数据)的研究,CNN 首次受到关注。CNN 被视为理解图像内容的最好技术之一,并且在图像识别、...

    机器之心
  • 站在巨人的肩膀上,深度学习的9篇开山之作

    大数据文摘
  • CNN--卷积神经网络从R-CNN到Faster R-CNN的理解(CIFAR10分类代码)

    上图中CNN要做的事情是:给定一张图片,是车还是马未知,是什么车也未知,现在需要模型判断这张图片里具体是一个什么东西,总之输出一个结果:如果是车 那是什么车。

    mantch
  • 卷积神经网络CNN,CRNN

    上图中CNN要做的事情是:给定一张图片,是车还是马未知,是什么车也未知,现在需要模型判断这张图片里具体是一个什么东西,总之输出一个结果:如果是车 那是什么车。

    大数据技术与机器学习
  • tar包管理入门

    1、在windows下常见的压缩文件有zip和rar,但是linux系统中有gz、tar.gz、taz、bz2、Z、tar,其中windows下的也可以在lin...

    苦咖啡

扫码关注云+社区

领取腾讯云代金券