专栏首页机器之心黑科技DeepFake检测方法:利用心跳做信号,还能「揪出」造假模型

黑科技DeepFake检测方法:利用心跳做信号,还能「揪出」造假模型

选自arXiv

作者:Umur Aybars Ciftci等

机器之心编译

编辑:陈萍

DeepFake 真的可以达到以假乱真的效果吗?未必。来自宾汉姆顿大学、英特尔公司的研究人员利用心跳做信号判别真假视频,还能「揪出」背后的生成模型。

伪造人像视频生成技术给社会带来了新的威胁,例如利用逼真的伪造图像和视频进行政治宣传、名人模仿、伪造证据以及其他与身份有关的操作。伴随着这些生成技术的发展,出现了一些被证实有效的 deepfake 检测方法,这些方法具备较高的分类准确率。然而,目前几乎没有任何工作关注 deepfake 视频的来源(即生成 deepfake 视频的模型)。

来自宾汉姆顿大学、英特尔公司的研究人员提出了一种方法,利用视频中的生物信号检测该视频是否伪造。该方法不仅可以区分真假视频,还能够发现 deepfake 视频背后的特定生成模型(其中,生成模型是在 DeepFakes、Face2Face、FaceSwap、NeuralTex 中进行选择)。

一些纯粹基于深度学习的方法尝试使用 CNN 来分类造假视频,CNN 实际上学习的是生成器的残差。该研究认为这些残差包含了更多的信息,可以通过将它们与生物信号分离来揭示伪造细节。观察结果表明,生物信号中的时空模式可以看作是残差的代表性投影。为了证明这一观察结果的合理性,研究人员从真实和虚假视频中提取 PPG 单元,并将其输入到当前最优的分类网络中,以检测每个视频的生成模型。

实验结果表明,该方法对假视频的检测准确率为 97.29%,对假视频背后生成模型的识别准确率为 93.39%。

论文地址:

https://arxiv.org/pdf/2008.11363.pdf

该论文的贡献如下:

  • 提出一种新型 deepfake 视频源头检测方法,为 deepfake 检测研究开启了新的视角;
  • 提出一项新发现:将生成噪声投影到生物信号空间,可以为每个模型创建唯一标识;
  • 提出一种先进的通用 deepfake 检测器,在真假视频分类方面优于现有方法,同时还能预测假视频背后的生成模型,即源生成模型。

利用生物信号检测假视频及其生成模型

生物信号已被证明可以作为真实视频的真实性标志,它也被用作 deepfake 检测的重要生物标志。正如我们所知,假视频中的合成人物无法具备与真视频中人物类似的心跳模式。该研究的关键发现基于这一事实:这些生物信号可以被解释为包含每个模型残差标识变换的假心跳。这催生了对生物信号的新探索,它们不仅可以用来确定视频的真实性,还可以对生成该视频的源模型进行分类。

于是,该研究提出了既能检测 deepfake 视频,又能识别源生成模型的系统,如图 1 所示:

为了连续地捕捉生物信号的特征,研究人员定义了一种新的时空块——PPG 单元。该时空块结合了多种原始的 PPG 信号及其功率谱,并从一个固定的窗口提取。PPG 单元的产生首先需要使用人脸检测器在每一帧中找到人脸。

第二步是从检测到的人脸中提取感兴趣区域 (ROI)(图 1d),该区域具有稳定的 PPG 信号。为了有效地提取,研究者使用眼睛和嘴之间的面部区域,以最大限度地增加皮肤暴露。

由于来自人脸不同区域的 PPG 信号之间存在相关性,因此定位 ROI 并测量其相关性成为检测的关键步骤。

第三步需要将非线性 ROI 与矩形图像对齐。该研究使用 Delaunay triangulation [26],随后对每个矩形使用非线性仿射变换,从而将每个矩形转换为校正图像(rectified image)。

在第四步中,研究者将每个图像分成 32 个相等大小的正方形,并在 ω 帧大小的固定窗口中计算每个正方形的原始 Chrom-PPG 信号,并且这不会干扰人脸检测(图 1e)。然后,计算校正图像中的 Chrom-PPG,因为它能产生更可靠的 PPG 信号。对于每个窗口,现在有 ω × 32 个原始 PPG 值。

现在将它们重组成 32 行、ω 列的矩阵,就形成了 PPG 单元的基础,如图 1f 和图 2 最下面一行的上半部分所示。

最后一步将频域信息添加到 PPG 单元。计算窗口中每个原始 PPG 值的功率谱密度,并将其缩放到 ω 大小。

图 2 的最下面一行显示了从同一个窗口生成的 deepfake PPG 单元示例,第一行是每个窗口的示例帧。

定义完 PPG 单元后,研究者展示了其主要假设:将 deepfake 生成器的残差投影到生物信号空间,可以创造一个独特的模式,并用于检测 deepfake 背后的源生成模型。

实验

该研究提出的系统采用 Python 语言实现,使用 OpenFace 库进行人脸检测,OpenCV 进行图像处理,使用 Keras 实现神经网络。

表 1 列出了在测试集上的 PPG 单元分类结果,其中 VGG19 在区分 4 种不同生成模型和检测 FaceForensics++(FF)真实视频方面达到了最高准确率(图 1f)。像 DenseNet 和 MobileNet 这样的复杂网络由于过拟合,虽然达到了非常高的训练准确率,但在测试集上的效果不如人意。

在视频分类方面,表 2 记录了过程中的不同投票方案。研究者设置 ω=128,比较了使用大多数投票、最高平均概率、两个最高平均概率以及对数几率平均后 VGG19 的单元预测结果。

如图 3 所示,该方法对五类 FF(1 个真视频和 4 个假视频)的真实视频检测率为 97.3%,对生成模型的检测准确率至少为 81.9%。

研究人员在不同的设置上进行训练和测试:1)训练集中没有真实的视频;2)PPG 单元中没有功率谱;3)没有生物信号;4)使用全帧而不是面部 ROI,其中 ω = 64,FF 数据集分割设为常数。结果见表 3:

使用前述设置,用不同的窗口大小 ω = {64, 128, 256, 512} 帧来测试该论文提出的方法。结果参见下表 4:

为了证明该论文提出的方法可以扩展到新模型,研究人员将 FF 设置与单个生成器数据集 CelebDF 相结合并重复分析过程。该研究提出的方法在整个数据集上达到了 93.69% 的检测准确率,在 CelebDF 数据集上达到了 92.17% 的检测准确率,这表明该方法可以泛化到新模型(参见表 5)。

表 6 列出了测试集上不同模型的准确率。由结果可知,该论文提出的方法甚至超过了最复杂的网络 Xception,准确率高出 10%。

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-10-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 业界|互娱、电商、广告?Video++在用AI帮助视频和直播创收

    机器之心
  • 资源 | TwenBN发布两个大型DL视频数据集:助力机器视觉通用智能

    选自medium 作者:Moritz Mueller-Freitag 机器之心编译 参与:黄小天、Smith TwenBN 是一家人工智能公司,运用先进的机器学...

    机器之心
  • 学界 | 通过流量识别加密视频内容:以色列学者提出神经网络攻击模型

    选自GitHub 作者:Roei Schuster等 机器之心编译 参与:李泽南、Smith、吴攀 深度学习在数据特征识别上的能力强大,目前已成为计算机视觉、图...

    机器之心
  • H5上传文件又双叒叕开测了!

    1.H5上传的素材页面只显示通过H5上传的素材,PC上传的素材不同步至H5,H5上传的素材实时同步至PC对应的素材Tab页;

    ITester软件测试小栈
  • 基于时间相干的超声视频半监督乳腺病变检测

    作者:Sihong Chen,Weiping Yu,Kai Ma,Xinlong Sun,Xiaona Lin,Desheng Sun,Yefeng Zheng

    空白的小飞机
  • 五月福利,吐血整理,重磅推荐,我坚信总有你需要的

    好了,废话就讲这么多,开始进入今天的主题。鉴于大家现在的需求,这个月主要分享以下几个福利:

    compassblog
  • 网页视频加密成熟方案简介【H5/M3U8/Hls】

    视频网站运营者都很关注自己网站视频的版权,怎样防止下载,防止传播,防止翻录等功能,今天给大家介绍一个成熟方案:

    点量小崔
  • 如何在视频云管理平台获取VLC视频流播放地址?

    我们知道在视频监控日益完善的今天,进行视频的综合管理是一件具有挑战的事请。如何将不同协议的摄像头进行统一的管理?这也是我们研发智能视频云管理平台的初衷。

    EasyNVR
  • C++ OpenCV播放视频及调用摄像头显示

    前一篇我们介绍了 《C++ OpenCV摄像头及视频操作类VideoCapture介绍》,我们现在就针对这个类里的API进行DEMO的演示。

    Vaccae
  • 「简单实战」YouTube Iframe API 的使用

    业务需求需要在自己的网页上嵌入油管( youtube )上的视频,所以去踩了油管 IFrame Player API 的坑。其实和大多数国内视频网站的 ifr...

    拾贰

扫码关注云+社区

领取腾讯云代金券