专栏首页AI科技评论DeepFake检测新思路:用心跳做"信号",背后的"造假"模型也无处可逃

DeepFake检测新思路:用心跳做"信号",背后的"造假"模型也无处可逃

作者 | 蒋宝尚

编辑 | 青 暮

DeeFake真是让人又爱又恨。

由它为基础开发“AI换脸”术,一方面应用在影视文化行业的想象空间极大,另一方面恶搞与色情影片却是对人性的耸动。

此类检测技术,大多都是“二分类”检测方法,虽然也能达到98%的准确率,然而这些检测方法往往会受到过渡匹配的影响,也就是说在处理不同类型的图片时,检测方法的性能会显著下降。

更为具体一点,能区分真人和照片的技术叫做liveness detection,中文叫做“活体取证”。当前的技术主要是根据分辨率、三维信息、眼动等来区分,因为翻拍的照片分辨率比直接从真人上采集的照片在质量、分辨率上有差别。

论文下载地址:https://arxiv.org/pdf/2008.11363.pdf

近日,宾汉姆顿大学和英特尔的研究人员开发了一种算法,号称能用视频中的生物信号检测这个视频是否是伪造的。

除此之外,这种方法还能识别出假视频背后的生成模型。其中,生成模型的判断是在DeepFakes、Face2Face、FaceSwap、NeuralTex中做“选择题”。

进过实验,该方法对假视频的检测准确率为97.29%,对假视频背后生成模型的识别准确率93.39%。

值得一提的是,论文中利用的生物信号是心跳,采用的方法是PPG光电容积脉搏波描记法原理(PhotoPlethysmoGraphy),简单来说利用光率的脉动变化,折算成电信号,从而对应成心率。

1

基于心跳的假视频检测法

整个算法遵循的观察规律是:生物信号还没有保存在假视频中,这些信号在生成噪声时也产生了不同的标识。

换句话说,假视频中显示的“人”不会表现出与真实视频中的人相似的心跳模式。

因此,用心跳检测假视频的思想可以大致概括为:可以将生物信号解释为在某种已知维度上的投影,从而可以找到每个生成模型的唯一签名(标识)。

值得一提的是,无论遮挡、照明条件如何变化,这些标识在真实视频是不存在的。利用这些标识可以找到假视频背后的生成模型,然后反过来提高整体的假视频检测精度。

在具体工作中,作者从人脸的不同位置提取了32个原始PPG信号(32 raw PPG),然后将这些信号连同它们的谱密度一起编码到一个时空块中,这就是所谓的PPG单元(PPG cell)。作者将PPG单元(PPG cell)输入到现成的神经网络中,从而识别源生成模型的不同标识。

在网络架构中,作者引入多个类来进行源检测,从而更加重视深度学习模型的体系结构。他们将整个识别任务表示为:具有相同概率类别的不同生成源和真实视频的多标签分类任务。

在模型训练过程中,作者在FaceForensics++(FF)数据集上构建了学习设置,其中训练集和测试集的比例为7:3。由于FF数据集包含4种不同的假视频生成模型,作者添加了真实的视频作为第5类。

作者先使用了具有3个VGG块的简单CNN,在FF数据集中的5个类别(4个生成模型+1个真实视频)上实现了68.45%精度的PPG单元块分类。随后作者猜测,可能需要一个更高容量的模型才能提升分类精度。所以,他们用另一个VGG块进行扩展,从而得到了75.49%的结果。

为了进一步证明“猜测”,作者使用VGG16、VGG19、InceptionV3、Xception、ResNet50、DenseNet201和MobileNet进行了实验,训练时间为100个epochs,结果如上图所示:VGG19精度最高。

另外,像DenseNet和MobileNet这样的复杂网络由于过拟合,虽然达到了非常高的训练精度,但在测试集上的效果不如人意。

为了证明作者的方法可以扩展到新的模型,其将FF数据集与CelebDF数据集结合了起来,具体操作是从CelebDF中随机选择了1000个假视频,创建为第六个类。

最后,作者的方法在CelebDF上达到了93.69%的假视频检测准确率和92.17%的生成模型检测准确率。因此,得出结论:利用生物信息检测假视频的模型具有泛化性。

via https://www.huxiu.com/article/326522.html

https://venturebeat.com/2020/09/03/ai-researchers-use-heartbeat-detection-to-identify-deepfake-videos/

本文分享自微信公众号 - AI科技评论(aitechtalk),作者:蒋宝尚

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-09-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 写影评、看图写诗、甚至生成视频,微软亚洲研究院梅涛博士讲解视频理解的最新进展 | CCF-GAIR 2017

    AI科技评论按:7月7号,全球人工智能和机器人峰会在深圳如期举办,由CCF主办、雷锋网与香港中文大学(深圳)承办的这次大会共聚集了来自全球30多位AI领域科学家...

    AI科技评论
  • 【深度】机器学习如何帮助Youtube 实现高效转码?

    GAIR 今年夏天,雷锋网将在深圳举办一场盛况空前的“全球人工智能与机器人创新大会”(简称GAIR)。大会现场,雷锋网将发布“人工智能&机器人Top25创新企...

    AI科技评论
  • 揭秘优酷认知实验室

    AI 科技评论按,北京时间 5 月 15 日,阿里巴巴集团发布 2019 财年第四季度财报及 2019 财年业绩,可以看到,优酷的日均用户群在 2019 财年和...

    AI科技评论
  • 短视频平台开发优势以及开发的难点

    短视频,如今已经成为一种网络传播主流。短视频平台开发的快速兴起,究其原因,既有其形式的简约、技术的成熟等基础性因素,也源于它适应了当前人们的新媒体化生存需求,如...

    布谷安妮
  • 刺激!一行代码就可下载b站等全网视频!

    大家昨天朋友圈应该都被何冰老师《后浪》演讲视频刷屏了,小破站属实也是火了一把。里面也是出现了很多精彩让人产生共鸣的话,比如:

    Python进阶者
  • 音视频技术开发周刊 93期

    LiveVideoStack
  • 技术干货 | 细说YouTube推荐系统的变迁

    作者简介 郝俊禹:达观数据高级工程师,曾获美国大学生数学建模竞赛二等奖,目前参与达观数据推荐系统研发,负责酷6,wifi万能钥匙和视频看看等项目。 ---- ?...

    达观数据
  • 预算有限的情况下短视频开发公司的选择很重要

    短视频行业近年来突飞猛进,产品也迭代换新,当中也不乏存在着利益层次,所以,很多人也盯准了这一行业,想开发一套自己的短视频平台,但是短视频开放预算有限,在短视频开...

    云豹短视频嘉兴
  • 镁客请讲|来画视频朴孟军:AI加码动画短视频制作,让小白用户像制作PPT一样做动画视频

    2016年,微博红人papi酱获得逻辑思维、真格基金等资本共计1200万融资的新闻迅速登上了各大媒体的头条。这一刻短视频究竟是不是一个风口,答案昭然若揭。后来,...

    镁客网
  • 从《后浪》争议声中,看B站到底该如何出圈? | Alfred数据室

    5月4日青年节,国内知名视频弹幕网站哔哩哔哩(B站)与央视新闻等媒体联合发布了一个视频——献给新一代的演讲《后浪》。作为一个给年轻人的励志演讲视频,其一时间引起...

    Alfred数据室

扫码关注云+社区

领取腾讯云代金券