专栏首页AI研习社微软北大联合提出换脸 AI 和脸部伪造检测器,演绎现实版「矛与盾」?

微软北大联合提出换脸 AI 和脸部伪造检测器,演绎现实版「矛与盾」?

近日,微软研究院与北京大学的研究小组共同提出了一种全新的 AI 换脸框架 FaceShifter,以及一种检测伪造人脸图像的方法 FaceX-Ray。前者可以极大提高换脸的高保真度,而后者则用于检测出复杂伪造人脸图像。

一个致力于造假,一个专注于打假;光是听起来,就不禁让人联想到「矛」与「盾」的故事。那到底哪个更胜一筹呢?VB 发布了的相关内容介绍了这两个成果,我们将其整理及编译如下。

图片来源:360图片

人脸技术研究背景


目前,最先进的机器学习算法不仅可以完成对地点或物体的图像改变与生成,以 Deepfake 为代表的 AI 换脸技术甚至已经可以达到以假乱真的换脸效果;但由于换脸技术的滥用可能会为社会带来一系列恶劣影响,研究人员也在不断探索该技术的原理,并希望能够解决这一难题。

就在最近,这一技术又有了新的进展。微软研究院和北京大学的研究小组发表的两篇学术论文中,他们分别提出了一种用于生成高保真和遮挡感知的人脸交换框架——FaceShifter,以及一种用于检测伪造人脸图像的方法——FaceX-Ray。

与现有的方法相比,微软研究的面容转换(图片来源:微软研究院)

据相关研究人员表示,与多个现行基线方法相比,这两种方法都能在不牺牲性能的情况下取得更好的效果,而且它们所需的数据比以前的方法少得多。

无训练换脸——FaceShifter


从相关资料可以看到,FaceShifter 能够将目标图像中的人替换为源图像中的另一个人的同时,保留其头部姿势、面部表情、灯光、颜色、强度、背景和其他属性特征。

虽然像 Reflect 和 FaceSwap 这样的应用程序声称可以相当准确地做到这一点,但是微软论文的合著者表示 FaceShifter 对姿态和视角的变化则敏感度更高。

取源图像中的脸来替换目标图像中的面,换脸结果显示在右边

【图片来源:FaceShifter论文(https://arxiv.org/pdf/1912.13457.pdf)】

FaceShifter 通过使用生成性对抗网络(GAN)来提高换脸的保真度,它主要由两部分架构组成。第一部分主要利用利用自适应注意力非正规化(AAD)层的新生成器整合人脸合成图片的特征和属性,该层可以自适应地学习整合面部属性的位置;第二部分则重点解决面部遮挡问题,这部分则包括了一个新的启发式错误确认细化网络(HEAR-Net),可利用重建图像与其输入之间的差异来识别遮挡。

更多来自 FaceShifter 的样本(图片来源:微软研究院)

研究小组称,「该框架在生成任意真实图像相对的换脸图像时,无需特定的训练,都显示出了优越的性能。大量实验表明,该框架明显优于以前的人脸交换方法。」

可以看到,在一项定性测试中,FaceShifter 保留了人脸形状,并自动适应换脸图像的光线和图像分辨率。此外,即使是从互联网上抓取的「狂野面孔」,该框架也能够在不依赖人工注释数据的情况下恢复异常区域——包括眼镜、阴影和反射效果,以及其它不常见的遮挡。

灰度打假 FaceX-Ray


而与 FaceShifter 相比,FaceX-Ray 则恰好是伪造头像的克星。正如研究人员在相应的论文中所指出的那样,我们确实需要这样的工具来防止伪造图像被滥用的情况。

2019 年 6 月曾有份报告披露,一名间谍利用人工智能生成的个人资料图片愚弄 LinkedIn 中的联系人;而就在去年 12 月,Facebook 发现数百个账户上面都有使用人工智能合成的假面像来作为个人资料照片。

各种面部操作方法的视觉结果,包括自监督生成的混合图像

【图片来源:Face X-Ray论文(https://arxiv.org/pdf/1912.13458.pdf)】

谈回 Face X-Ray 检测技术,它与现有方法不同,它不需要事先知道操作方法或人工监督;相反的是它会生成灰度图像,显示给定的输入图像是否可以分解为来自不同来源的两个图像的混合。

研究人员表示这一想法是可行的,因为大多数操作换脸的方法,都会有「将已改变的面部混合到现有背景图像中」这一步骤。但每幅图像都有自己独特的标记,这些标记是从硬件(如传感器和镜头)或软件组件(如压缩和合成算法)引入的,并且这些标记往往在整个图像中也以类似的方式呈现。

生成训练样本概述(图片来源:Face X-Ray论文)

因此,Face X-Ray 不需要依赖于与特定人脸操作技术相关联的伪影知识,并且支持它的算法可以在不使用任何方法生成假图像的情况下进行训练。

在一系列实验中,研究人员在 FaceForensics++(一个包含 1000 多个用四种最先进的人脸置换方法生成的原始剪辑的大型视频语料库),以及另一个包含由真实图像构建的混合图像的训练数据集上训练了 Face X-Ray。

他们评估了 FaceX-Ray 使用四个数据集进行概括的能力,其中包括:

  • 上述 FaceForensics++语料库的一个子集;
  • 谷歌发布的数千个 deepfake 影视集合,deepfake 检测挑战赛的图像;
  • Celeb DF,一个包含 408 个数据集真实视频的语料库和 795 个减少了视觉伪影的合成视频。

结果表明,Face X-Ray 能有效地识别出未被发现的伪造图像,并能可靠地预测融合区域。研究人员指出,该方法依赖于混合步骤的存在,因此它可能不适用于全合成图像,并且它可以无法成功检测出对抗性样本的真伪。但撇开这一点,这也算是朝通用化面部伪造图像检测工具迈出的有希望的一步。

原文地址:

https://venturebeat.com/2020/01/06/microsoft-researchers-propose-face-swapping-ai-and-face-forgery-detector/

FaceShifter 论文地址:

https://arxiv.org/pdf/1912.13457.pdf

FaceX-Ray 论文地址:

https://arxiv.org/pdf/1912.13458.pdf

本文分享自微信公众号 - AI研习社(okweiwu),作者:杨鲤萍

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-01-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 针对计算机视觉一些问题的分析

    至少在过去十年间,解决计算机视觉领域内各种问题的技术已经有了很大的进步,其中一些值得注意的问题有图像分类、对象检测、图像分割、图像生成、图像字幕生成等。在这篇博...

    AI研习社
  • 以图搜图:基于机器学习的反向图像检索

    原标题 | Reverse Image Search with Machine Learning

    AI研习社
  • 四个任务就要四个模型?现在单个神经网络模型就够了!

    AI 科技评论按:顾名思义,「表示」(representation)就是指在网络中对信息进行编码的方式。为了让大家充分理解「表示」,本文作者尝试构建一个能同时完...

    AI研习社
  • Kotlin中的延迟属性(lazy properties)

    lazy() 是接受一个lambda 并返回一个 Lazy <T> 实例的函数,返回的实例可以作为实现延迟属性的委托。也就是说: 第一次调用get() 会执行...

    deep_sadness
  • 即时通信 IM 控制台全新功能抢先看!

    腾讯即时通信 IM (Instant Messaging,IM),基于QQ 底层 IM 能力开发,仅需植入 SDK 即可轻松集成聊天、会话、群组、资料管理能力,...

    腾讯即时通信IM
  • 24个必会的SaaS销售术语

    ? 来源:SAAS大爆炸 作者 :Hank ---- ? 本文主要介绍在欧美SaaS产业界流行的营销/销售相关的基本术语,国内SaaS营销/销售圈不尽相同,...

    腾讯SaaS加速器
  • "类型初始值设定项引发异常" 解决方法

    thz
  • 工作--用户登录注册相关设计

    最近做一个网站,网站需要用户登录注册,自然也就需要一套高扩展性的用户模块设计,该篇文章记录笔者遇到问题的解决方案,希望对你有帮助。

    屈定
  • Kali下常用安全工具中文参数说明(160个)

    *本文原创作者:屌丝绅士,属Freebuf原创奖励计划,转载请注明来自FreeBuf 由于篇幅有限,只列举部分,ps:第一次发有什么不对的 还望各位大大指正 n...

    FB客服
  • photoshop 制作登录页面效果图

    现在已经有了上下两条水平参考线,我就可以比较准确地使用矩形选框工具,画出绿色背景的蚂蚁线了。

    Devops海洋的渔夫

扫码关注云+社区

领取腾讯云代金券