作者 | Just
出品 | AI科技大本营(ID:rgznai100)
Deepfake换脸图像的泛滥给人类社会带来了巨大的挑战。
虽然研究者们为检测换脸图片提出了多种AI鉴别算法,但随着换脸算法的不断改造升级,鉴别算法很难跟上换脸算法的变化。
微软亚洲研究院团队近期提出的Face X-Ray算法或将改变这种局面。微软亚洲研究院常务副院长郭百宁称,“Face X-Ray技术像医院的X光一样。它能鉴别图片真假,不但能告诉你图片有没有进行过换脸操作,而且还能告诉你换脸操作的边界在什么地方。”这篇论文已入选CVPR 2020。
传统的 AI 换脸一般分三步走:第一步检测目标图像的面部区域;第二步,利用 AI 换脸算法生成新的面部及一部分周围区域;第三步,将生成的新面部融合到原图像中,替换原图像中的面部。
此前的换脸鉴别方法主要从第二步入手,通过检测换脸过程中产生的瑕疵,确定图像的真伪,但是,这一瑕疵并不唯一确定,不同的换脸算法合成时造成的瑕疵大相径庭。
微软亚洲研究院的 Face X-Ray 换脸鉴别算法则主要针对换脸算法的第三步:图像融合过程。换脸的图像必然是至少两张图像叠加而成,而且可以确定合成图像的中间面部是来源于一张图像,面部周围来源于另外一张图像;研究员们还发现,每一张图像都有一个来自于硬件或软件的特殊噪声标记,这些噪声就像指纹一样独一无二。因此,Face X-Ray 通过确定图像是否包含两种不同的噪声,就能判定一张人脸图像为合成图像的几率。
此前业内的主流换脸鉴别算法是训练 AI 分类器,让 AI 模型去“学习”大量的换脸图像,从而具有初步的鉴别能力。“先搜集一大堆换过脸的照片,再搜集一堆真照片,然后用深度神经网络做训练。看完之后计算机就会学习,然后鉴别这张照片是否进行过换脸操作。”郭百宁解释。
但二分类方法的局限在于不具备通用性:只有换脸图像采用的是已知换脸算法,如 DeepFake、FaceSwap、Face2Face 等生成,才有可能达到较高的识别率(99%以上),因为 AI 模型就是通过大量学习这些算法生成的人脸图像去提升识别能力,一旦换脸图像采用了未知算法,其鉴别的识别率会大幅降低至70%。
同时,使用分类器方法的前提是一定要收集大量假图片才能进行训练,但“假图片”本身可能已经对社会造成了危害。
Face X-Ray则把换脸鉴别技术推到了更高层次。首先具有通用性,Face X-Ray背后的算法是“类自监督学习”的一种方法,“我们不需要这些(换脸图片)数据,也不用知道是哪个换脸算法,就能鉴别。”郭百宁称。Face X-Ray鉴别算法基于FaceForensics数据集进行了测试,测试的平均识别率达到95%以上。
其次,Face X-Ray具有可解释性。其能明确指出合成图像的合成边界,让普通人也可以更加容易地理解这一方法的鉴别过程,将AI技术的可解释性又向前推进了一步。
当然,论文指出,Face X-Ray可能并不适用于对抗性图片和完全合成图像。郭百宁表示,换脸技术和换脸检测技术是矛和盾的关系,有更坚硬的矛就有更坚硬的盾,两者会互相促进、共同发展。
【end】