基于双层注意力的Deepfake换脸检测

龚晓娟，黄添强，翁彬，叶锋，徐超，游立军

基于双层注意力的Deepfake换脸检测

龚晓娟1,2，黄添强1,2，翁彬1,2，叶锋1,2，徐超1,2，游立军3

（1. 福建师范大学数学与信息学院，福建 福州 350117； 2. 数字福建大数据安全技术研究所，福建 福州 350117； 3. 福建省灾害天气重点实验室，福建 福州 350001）

针对现有Deepfake检测算法中普遍存在的准确率低、可解释性差等问题，提出融合双层注意力的神经网络模型，该模型利用通道注意力捕获假脸的异常特征，并结合空间注意力聚焦异常特征的位置，充分学习假脸异常部分的上下文语义信息，从而提升换脸检测的有效性和准确性。并以热力图的形式有效地展示了真假脸的决策区域，使换脸检测模型具备一定程度的解释性。在FaceForensics++开源数据集上的实验表明，所提方法的检测精度优于MesoInception、Capsule-Forensics和XceptionNet检测方法。

Deepfake；换脸检测；假脸检测；注意力

1 引言

随着深度假脸（Deepfake）技术的兴起，如Face2face[1]、FaceSwap、Deepfake、OpenFaceSwap和DeepFaceLab等程序源代码可轻松获取。此外，还有FakeApp、Face2faceAI换脸、ZAO和DeepNude（一键去衣）等软件的大量涌现，以及相关的软件和技术可以轻易地在一些技术网站上获得。这使人们不需要通过系统地学习专业技术就能轻而易举地对一幅图片甚至一段视频进行人脸篡改，并且很多时候单凭人们的视觉直观感受难以分辨真伪。当新闻报道、政府组织或司法机构证据所使用的图片、视频被恶意篡改时，势必会对政治和社会产生恶劣的影响。因此，换脸检测研究吸引了大量研究团队的注意。例如，Facebook和微软公司联合在Kaggle上推出了Deepfake检测挑战赛，以促进检测算法的开发。……