基于注意力机制和一致性损失的深度伪造人脸检测方法

范智贤,程晴晴,杨高明*

(1.安徽理工大学 人工智能学院,安徽 淮南 232001;2.安徽理工大学 计算机科学与工程学院,安徽 淮南 232001)

受益于生成技术的巨大成功,人脸伪造已经成为近年来新兴的热门研究课题。深度伪造(deepfake)技术能够生成高质量的假视频,合成人眼无法区分的逼真面部。由于使用门槛低,导致这些伪造技术很可能被恶意滥用,产生严重的安全和道德问题,损害个人声誉和国家政治安全。因此,开发更通用和实用的人脸伪造检测方法至关重要。当前大多数深度伪造人脸检测方法都是二分类模型,专注于如何构建复杂的特征提取器,以使用二分法区分出真假人脸,但是无法实现对于伪造区域的定位。

针对此问题,Nguyen等[1]提出了多任务学习检测伪造人脸方法,可以同时进行伪造人脸的分类以及伪造区域的定位,在多个任务中共享相关信息,促进学习。Dang等[2]提出用注意力机制来处理和改进分类任务的特征图,学习到的注意力图突出信息区域,通过可视化使被操纵的面部区域实现定位功能。这些方法可使网络更好、更全面地学到关于篡改区域的内在表示并取得了不错效果,但是过分关注训练数据集的伪造痕迹,很容易产生过拟合问题,导致在跨数据集的实验中准确率大大下降。对此,一些学者越来越关注网络模型在跨数据集中的实验效果,目的是提升模型的泛化性能。Masi等[3]提出基于两分支网络结构的深度伪造检测方法,一个分支用于传播原始人脸信息,另一个分支用于抑制人脸信息内容;并将时域、空域、频域信息进行融合,综合判断是否为伪造人脸,在虚假人脸检测的跨数据集方面有了一定的性能提升。……