遮挡人脸表情图像预处理研究进展

殷柯欣， 廖冰冰, 胡文楠, 包 芳

(长春工业大学 计算机科学与工程学院， 吉林 长春 130012)

0 引 言

人脸表情是人类表达自我、沟通交流的重要方式，通过表情可以读出人类内心的真实想法。人脸表情识别(Facial Expressions Recognition，FER)技术将心理学、生理学、图像处理与模式识别等研究领域进行交叉融合，在情感分析、心理学、医学分析、军事等领域成为研究热点。人脸表情识别过程包括人脸表情图像采集、图像预处理、特征提取和表情分类四个基本步骤。

表情图像采集作为FER第一步，对表情识别具有重要影响。在采集图像过程中，环境影响是不可避免的。这些影响包括光照、姿态、低分辨率以及遮挡等。文中主要对遮挡表情图像进行详细总结。李小薪等[1]提出引起面部遮挡的因素可以分为：

1)极度光照不均匀造成的光线遮挡；

2)覆盖人脸的实物遮挡；

3)自身姿态造成的自遮挡。

光线造成的面部遮挡可以从去除光线的角度处理，自身姿态造成的自遮挡主要由主观意愿造成，文中重点针对实物遮挡的人脸表情图像进行分析，介绍由实物造成面部遮挡图像预处理方法。实物遮挡包括墨镜、口罩、围巾等造成的面部遮挡，以及周围物体或他人身体造成的遮挡，如图1所示。

(a) 墨镜遮挡 (b) 口罩遮挡 (c) 手枪遮挡

文中主要从CNKI、CCF、IEEE、谷歌学术和百度学术等文献数据库查阅了近3年相关文献。首先介绍了遮挡表情图像的传统处理方法，然后进一步将遮挡表情图像处理算法分为基于面部重要区域、基于图像重构和基于深度学习的处理三个角度介绍。……