基于并行Gan的有遮挡动态表情识别

杨鲁月，张树美，赵俊莉

青岛大学 数据科学与软件工程学院，山东 青岛266071

Mehrabian[1]研究发现情感传递的总效果是55%的面部表情，38%的声调变化加上7%的语言表达，由此可以看出面部表情在日常交流中表达了重要的情感信息。表情识别在智能家居、无人驾驶系统、在线教育、医疗辅助、VR游戏等领域得到广泛应用，已经成为机器学习与计算机视觉研究的重要组成部分[2]。动态表情识别比静态表情识别更具真实性，但是动态表情识别在考虑相邻帧时间关系的同时还要保证识别的实时性，并且存在光照变化、姿态变化和随机遮挡等干扰因素，其中随机遮挡是动态表情识别面临的主要问题[3]。如今表情识别走入深度学习阶段[4]，AlexNet[5]、GooleNet[6]、ResNet[7]在表情识别上都取得很好的成绩，对于表情识别中的遮挡问题，张建明等[8]基于对称变换对眼部遮挡进行处理，对部分固定遮挡的识别效果较好，Zhang等[9]将Gabor面部模板转换为模板匹配距离特征，生成的特征向量对于眼睛和嘴角这样的轻微遮挡是鲁棒的。但是这些方法都只对静态图片进行了表情识别，并且忽略了遮挡位置和遮挡大小的随机性，所以对有随机遮挡的表情进行补全再进行动态表情识别是一个值得深入研究的方向。

局部遮挡图像的部分特征丢失会降低表情识别的准确率和有效性，解决遮挡问题的有效方法是尽可能将丢失的特征补全。全变分方法[10]和块匹配方法[11]都是传统的人脸补全方法，但是这类方法过于依赖未遮挡部分，Zhang等[12]将多个深度回归网络和去噪自编码器级联得到了一个对部分遮挡具有鲁棒性的深度模型，自动恢复遮挡部分的真实外观。……