基于双注意力模型和迁移学习的Apex 帧微表情识别

徐玮，郑豪，杨种学

（1.广西师范大学 计算机科学与工程学院/软件学院，广西 桂林 541004;2.南京晓庄学院 信息工程学院，江苏南京 211171）

微表情是人们试图隐藏真实情感时不由自主泄露出的面部表情，是人类经过长期进化遗传而继承下来的。其作为人内在情绪的真实表现，能够揭示一个人的真实情绪，具有持续时间短、强度低、难以诱导[1]等特征，因此它成为精神心理学和情感分析领域最可靠的生理特征之一。

微表情识别算法主要有特征描述算法、特征转换算法、光流算法、频域算法、深度学习算法等。特征描述算法[2-4]通过描述微表情的面部肌肉运动特性、纹理特性等实现对微表情的特征表示，在局部二值模式的基础上，减少噪声、光照等因素的影响，提升特征描述的准确性。特征转换算法[5-6]将微表情序列看作张量，对其进行矩阵变换去除冗余信息，增加颜色、空间和时间等信息。光流算法[7-9]主要分析光流场中微表情序列的变化，从像素的角度提取相邻两帧像素的相对运动，捕捉面部的细微变化，降低头部运动和光线变化对特征的影响。频域算法[10-12]将微表情序列看作一个时域信号，通过傅里叶变换、Gabor变换等转换到频域上，提取振幅、相位信息等特征，能够有效提取面部轮廓的角点和边缘信息等局部特征。基于深度学习的微表情识别算法利用神经网络自主学习的特征，得到高层的语义信息。Patel 等[13]探索深度学习用于微表情识别任务，提出一种选择性的深层特征进行微表情识别，去除不相关的深层特征。……