基于表情及姿态融合的情绪识别

文虹茜， 卿粼波， 晋儒龙， 王 露

(四川大学电子信息学院， 成都 610065)

1 引 言

情绪的感知和表达在心理学和神经科学领域已经得到了广泛的研究，随着人工智能的不断发展，利用计算机进行情绪的分析也获得了人们的关注.能够感知和分析人类情绪和意图的计算机系统将在娱乐、医疗、教育和公共安全等领域发挥作用.例如，提高机器人情绪识别能力将丰富人机交互应用；情绪感知医疗辅助系统可以帮助评估焦虑和抑郁等精神障碍；在机场、地铁和公园等人流量大的场所进行情绪监测可以帮助识别潜在威胁，及时处理突发事件.

面部表情可以最直观地反映出人们的情绪状态和心理活动，是表达情绪的重要方式.目前基于视觉感知的人类情感的研究主要集中在面部.心理学家Ekman[1]研究不同文化之间的面部行为模式，定义了6类基本情绪(快乐、悲伤、厌恶、惊讶、愤怒和恐惧).传统的表情识别研究大多采用手工特征或浅层学习，随着应用环境转向具有挑战性的真实场景，神经网络越来越多地被用于特征提取，并取得了超前的识别精度.在表情识别中应用广泛的深度学习技术有卷积神经网络(Convolutional Neural Networks, CNN)、深度置信网络(Deep Belief Network, DBN)、递归神经网络(Recursive Neural Network, RNN)等[2].然而，有心理研究表明，面部表情本身可能包含误导性信息，特别是应用于互动和社交场景时.而通过观察身体姿势、动作、语调等不同的表现形式能提高对情绪状态的判断能力[3-4].此外，在真实环境中，距离、姿势……