表情识别在情绪测量中的应用探索

王择青 邓宁 赵敏 于潮杰 高晗 潘建设

中图分类号：B842.6 文献标识：A 文章编号：1674-1145（2019）3-191-02

摘 要 人是企業发展中的核心要素，员工队伍的工作情绪对公司安全生产、提质增效、争创世界一流能源互联网有深刻持久的影响，国网江苏省电力有限公司基于对情绪内涵、结构和测量手段的持续研究，率先尝试应用表情识别技术、心理科学和机器学习测量员工队伍的群体情绪，作为员工队伍工作心态智能感知的重要组成部分，取得了一定的成效。

关键词 情绪结构 情绪测量技术 表情识别 心态智能感知

一、情绪的基本内涵和结构

（一）基本内涵

身体知觉观认为是先有事件刺激带来的生理变化，再有情绪体验。进化主义观认为情绪是进化过程中为适应环境挑战而形成的，演变为一种本能反应，能够被刺激事件或情境诱发。认知评价观认为情绪的生理反应过程，依赖于个人短时或持续的评价。几种观点争论的焦点在于情绪产生的先后顺序，以及情绪的核心成分到底是主观体验和感受，是认知评价和情感记忆，还是生理、神经活动和行为反应。以Arnold和Lazarus为代表的情绪认知评价理论认为对个体对外部影响环境进行的主观评价是情绪产生的直接原因，并概括出情绪产生的三个来源，即外部环境刺激、身体生理刺激和评价刺激。我国学者傅小兰尝试将情绪定义为“情绪是往往伴随着生理唤醒和外部表现的主观体验”。

（二）情绪的结构

情绪是一个异常复杂的心理概念，具有十分独特的内部结构。Izard对情绪成分的划分最具有代表性，情绪划分为主观体验、外部表现、生理唤醒三个成分。对情绪结构的认知探索过程中，目前心理学界尚未达成一致的看法和理论观点，在理论分析和实验探索的取向上主要可以分为两大类：分类取向和维度取向。

1.分类取向。对基本情绪的分类主要是围绕情绪的主观体验和评价展开的。在对基本情绪的分类学说中，有Tomkins（1970）提出的8种原始基本情绪说，Izard（1991）提出的10种基本情绪说，以及现在被普遍认可的Ekman（1971）提出的6种基本情绪说——快乐、悲伤、愤怒、恐惧、厌恶和惊讶。这6种情绪相互组合，又可以派生出各种各样的复合情绪，复合情绪包括爱与依恋、自豪、羞耻与内疚、敌意、焦虑与抑郁和道德情绪。分类取向在主观体验和评价上的情绪分类更复杂，更详细，但系统性稍逊；维度取向的理论基础比较系统，其评价工具的结构相对清晰，但在维度的划分方面不如分类取向详细。

2.维度取向。其中，Plutchik（Plutchik，1970，1980，2000）提出的情绪三维环形模型有一定的代表性。三维即强度、相似性和两极性，情绪可以按照强度变化（忧郁和悲痛之间），也可以按照与其他情绪的相似性变化（快乐和期待比厌恶和惊奇之间相似性更高），或者按照两极性变化（厌恶与接纳相反）。图中的倒锥体及其展开图为Plutchik的情绪三维环形结构模型，锥体界面划分为8种原始情绪，相邻的情绪是相似的，对角位置的情绪是对立的，锥体自下而上表明情绪由弱到强的变化。

二、情绪的测量手段

在情绪测量研究领域中，目前存在三种主流的研究范式，一是认知神经科学研究范式，研究对象主要是大脑杏仁核；二是意见挖掘与情感分析范式，研究对象主要是用户评论和网络信息文本；三是人工智能研究范式，研究对象涵盖了面部表情识别、姿态识别、自然语言处理、人体生理信号识别、多模情感识别、语音识别等。由此可见，研究的范式和承载情绪的相关载体密切相关。本文依据情绪的三个主要成分说法，把情绪的三个成分作为研究对象，介绍一些相应的测量手段。

（一）主观体验测量

情绪的主观体验，主要是对各种情绪的主观感受。主观体验的测量，比较通用的做法是采用主观报告法和量表测试法。美国现代心理学的创始人James曾经说过“内省观察是我们需要优先并要一直使用的研究方法”（James，1890）。主观报告的当事人虽然无法很好地进行内省观察，并进行心理语言的表达，但为了实现对情绪的全面了解，内省法仍有存在的价值。量表测试的当事人同样面临对自我情绪进行区分和判断的难题。

（二）外部表现测量

情绪的外部表现是情绪主观体验、生理唤醒时的外部宣泄，主要是肌肉反应，主要分为面部表情、姿态表情和语调表情，只要对表情语言所代表的含义多加学习，就可以选择人为观察法对他人的面部表情进行观测。随着人工智能技术的兴起，以及表情识别技术的发展，计算机可以比人更迅速更直接地读懂代表个体瞬时情绪的面部表情以及微表情。

（三）生理唤醒测量

情绪的生理唤醒几乎和主观体验同时进行，两者之间存在较高的关联性和一致性。生理唤醒是情绪产生和体验时个体大脑神经元被激活后的内脏和腺体的反应活动。通过生理测试一个人的心率、肌电、皮肤电、血压、呼吸频率等，可以测量个体情绪反应的激烈程度。通过脑功能成像技术（脑电图、正电子放射断层扫描、功能性磁共振成像、脑磁图等）测试脑功能结构和内部神经活动情况，可以探索个体情绪神经中枢反应模式。

测量情绪具体内容的不同，导致所选择的测量手段也不同。其中，人们对主观报告、生理测试和中枢神经测试这几种手段研究得比较深入，但这几种手段对个体情绪进行实验分析研究时价值较大，对大面积用于个体情绪的测量应用时，其实用性较差。量表测试虽然实用性较强，但作为长期反复使用的调研手段，会带来被测群体的反感和排斥。反观表情识别技术，对广泛应用于组织内个体情绪和群体情绪的测量和研究，则有较大的用武之地，且目前国内外对此方面的研究和应用几乎空白。

三、面部情绪的测量维度

面部情绪体验的表达模式虽然一定程度上受制于群体或个体所接受的文化背景差异，虽然这为面部情绪识别增加了研究的难度，但考察组织内群体面部情绪的变化规律仍然有重要的意义和价值。利用表情识别技术自动识别组织中的员工队伍在工作场合下的工作表情，是分析研究员工队伍的工作状态下情绪变化的重要基础。由于员工队伍的情绪是一个复杂的系统，而且由于每个人的情绪反应模式都不一样，简单的个体特征叠加无法描绘出员工队伍的情绪指数，因而，既要关注个体情绪的变化，又要关注员工队伍整体的情绪状态和变化趋势。

对于不稳定事物的变化波动情况，我们通常从某种事物出现的频率（持续性）、事物表现的强度（受控性）、事物波动的幅度（稳定性）等方面考察，情绪也可以从这几个指标进行考察。频率是指出现的次数，员工队伍情绪变化的频率，具体一点就是，员工一段时间内正性、负性和平静情绪出现的频率。强度是指某种情绪的强弱程度，比如快乐的强度可以划分为一级到三级，具体一点就是平静、欣喜、狂喜。波动幅度是指情绪发生频率和情绪表现强度的波动幅度。

根据某段时间内员工队伍某种或几种面部情绪出现的总频率，基本可以判断这一时间段内员工队伍的情绪指数。通过对不同时间段内员工队伍的某种情绪出现频率、强度进行对比，就可以考察员工队伍某类情绪发生频率和情绪表达强度的波动情况，如周波动情况、月波动情况，甚至是年波动情况。根据波动幅度可以考察员工队伍受组织环境内不同相关事件的影响深浅程度、群体心理的自控能力，以及这些事件影响的持续时间等等。对各种表情发生频率及波动幅度的考察是目前技术层面可以实现的，而对表情强度及波动幅度的考察目前还难以实现。

四、表情识别的探索应用

为探索表情识别技术对员工队伍工作心态指数测量的价值，国网江苏省电力有限公司联合国内权威的专业心理学机构和人工智能研究机构，积极试点表情识别技术，在国内首次实现运用人工标定技术和神經网络技术来提高表情识别技术应用在自然环境下将地域文化中人群面部表情识别为对应情绪的精度，将一段时间内员工队伍面部表情反映的情绪状态作为员工队伍心态智能感知系统建设的重要构成部分，在智能感知实时心态时，重点感知员工队伍的正性情绪频率、平静情绪频率和负性情绪频率，以及各类情绪频率变化波动的幅度，实时呈现员工队伍的当下情绪指数及情绪变化波动曲线。经前期实践验证，该系统测量得出的情绪状态指数能够一定程度上真实反映员工队伍的情绪状态，未来还需要在更长一个时间范围内进一步沉淀样本数据量，以优化测量模型，提高员工队伍表情识别预判情绪和心态的贡献度。

参考文献：

[1] 傅小兰.情绪心理学[M].上海：华东师范大学出版社，2016：1-22.

[2] 丁汉青，刘念.情绪识别研究的学术场域——基于CiteSpace的科学知识图谱分析[J].新闻大学，2017（2）：119-132.

[3] 徐新飞.刘惠义.基于卷积神经网络的人脸表情识别[J].国外电子测量技术，2018（1）：106-110.