用户面部情绪与其对服装感兴趣程度的关联分析

陈璐， 雷聪聪， 陈郁

(上海工程技术大学 纺织服装学院，上海 201620)

在服装设计领域，了解消费者对服装的喜好可以帮助设计师与消费者之间建立有效沟通，满足消费者需求，增加消费者的购买欲望[1]。消费者对服装感兴趣程度的分析方法主要包括观察、访谈、问卷调查以及行为分析[2]等，但这些方法在操作过程中容易受较多不可确定因素的影响，因此分析结果并不能真实反映消费者内心的潜在需求。而面部表情是人们表达情感的最主要、最自然和最直接的方式[3]，相较于其他分析方法，通过观察并分析面部表情可以观测到用户的情感状态，客观反映用户的真实情绪，使得分析和评价用户对感兴趣服装的过程也更加高效便捷。

随着计算机技术的发展，基于EKMAN P等[4]的“面部肌肉运动系统”的FaceReader面部表情解析软件可以无干扰实时分析用户的面部表情变化。国内外越来越多的研究者开始利用FaceReader软件分析用户表情在可用性评估中的应用。如MENG Q等[5]探讨了用户面部表情识别在评估城市声音感知方面的有效性;KOSTYRA E等[6]和DANNER等[7]使用面部可视化方法确定了消费者在品尝火腿以及不同果汁时的情感反应，以此评估产品的特性。而在国内，对于该软件的应用性研究也有了一定的进展。如CHIA-YIN Y[8]等通过分析用户观看不同样本图片时的面部表情，分析其情绪变化，以此指导设计师了解客户与设计相关的情感联系；唐晓彤等[9]通过选取NBA球队首发球员在罚球中的正脸视频，利用FaceReader软件探究球员在比赛过程中面部表情下的情绪变化，以此研究其是否与罚球结果存在一定的相关性。

目前，关于用户面部表情与服装设计感兴趣程度之间联系的相关研究较少，文中拟通过考察用户观看秀场视频时的表情变化，并利用FaceReader 7.0分析用户面部表情与服装设计感兴趣程度之间的关联性，为服装的设计、营销等提供一定的参考。

1 实验设计

1.1 实验材料及实验对象

1.1.1实验材料 使用Adobe Premiere Pro 2020软件对收集到的服装秀场视频进行剪辑和转码，时长76 s，共出现12套服装。视频分辨率为960×544，帧速率为29.96 Hz，文件格式为MP4。

1.1.2实验对象 选择22名上海工程技术大学年龄在18～25周岁的在校大学生，其中20名女生，2名男生。实验前告知被测人员该研究需要收集其表情视频材料，承诺对其视频保密。

1.2 实验设备

表情测量与分析采用由VicarVision和Noldus Information Technology公司推出的FaceReader 7.0软件系统。FaceReader面部表情分析过程如图1所示。该软件能够自动检测到被测人员面部表情变化，通过识别面部微动作单元对其情绪进行分类。FaceReader能够识别7种基本情绪，包括愉快、悲伤、愤怒、惊奇、惧怕、厌恶和中性状态。此外，还增加了对轻蔑这一情绪的识别。

图1 FaceReader面部表情分析过程Fig.1 Facial emotion analysis process by FaceReader

FaceReader近几年已经成为国外表情自动分析普遍采用的软件工具；国内施聪莺等[10]以及杨超等[11]也对该系统的表情分析准确性进行了本土化验证，结果表明FaceReader对中国人的面部表情识别有效率达到71%。其开发者在软件手册中报告的表情识别准确率达89%[12]。各表情成分识别率见表1。

表1 FaceReader各表情识别准确率

2 实验过程

2.1 实验设备机位设定

MOZA Mini-SE智能手机稳定器能够实现控制录制拍摄、物体跟踪、控制跟焦变焦、稳定器校准等功能，从而保证了录制视频的效果。实验设备机位设定如图2所示。将手机安放在MOZA Mini-SE稳定器上，并置于屏幕后方，以30 Hz(由于技术问题会产生变化)捕获被测人员的面部表情。被测人员距离屏幕(以及相机)约30 cm，调整好镜头高度，以便清楚地看到每个被测人员的面孔。为了获取被测人员面部的正确表情记录，必要时，对被测人员的椅子也要进行高度上的调整。

图2 实验设备机位设定Fig.2 Experimental equipment setting

2.2 播放材料

被测人员进入实验室后会被告知实验步骤，待其阅读并签署同意书，再要求观看材料。根据Face ReaderTM手册中所建议的，在观看刺激材料时用中等强度的散射光照亮被测人员的脸。在被测人员观看秀场视频的同时，用手机摄像头独立录制每位被测人员的视频，这些视频被作为单独的基准校准。视频采集是自动化的，分辨率为1 280×1 024，保存为MP4文件。

2.3 问卷调查

观看视频后，被测人员会填写一份问卷，问卷陈列了视频中出现的12套服装，以供被测人员进行主观评价。每套服装的感兴趣程度分为5个等级，5分为非常感兴趣，4分为感兴趣，3分为一般感兴趣，2分为不感兴趣，1分为非常不感兴趣，被测人员将对视频中出现的服装设计感兴趣程度进行打分。

2.4 数据的采集与处理

将录制的被测人员面部视频导入到FaceReader 7.0表情分析软件，并使用EastAsian模式对这些图片进行表情类型和表情强度分析,该软件可生成有关面部表情随时间变化的大型数据集[13]。这些时间序列数据分配了一个介于0和1之间的十进制数，除了有基本的8个情绪分析值外，该软件还有2个关键数据：效价和唤醒。其中，效价表示被测人员的情绪是积极的还是消极的(-1～0为消极，0～1为积极)；而唤醒则表示被测人员是否处于活动状态。

此外，对每位被测人员的主观评分进行统计，挑选出其最感兴趣和最不感兴趣的服装。依据这些服装在视频中出现的时间顺序，截取相应面部表情分析数据，实验结果通过 SPSS Version 23 软件包处理，采用基于Python编程的Matplotlib模块绘图。

3 实验分析

3.1 描述性统计

对22名被测人员观看视频时的8种面部表情进行描述性统计，记录他们在观看感兴趣和不感兴趣服装时的平均面部表情成分，具体见表2。

表2 平均面部表情成分

由表2可知，中性情绪的占比明显高于其他情绪，即22名被测人员在观看正常的秀场视频时，面部表情自然，不会出现较为夸张的表情，这符合人们观看秀场视频的一般状态。此外，相较于中性表情，其他面部表情成分的值相对占比较小，但也呈现出一些变化，具体如图3所示。

图3 感兴趣与不感兴趣的情绪值差异Fig.3 Emotional value differences when watching interested and not interested clothing

由图3可知，被测人员在观看秀场视频时，除了中性面部表情，惊奇相较于其他面部表情所展现的情绪值较高，具体来讲，对于感兴趣的服装，被测人员的愉快、愤怒、惊奇、惧怕及轻蔑这5种表情下的情绪测量值较高，而对于不感兴趣的服装，悲伤和厌恶呈现较高的值。

3.2 唤醒值与服装设计感兴趣程度之间的关系

在FaceReader表情分析软件中，唤醒值反映了被测人员在观看视频时的活跃状态，因此，可以探究唤醒值与服装感兴趣程度间的关系，具体如图4所示。

图4 唤醒值与服装设计感兴趣程度之间的关系Fig.4 Relationship between arousal value and interest level in clothing design

图4是根据每位被测人员观看感兴趣服装与不感兴趣服装时的平均唤醒值绘制的箱线图。由图4可以看出，被测人员对感兴趣服装的唤醒值为0.259、0.332及0.413，不感兴趣服装的唤醒值为0.216、0.298及0.350，感兴趣服装的唤醒值均高于不感兴趣服装的唤醒值，即对于感兴趣的服装设计，被测人员在观看视频时的状态更活跃，这与实际观察到的每个被测人员在看秀场视频时的状态吻合。如以被测人员1为例，对于其主观评价分别为5分(感兴趣)和1分(不感兴趣)的服装款式，其观看时的唤醒状态如图5所示。从图中能够明显看到被测人员在观看感兴趣服装时的状态更为活跃。

图5 被测人员1观看感兴趣与不感兴趣服装时的活跃值变化Fig.5 Changes in arousal value when watching interested and not interested clothing for subject 1

通过配对样本t检验比较不同面部表情成分在感兴趣和不感兴趣服装上的差异，结果见表3。从表3数据看，在观看秀场视频时，被测人员对服装的感兴趣程度与面部表情间并没有显著相关性。通过查阅大量文献资料和实验分析，可能包含以下两点原因。

表3 配对样本t检验结果

1)FaceReader更适用于对个体用户分析。情绪不仅是一个复杂系统，更是一个动态的生成过程。情绪的生成不仅有其内部机制，还有外部情境等因素，因此，每个人在观看同样的秀场视频时，会产生不一样的情绪反应，甚至对于同一件感兴趣的服装设计，也会呈现不一样的面部表情。通过面部表情探究人们的情绪反应，有助于设计师更深入了解消费者的喜好。被测人员1和被测人员5通过主观打分选出了同一套最感兴趣的服装，具体如图6所示。两者在观看该服装出现时间段内的情绪变化情况如图7所示。由图7可以看出每个被测人员的情绪状态是复杂而多变的。

图6 被测人员1和被测人员5同时感兴趣的服装Fig.6 Clothing of interest selected by subject 1 and subject 5

图7 被测人员1和被测人员5观看感兴趣服装时的情绪变化Fig.7 Subject 1 and 5's emotion changes when watching interested clothing

总体来讲，对于观看视频中同一服装感兴趣的程度，被测人员1的情绪波动较被测人员5略剧烈。具体来讲，对于感兴趣的服装，被测人员1的惊奇和悲伤情绪值较高，而被测人员5呈现的惊奇和愉快情绪值略高。此外，被测人员在观看视频时的真实情绪并不一定显露于面部表情，由于实验前告知被测人员会录制视频，加之东方文化背景之下遵循“喜怒不形于色”的传统，会对实验结果的判断带来一定影响。因此，在利用FaceReader软件探寻用户对服装感兴趣程度时，表情作为一种新的指标来衡量用户个人对服装感兴趣程度具有一定的参考价值，但仅将面部表情作为唯一指标，将会影响评价结果，所以为了提升评价结果的有效性，后续研究可以结合一些生理参数来综合判断用户与服装感兴趣程度之间的关联性。

2)实验材料的选择。文中选用的视频材料来源于FF Channel秀场视频剪辑，SOUTSCHEK A等[14]研究表明，在非社交环境中，通过识别用户面部表情来测量其情绪会更加困难。尤其当被测人员知道正在录制视频，其活动受限，此时他们的表情和情感也会受到一定的影响。但如果是在秀场现场，观众的情绪反应可能会更明显。此外，被测人员在观看秀场视频时，如果视觉冲击不够强烈，其情绪很难呈现较一致的趋势变化。如在竞技体育中，观众在观看比赛视频的过程中会因运动员的表现以及赛事的激烈程度呈现丰富的表情变化，但对于观看服装秀场视频而言，大部分人主要呈现中性情绪，其他情绪的分值低且占比小，很难出现观看竞技运动员比赛时的情绪变化，也较难得出相应的显著性分析。因此，面部表情特征对于被测人员观看秀场视频时的情绪体验和心理状态反应有待于进一步探讨。

4 结语

随着消费者个性化需求的不断提高，了解消费者对服装的喜好是服装企业持续发展的关键。文中通过分析被测人员在观看秀场视频时的面部表情与对服装感兴趣程度之间的关系，发现在观看秀场视频时，被测人员对于感兴趣的服装设计状态更为活跃；而对于不感兴趣的服装设计，其活跃状态有所降低。此外，被测人员在观看视频过程中的情绪值呈现一定的变化规律，整体上看，其在观看过程中主要呈现中性情绪，对于感兴趣的服装设计，被测人员的愉快、愤怒等情绪测量值较高，而对于不感兴趣的服装设计，悲伤和厌恶则呈现较高的值。因此，表情在衡量用户个人对服装感兴趣程度方面具有一定的参考价值。