可穿戴计算设备中振动表情的设计与应用

陈 实，郑楷洪，孙凌云，李 彦

（浙江大学 现代工业设计研究所，浙江 杭州310027）

进入21世纪以来，可穿戴计算［1］的研究和应用取得了显著进步，并开始进入普通人的生活.以智能头盔［2］、智能眼镜［3］、智能手表［4］和智能腕带［5］等为代表的可穿戴计算设备改变了人与计算机的交互方式，为改进人们的生活水平、提高工作效率等提供了新的可能.

可穿戴计算设备是一种新概念的便携移动式计算［6］，不具备传统的输入输出界面，语音交互、触摸输入、微成像、动作感应等是目前主要的交互方式.Matthies等［7］将陀螺仪传感器集成到耳机上，通过陀螺仪识别出用户点头、摇头等姿势，从而进行交互.Harrison等［8］开发了一个可穿戴多点触控投影系统，通过激光投影将图形界面投射于物体表面，并配合深度传感器捕捉用户手势，从而将任意表面变为“可多点触控”的界面.Seehra等［9］设计了一个能感应手势动作的手套，通过手势动作与计算机进行交互.Mistry等［10］开发了一款基于手势输入和增强现实技术的可穿戴计算设备 WUW（wear Ur world），用户可以通过该设备使用不同的手势直接和投影在环境中的物体交互.

21世纪是触觉的时代，各种与日常生活相关的服务设备纷纷开始了“触觉革命”，人类的感知模式正在经历着继“视觉转向”之后的“触觉转向”［11］.对于个体而言，触觉是人类获取外界信息的重要手段之一.根据信息本身的特点，在信息与触觉信号之间建立映射关系，对人体施加相应触觉刺激，能够实现通过触觉传递信息的目的.

本文针对由振动产生的触觉刺激，研究在可穿戴计算设备中利用振动信号表达情感的可能性.本文在分析触觉刺激、触觉表达、振动参数等内容的基础上，通过改变振动的强度、节奏与时长，设计6种能够表达人类基本情感状态的振动模式，称之为振动表情.将振动表情作用于人体4个不同部位，比较振动表情在各部位的识别率.设计振动表情的应用场景，研究振动表情对于情感表达的作用.

1 相关研究

1.1 触觉刺激

按照触觉刺激方式的不同，触觉刺激可以分成振动刺激式、压力刺激式、电刺激式和温度刺激式等方式［12］.这几种方式通过触觉刺激装置与人体皮肤直接接触，进而产生相应的触觉刺激.表1比较了几种不同的触觉刺激方式.在这些刺激方式中，与其他刺激方式相比，振动刺激具有感知舒适性好、响应速度快和可调范围大等优点［13］.

表1 触觉刺激方式比较Tab.1 Comparison of tactile stimulation ways

1.2 情感信息的触觉表达

情感表达在人类社交活动中扮演着重要角色.研究表明，人们交往过程中会通过将抚、摸、抓、挠等触觉刺激作用于对方来表达自身的情感信息［14］.

情感信息触觉表达理论、方法和技术研究是交互设计领域中的新方向.Bailenson 等［15］发现可以通过一个触觉操纵杆进行情感的表达与识别.Smith等［16］使用一个触觉反馈装置调查人们在进行多人游戏过程中情感信息的表达.Nakatsuma等［17］通过在文本通讯过程中引入振动刺激，从而提高情感信息的表达效率.

可穿戴计算技术的发展，为情感信息的触觉表达提供了非常好的研究平台.可穿戴计算设备与人体皮肤紧密接触，触觉信号能够直接传递到皮肤.将情感信息以触觉方式呈现，有望提高人们对情感的感知能力.Huisman等［18］开发了一个可穿戴触觉手腕TaSST（tactile sleeve for social touch），被试通过该触觉手腕能够有效地利用振动信号进行情感表达.类似地，Arafsha等［19］设计了一款可穿戴触觉夹克用来提高用户的情感沉浸体验.

2 振动参数设置

基于触觉的信息传递多采用振动方式，即将信息转化为特定强度、节奏、时长的振动信号并作用于人体，使人感知信息.不同的振动模式可以让人感受到不同的情感，如持续高强度的振动可能让人感受到愤怒，而规则间断的中等强度振动则会让人惊讶［20］.振动强度、持续时间、节奏和作用位置是目前振动刺激装置中的主要可控参数.

1）振动强度.

本研究采用扁平振动电机作为振动刺激源.随着电压的增加，扁平振动电机的振动频率与电压为指数关系，当电压达到某个中间值后，振动频率与电压为线性关系，且驱动电压越大，振幅越大［21］.振动强度的设置采用2 种振动强度：低强度（1.4V，70 Hz）和高强度（3.0V，138Hz）.

2）持续时间与节奏.

不同持续时间的振动能刺激人体产生不同的感受.Seifi等［22］调查发现被试对长持续时间（1s）的振动表现出较高的接受度，对于短持续时间（0.1～0.3s）的振动则表现出较低的接受度.

不同节奏的振动可以传递不同的信息，如可以用不同节奏的振动来区分来自不同人的来电振动提醒.

3）作用位置.

不同部位的皮肤拥有不同的敏感度，振动位置的选择直接决定能够传递的最大信息量和传递的效率.振动刺激装置不宜放置在头部附近，以防止振动干扰听力，产生不期望的噪声［23］.

在振动位置参数的设置上，本研究参考了弗雷斯特研究公司（Forrester Research，Inc.）于2013针对北美科技类消费者的调研数据.对于“假如你信任的公司提供了吸引你的可穿戴传感器设备，你愿意如何穿戴？”这一问题，大部分用户选择了手指、手腕、上臂和脚踝这4个部位.因此，本次研究将振动位置设置在手指、手腕、上臂和脚踝.本次研究的振动参数设置如表2所示.

表2 振动参数设置Tab.2 Vibration parameter settings

3 实验过程

本实验分3步进行：1）设计振动表情；2）比较振动表情的识别率；3）评估振动表情的有效性.

3.1 实验一：设计振动表情

愤怒、害怕、高兴、悲伤、厌恶和惊奇是美国心理学家Ekman提出的6类基本情感.这一情感分类方法得到了研究领域的广泛认可.本文采用这一情感分类方法，旨在设计出能够代表这6种基本情感的振动模式，即振动表情.

实验要求被试从时间、强度和节奏3个参数填写问卷，进行振动表情的设计.共有40名被试，其中有17名女性和23名男性.被试年龄在19～27岁，平均年龄为22.9岁，标准差为2.02.问卷包含引导语、年龄信息、性别信息以及6组关于基本情感的振动模式设计信息.如表3 所示，实验要求被试从时间、强度和节奏这3个参数进行振动模式的设计，设计出与6种基本情感相对应的振动模式.若被试对某种振动模式没有设计思路可以留空白.

实验结束后，首先统计被试是否能够对每种基本情感进行振动模式的设计.实验发现：有97.5%的被试能设计出代表“愤怒”，95.0%被试能设计出代表“高兴”的振动模式；此外，87.5%的被试能够设计出代表“害怕”和“惊奇”的振动模式，90.0%的被试能够设计出代表“悲伤”的振动模式，只有77.5%的被试能够设计出代表“厌恶”的振动模式.

针对每一种基本情感，提取被试设计相对应的振动模式时使用到的关键词，并统计其频次.各种振动模式设计时出现频率最高的关键词如表4所示.

表3 振动模式设计参数描述Tab.3 Description of vibration pattern design parameters

表4 振动模式设计关键词Tab.4 Keywords of vibration pattern design

调查发现，被试在设计振动模式时，主要是从听觉和视觉这2个感官进行联想.比如，有被试觉得代表“高兴”的振动模式应该是：“长时间的，3 个为1组的，强度一定的振动，参考‘啦啦啦，啦啦啦，啦啦啦’给人一种表示高兴的感觉”；而有被试认为代表“惊奇”的振动模式是：“短促且高强度的连续振动两下，这种振动模式就好像是一颗灯闪了两下，能给人惊奇的感觉”.

根据问卷的分析结果并结合Ternes等［24］提供的振动模式设计思路，设计出6种振动模式，分别对应6种基本情感，并将这6种振动模式称为“振动表情”，如表5所示.其中，黑色代表高强度振动，灰色代表低强度振动，白色代表无振动；每种振动模式的振动时长介于0.5～3.0s.

表5 振动表情所对应的振动模式Tab.5 Vibration patterns corresponding to vibration emoticons

3.2 实验二：比较振动表情的识别率

本次实验将上述设计的振动表情应用于可穿戴计算设备常作用的4个部位上，比较振动表情在各部位的识别率，即：验证被试能否在各部位准确识别出每一种振动模式所代表的情感.

本次实验使用的硬件装置由1块Arduino控制板、1个蓝牙模块和4 个振动电机构成，如图1 所示.4个振动器和1个蓝牙模块分别连接在Arduino控制器的不同端口上.蓝牙模块用于将手机发出的信息传送给Arduino控制器.当Arduino控制器接收到手机发送出的特定信号，就会给特定的振动器通电，产生相应的振动刺激.

本次实验共有30名被试，包括14名女性和16名男性.被试年龄在20～26 岁，平均年龄为23.3岁，标准差为1.77.所有被试都没有参加过第一阶段的实验.

被试单独进行实验，实验过程中被试需要戴上播放着白噪声的耳机，避免外界环境及振动器的噪音对实验结果产生影响.4个振动器分别固定在被试的手指、手腕、上臂和脚踝，并确保振动器与被试肌肤接触的紧密程度基本保持一致，如图2所示.

图1 振动表情识别实验硬件设备Fig.1 Hardware equipment for vibration emoticons recognition experiment

图2 实验二：振动器固定在4个不同部位Fig.2 Vibrations fixed on four different parts in experiment 2

实验指导语通过被试面前的显示器呈现，指导语说明了本次实验的目的与实验流程.一旦被试清楚了实验中需要做什么，且没有其他问题，实验正式开始.实验过程如下：

1）实验者通过手机向Arduino控制器发送指令，控制指定振动器产生某种与基本情感相对应的振动效果；

2）被试首先仔细感受振动，然后在6种基本情感（愤怒、害怕、高兴、悲伤、厌恶和惊奇）中选择自己认为最匹配的情感.

上述过程重复24次，从而覆盖6种振动表情分别作用于人体4个部位的情况.实验结束后，对4个部位分别进行统计，得到各部位的平均识别率，如图3所示.其中，rv为振动表情识别率.实验结果表明：手指和手腕部位振动表情的识别率都比较高，而脚踝部位的识别率最低.这与人的生理结构相符合，与其他部位相比，手指的敏感度最高.大多数被试不习惯将振动设备安置于脚踝部位，振动设备振动时会有不适感，容易引发负情感，从而影响情感识别结果.这也导致脚踝部位的识别率明显低于其他3个部位.

图3 各部位振动表情识别率Fig.3 Recognition rates of vibration emoticons on each body parts

3.3 实验三：评估振动表情的有效性

本实验将上述6种振动表情应用于可穿戴计算设备中，并探讨远程通信场景下振动表情对于情感表达的作用，以评估振动表情的有效性.

本实验分为3个阶段进行：1）探讨无噪声语音通信场景下对应情感振动表情对情感传递的影响；2）探讨无噪声语音通信场景下非对应情感振动表情对情感传递的影响；3）探讨有噪声语音通信场景下对应情感振动表情对情感传递的影响.

3.3.1 实验装置 实验装置包括1块Arduino控制板、1块VS1053 MP3模块、1枚振动指环和1个耳机，如图4所示.实验时，被试须戴上耳机及振动指环.MP3模块播放音频信息，模拟语音通信场景.Arduino控制振动指环产生相应的振动模式.

图4 实验三：被试进行语音情感识别Fig.4 Subject recognizing emotions of voice materials in experiment 3

3.3.2 实验材料 实验的语音材料取自CASIA汉语情感语料库，CASIA 库共包含1 200 句语句，包含愤怒、害怕、高兴、悲伤、惊讶、中性6类情感.从CASIA 汉语情感语料库取出18句语句，分为3组，每组包含愤怒、害怕、高兴、悲伤、惊讶、中性6类情感各1句.从中取出第1、2 组，加入信噪比为-16 dB的白噪声，模拟有噪声环境下的语音信息.因此，共有5组语音样本信息，其中第1、2、3组为无噪声语音信息，第4、5组为第1、2组加噪处理后产生的有噪声语音信息.

实验分5组（A～E）进行，每组均包含有6句语音样本.其中，B、E 组在呈现语音信息时，同时呈现对应情感的振动表情；C组在呈现语音信息时，同时呈现非对应情感振动表情.每组包含的具体信息如表6所示.

表6 情感识别实验材料分组情况Tab.6 Group of materials in emotion recognition experiment

3.3.3 被试 本次实验共有20名被试，其中有8名女性和12名男性.被试年龄为22～28岁，平均年龄为24.2岁，标准差为1.59.每个人都具有良好的听觉与触觉，在实验前均没有接触过本次实验材料.

3.3.4 实验过程 首先，被试戴上耳机及振动指环，通过耳机收听MP3模块随机播放的语音信息，并通过指环感受对应的振动效果.被试需要收听30条不同的语音信息，并感受与之相对应的振动效果.其次，每条语音播放完毕后，被试需要填写情感传递信息问卷.问卷内容包括识别该段语音所对应的情感，并对情感强度进行打分.情感强度采用7 分量表，其中1 表示情感强度最弱，7 表示情感强度最强.实验结果表7所示，其中，rAR为平均识别率；iAE为平均情感强度，只统计准确识别情感的实验样本.对实验结果的分析情况如下.

1）比较A、B 两组，在无噪声语音的通讯场景下，使用交叉分析检验对无振动表情和有对应情感振动表情2种情况下的情感识别率进行分析，发现两者之间存在显著差异（χ2＝8.185，p＝0.004），其中，p 为结果可信程度的一个递减指标，p 值越大，越不能认为样本中变量的关联是总体中各变量关联的可靠指标.其中，对应情感振动表情可以提高被试者对语音信息的情感识别率，平均识别率从71.67%提高到了86.67%，提高了15.00%.使用独立样本T检验对无振动表情和有对应情感振动表情2种情况下的情感感知强度进行分析，发现两者之间存在显著差异（t＝-3.035，p＝0.003），对应情感振动表情情况下的平均情感强度（4.65）高于无振动表情情况下的平均情感强度（3.95）.

表7 情感识别结果Tab.7 Results of emotion recognition

2）比较A、C 两组，在无噪声语音通讯场景下，使用交叉分析检验对无振动表情和有非对应情感振动表情2种情况下的情感识别率进行分析，发现两者之间不存在显著差异（χ2＝3.149，p＝0.076）；使用独立样本T 检验对无振动表情和有非对应情感振动表情两种情况下的情感感知强度进行分析，发现两者之间不存在显著差异（t＝-1.141，p＝0.256）.

3）比较D、E 两组，在有噪声语音通讯场景下，使用交叉分析检验对无振动表情和有对应情感振动表情两种情况下的情感识别率进行分析，发现两者之间存在显著差异（χ2＝8.821，p＝0.003），对应情感振动表情也可以提高被试者对语音信息的情感识别率，而且效果更显著，平均识别率从61.67%提高到了82.50%，提高了20.83%，如图6所示.使用独立样本T 检验对无振动表情和有对应情感振动表情两种情况下的情感感知强度进行分析，发现两者之间存在显著差异（t＝-5.271，p＜0.001），对应情感振动表情情况下的平均情感强度（4.35）高于无振动表情情况下的平均情感强度（3.15）.

图6 2种场景下的平均识别率比较Fig.6 Comparison of average recognition rates in two scenarios

4）除此之外，比较A、D 组和B、E 组还可以发现，相对于无噪声场景，在有噪声场景下，平均识别率均有明显的下降.单语音信号时，平均识别率下降了10%，而语音信号结合振动信号时，平均识别率只下降了4.17%，即在有噪声场景下，振动表情的辅助作用更为显著.

由此可见，对于语音信息的情感表达，结合对应情感振动表情后，情感识别率和情感感知强度均有所提高，其中在有噪声场景下，振动表情的辅助作用更加显著.对于特定情感语音信息，结合非对应情感触觉信息后，虽然平均情感强度与平均识别率有变化，但检验结果并不存在显著差异，说明非对应振动表情对于情感的识别率并未产生显著成效.这证明在语音通信过程中，对应情感触觉信息对情感传递具有辅助作用，在提高情感识别率的同时还能增强情感感知强度.因此，可考虑在可穿戴计算设备中引入振动表情，将情感特征以振动的形式表现出来，从而提高情感传递的效率.在语音通讯过程中，将振动表情与语音信息相结合，共同对情感进行表达，将有助于提高情感的识别率，增强感受到的情感强度.

4 结 语

本文将振动表情应用在识别率相对较高的手指上，实验发现在可穿戴计算设备中引入振动表情，以振动表达情感信息，可以有效提高情感的识别率，增强感受到的情感强度.后续研究将综合考虑被试者的习惯、触觉的敏感度和识辨率、振动模块的功耗、信息表达等的不同组合开展不同实验，选择最优组合以设计更具代表性的振动表情.此外，本文的实验主要是在实验室中进行，但可穿戴计算设备的使用情境较为广泛，后续研究会将振动表情应用于移动情境下，以提高振动表情的实用性与可操作性.

（

）：

［1］ROGGEN D，MAGNENAT S，WAIBEL M，et al.Wearable computing ［J］.Robotics and Automation Magazine，2011，18（2）：83-95.

［2］MANN S，HUANG J，JANZEN R，et al.Blind navigation with a wearable range camera and vibrotactile helmet［C］∥Proceedings of the 19th ACM International Conference on Multimedia.Scottsdale：ACM，2011：1325-1328.

［3］WAHL F，AMFT O，FREUND M.Using smart eyeglasses as a wearable game controller［C］∥Proceedings of the 2015ACM International Joint Conference on Per-vasive and Ubiquitous Computing and Proceedings of the 2015ACM International Symposium on Wearable Computers.Osaka：ACM，2015：377-380.

［4］BIEBER G，KIRSTE T，URBAN B.Ambient interaction by smart watches［C］∥Proceedings of the 5th International Conference on PErvasive Technologies Related to Assistive Environments.Heraklion：ACM，2012：39.

［5］ZUBAIR M，YOON C，Kim H，et al.Smart wearable band for stress detection［C］∥2015 5th International Conference on IT Convergence and Security（ICITCS）.Kuala Lumpur：IEEE，2015：1-4.

［6］陈东义.可穿戴式计算机的发展与趋势（Ⅰ）［J］.重庆大学学报：自然科学版，2000（3）：119-124.CHEN Dong-yi.The evolution and trend of wearable computer［J］.Journal of Chongqing University：Natural Science Edition，2000（3）：119-124.

［7］MATTHIES D J C.InEar BioFeedController：a headset for hands-free and eyes-free interaction with mobile devices［C］∥CHI′13Extended Abstracts on Human Factors in Computing Systems.Paris：ACM，2013：1293-1298.

［8］HARRISON C，BENKO H，WILSON A D.Omni-Touch：wearable multitouch interaction everywhere［C］∥Proceedings of the 24th annual ACM symposium on User interface software and technology.Santa Barbara：ACM，2011：441-450.

［9］SEEHRA J S，VERMA A，RAMANI K.ChiroBot：modularrobotic manipulation via spatial hand gestures［C］∥Proceedings of the 2014Conference on Interaction Design and Children.Aarhus：ACM，2014：209-212.

［10］MISTRY P，MAES P，CHANG L.WUW-wear Ur world：a wearable gestural interface［C］∥CHI′09 Extended Abstracts on Human Factors in Computing Systems.Boston：ACM，2009：4111-4116.

［11］王妍，吴斯一.触觉传感：从触觉意象到虚拟触觉［J］.哈尔滨工业大学学报：社会科学版，2011，13（5）：93-98.WANG Yan，WU Si-yi.Haptic sensing technology：from haptic images to the haptics［J］.Journal of Harbin Institute of Technology：Social Sciences Edition，2011，13（5）：93-98.

［12］TIWANA M I，REDMOND S J，LOVELL N H.A review of tactile sensing technologies with applications in biomedical engineering［J］.Sensors and Actuators A：physical.2012，179：17-31.

［13］郝飞，卢伟，宋爱国，等.信息触觉表达技术的研究现状与应用［J］.测控技术，2011，30（1）：6-9.HAO Fei，LU Wei，SONG Ai-guo，et al.Recent developments and applications of tactile information display technology［J］.Measurement and Control Technol-ogy，2011，30（1）：6-9.

［14］WEIGEL M，MEHTA V，STEIMLE J.More than touch：understanding how people use skin as an input surface for mobile computing［C］∥Proceedings of the 32nd Annual ACM Conference on Human Factors in Computing Systems.Toronto：ACM，2014：179-188.

［15］BAILENSON J N，YEE N，BRAVE S，et al.Virtual interpersonal touch：expressing and recognizing emotions through haptic devices［J］.Human-Computer Interaction，2007，22（3）：325-353.

［16］SMITH J，MACLEAN K.Communicating emotion through a haptic link：design space and methodology［J］.International Journal of Human-Computer Studies，2007，65（4）：376-387.

［17］NAKATSUMA K，HOSHI T，TORIGOE I.Hapticemoticon：haptic content creation and sharing system to enhancing text-based communication［J］.Proceedings of SICE 2013，2013：218-222.

［18］HUISMAN G，DARRIBA FREDERIKS A.Towards tactile expressions of emotion through mediated touch［C］∥CHI′13Extended Abstracts on Human Factors in Computing Systems.Paris：ACM，2013：1575-1580.

［19］ARAFSHA F，ALAM K M，El SADDIK A.Emo-Jacket：Consumer centric wearable affective jacket to enhance emotional immersion［C］∥2012International Conference on Innovations in Information Technology（IIT）.AbuDhabi：IEEE，2012：350-355.

［20］SHIN H，LEE J，PARK J，et al.A tactile emotional interface for instant messenger chat［J］.Human Interface and the Management of Information.Interacting in Information Environments，Berlin Heidelberg：Springer，2007：166-175.

［21］苏波，张桔，韩雪.基于微振动马达的无阀微泵的研究［J］.传感器与微系统，2010（9）：12-14.SU Bo，ZHANG Ju，HAN Xue.Study on valveless micropump based on micro-vibration motor［J］.Transducer and Microsystem Technologies，2010（9）：12-14.

［22］SEIFI H，MACLEAN K E.A first look at individuals’affective ratings of vibrations［C］∥2013International Conference on World Haptics Conference（WHC）.Daejeon：IEEE，2013：605-610.

［23］GUNTHER E， O’MODHRAIN S. Cutaneous grooves：composing for the sense of touch［J］.Journal of New Music Research，2003，32（4）：369-381.

［24］TERNES D，MACLEAN K E.Designing large sets of haptic icons with rhythm［M］∥Haptics：Perception，Devices and Scenarios.Berlin Heidelberg：Springer，2008：199-208.