智能可穿戴产品用户体验评价体系研究

张旭阳 ， 杨东裕 ， 林军 ， 吴蕾

（1.工业和信息化部电子第五研究所，广东 广州 510610；2.重庆赛宝工业技术研究院，重庆 401332）

0 引言

当下，随着嵌入式技术、识别技术、传感器技术、低功耗互联技术、高速互联网和云计算等智能可穿戴产品相关领域技术的迅猛发展，智能可穿戴产品迎来了爆炸式的发展浪潮。由于智能可穿戴产品具有小型化、便捷化、互联化和精准化等特点，其在进入消费市场后迅速地得到了消费者的认可，并以前所未有的速度普及开来[1-2]。

在智能可穿戴产品加速普及的同时，由于其产品定位单一，研发环节存在短时间内难以攻克的缺陷，造成了产品同质化严重、质量良莠不齐等一系列的问题，给消费者带来了不良的用户体验，造成了严重的负面影响，影响了消费者的认可度。目前，国内尚无完善的评价体系或标准对智能可穿戴产品进行有效的评价，该问题已经成为了当下制约智能可穿戴产品市场健康、有序、高速发展的主要因素之一。因此，本文从用户体验的角度出发，提出了一种智能可穿戴产品的评价要素体系，为制定智能可穿戴产品的相关评价标准，保证市场及行业的持续发展提供了重要的参考。

1 用户体验评价体系的意义

近年来，随着智能可穿戴行业的迅猛发展，智能可穿戴产品的质量问题也日益凸显，产品中的硬件、软件和信息安全问题，都给消费者的使用带来了很大的困扰，严重地影响了消费者对于产品的认可和满意度，更严重的是，某些质量问题还会对消费者的人身安全造成损害。例如：在2014年，Fitbit Force手环由于材料刺激皮肤，产品被迫召回；儿童定位手表的辐射过高，超过标准允许辐射量的数十倍甚至百倍，给儿童身体造成了巨大的危害；部分品牌儿童手表存在安全漏洞，黑客可以利用漏洞来获取儿童的定位信息，也可以模仿家长拨打电话或监听通话信息，给儿童的人身安全造成了巨大的威胁。

中国可穿戴计算产业技术创新战略联盟（CWCISA： China Wearable Computing Innovation&Strategic Alliance）发布的 《2015中国可穿戴计算产业发展研究报告》显示，在购买智能可穿戴产品的消费者当中，43%的用户看重产品的功能、实用性和安全性，30%的用户看重产品的时尚和潮流，剩下27%的用户购买产品主要是用于满足自身的好奇心，用户购买智能可穿戴产品看中的因素如图1所示。而在对有需求但未购买的用户进行调查时发现，价格太高、对产品的外观不满意、对产品的功能或安全不满构成了其放弃购买的最主要的原因，如图2所示。因此，构建涵盖外观、功能、安全和可靠性等方面的智能可穿戴产品用户体验评价体系，对于帮助解决产品在外观、功能等方面存在的问题，帮助用户选择满意的产品，促进行业的发展，具有重要的意义。

图1 用户购买智能可穿戴产品看重的因素

图2 用户有需求但未购买的原因分析

2 智能可穿戴产品的组成

一个完整的智能可穿戴产品是穿戴式设备、中继端 （一般为智能手机）、后端信息计算与服务系统的组合[3]，如图3所示。穿戴式设备指直接地、或者通过衣物或饰物等间接地佩戴于用户的身体上，能够持续地感知、处理和交互信息，并与中继端、后端信息计算与服务系统协同工作来为用户提供服务的电子设备；中继端指能够接入移动通信网或Internet，与穿戴式设备交互信息并对信息进行处理，与后端信息技术与服务系统交互信息，以配合穿戴式设备实现其预期功能和服务的移动设备；后端信息计算与服务系统指运行于用户计算设备或云计算设施，与穿戴式设备交互信息并对信息进行处理，以配合穿戴式设备实现其预期功能和服务的逻辑实体。在构建用户体验评价体系时应考虑这3个方面对产品质量的影响。

图3 智能可穿戴产品的组成

3 评价指标的选取和体系的构建

3.1 评价体系构建原则

结合我国智能可穿戴产业的发展情况，在建立智能可穿戴产品用户体验评价体系时需遵循如下原则：1）科学性，即从真实用户的使用体验的角度出发，选取的评价指标应能准确、客观地反映出智能可穿戴产品质量的好坏；2）综合性，即选取的评价指标要具有代表性，同时应能够尽量地覆盖用户使用产品中涉及到的各个方面，如硬件、外观、软件功能、性能和安全性等；3）可操作性，即选取的指标不仅要能够科学地反映出产品使用过程中的问题，还应具有可操作性，保证评价人员能够准确地获取各个指标的评价结果，完成评价工作；4）可比性，构建的用户体验评价指标，不仅应能够帮助企业发现产品中存在的问题，同时也应对各款产品的用户体验情况进行比较，帮助消费者选择更适合的产品，因此，指标需能够对各款产品进行横向比较，反映出不同产品的优缺点。

3.2 用户体验需求分析

目前，我们所说的用户体验 （User Experience）是一种用户纯主观的心理感受，是在用户使用信息产品、获取信息或相关服务的过程中建立起来的[4]。作为一种复杂的综合反应结果，用户体验主要强调了用户在使用过程中的动作、想法和感觉，是用户内在状态 （倾向、期望、需求、动机和情绪等）、系统特征 （复杂度、目标、可用性和功能等）与特定情境 （或环境）相互作用的产物[5]。对于用户在使用信息产品、获取信息或相关服务的过程中的体验层次，可以依据信息系统或产品帮助用户完成任务的有效程度，将其划分为功能技术体验、效用体验和美学体验3层[6]。

对于智能可穿戴产品来说，功能的高效可用是用户体验的最核心目标；但对于用户来说，整个使用过程中的交互、情感体验等也对体验有着重要的影响。所以用户体验评价体系应是一个全面的综合体系，在包括了功能、效用和技术特点等产品特征评价的同时，还应引入用户在交互过程中的交互感知、情感效果和舒适程度等体验评价。因此，可以把用户体验的指标体系划分为3个维度，即技术指标维度、效用指标维度和感受指标维度，从而可以将用户在使用过程中，所涉及到的这3个维度指标的感受进行抽象化提炼，以完成用户体验评价体系的构建。

3.3 影响用户体验的要素及指标构建

用户使用智能可穿戴产品的一般过程可描述为：用户通过穿戴式设备或中继端下达指令，感知设备采集人的信息，信息和指令被传输到中继端或后端的信息计算与服务系统进行处理，再返回处理结果到穿戴式设备或中继端显示。这个过程形成一个闭环系统，任何环节都影响着任务完成的难易程度，人和机器的交互过程更是闭环环节中影响任务完成的决定性因素。

因此，人 （使用产品的用户）、穿戴式设备、中继端、后端的信息计算与服务系统构成了产品使用的4个部分组成要素。其中，由于使用产品的用户对于评估对象的描述容易受到人为因素的影响，因而在确立智能可穿戴产品的用户体验评价指标时应着重地考虑后3种要素，并结合使用产品用户的主观感受和重点关注内容，抽象化地提炼指标。按照以上4个方面的要素，将指标分为3个维度，即技术指标、效用指标和感受指标。因此，在智能可穿戴产品用户体验评价体系中，3个一级指标分别为技术指标、效用指标和感受指标。在技术指标中，包含软件可靠性和连通性两个二级指标；在效用指标中，包含性能、准确性和电池续航能力3个二级指标；在感受指标中，包含易用性和可穿戴性两个二级指标，共计7个二级指标。

3.4 评价指标内容

在穿戴式设备、中继端、后端的信息计算与服务系统这3个用户体验过程要素的基础上，结合人（使用产品的用户）的主观使用感受和重点关注内容，从软件可靠性、连通性、电池续航能力、性能、准确性、易用性和可穿戴性7项指标出发，结合智能可穿戴产品的特性，将这7项指标进行了定义、细分和量化，形成34项三级指标，构成了智能可穿戴产品用户体验评价体系。

3.4.1 技术指标维度

a）软件可靠性 （Software Reliability）

这是指智能可穿戴产品中的软件在规定条件下和规定的时间区间内，不引起系统故障的能力，包括以下两个方面的指标。

1）容错性：反映了智能可穿戴产品中的软件在故障存在的情况下不失效，仍然能够正常工作的特性；

2）稳定性：反映了智能可穿戴产品中的软件在正常使用过程中，不会死机或异常退出的能力。

b） 连通性 （Connection）

这是指智能可穿戴产品能够与其他终端进行数据交互的能力，包括以下3个方面的指标。

1）多种连接方式的支持：反映智能可穿戴产品是否具有支持多种连接方式的能力；

2）连接稳定性：反映智能可穿戴产品在与其他终端进行连接时的稳定程度；

3）连接兼容性：反映了智能可穿戴产品在与中继端连接时的兼容程度。

3.4.2 效用指标维度

a） 性能 （Performance）

这是指智能可穿戴产品处理数据的能力，包括以下3个方面的指标。

1）穿戴式设备端：反映了智能可穿戴产品穿戴式设备端数据处理速率对用户使用体验的影响，包括启动耗时和流畅度二级指标；

2）中继端：反映了智能可穿戴产品中继端的应用软件性能带给用户的体验感受，包括应用启动耗时、内存占用、CPU占用、电量耗用和流畅度二级指标；

3）后端信息计算与服务系统端：反映了智能可穿戴产品的后端信息计算与服务系统处理数据的能力，包括APP请求响应时间和并发用户数二级指标。

b） 准确性 （Accuracy）

这是指智能可穿戴产品能够精准地处理数据的能力，包括以下3个方面的指标。

1）传感器测量准确性：反映了智能可穿戴产品中各类传感器采集信息数据的准确程度，包括温湿度传感器和计步器二级指标；

2）反馈信息表述准确性：反映了智能可穿戴产品在向使用者反馈信息时表达的准确程度；

3）数据处理算法准确性：反映了智能可穿戴产品APP在进行数据处理分析时的准确性。

c）电池续航能力 （Battery）

这是指智能可穿戴产品的电池能够提供产品正常稳定运行所需电量的能力，包括以下5个方面的指标。

1）最大待机时间：指在电池满电的情况下，智能可穿戴产品能够待机运行的最大时间；

2）满负荷运行时间：指在电池满电的情况下，能够满足智能可穿戴产品满负荷运行的最大时间；

3）零电量充电时间：指在电池完全没电的情况下，充电至满电所需要的时间；

4） 充 电 温度：指在充电过程中，智能可穿戴产品的外层温度；

5）充电便利性：指对智能可穿戴产品的充电是否方便。

3.4.3 感受指标维度

a） 易用性 （Usability）

这是指智能可穿戴产品是否方便用户使用的特性，包括以下4个方面的指标。

1）易操作性：反映了用户操作和控制产品完成用户预期或指定任务的难易程度；

2）易理解性：反映了新用户在没有受到培训的情况下对产品的认识程度；

3）易学性：反映了用户学会使用某一指定功能的难易程度；

4）界面的易定制性：反映了产品允许用户能够方便地使用个性化定制界面的能力。

b）可穿戴性 （Wearability）

这是指智能可穿戴产品吸引用户穿戴的能力，包括以下2个方面的指标。

1）外观评估：反映了产品的外形设计是否美观并具有吸引力，包括美观度和穿戴便利性等评价内容；

2）佩戴舒适度：反映了产品佩戴是否方便、舒适的特性，包括材质、尺寸、重量和温度等评价内容。

在完成相关指标的选取、定义和量化后，我们不难得出一个以智能可穿戴产品用户体验为核心，技术、效用和感受指标维度为基础的智能可穿戴产品评价指标体系，其具体的结构如图4所示。

图4 智能可穿戴产品用户体验评价体系

3.5 基于模糊数学的评定方法

智能可穿戴产品的用户体验评价采用模糊综合评价法。该方法根据模糊数学的模糊隶属度函数把被评事物的相关因素合理量化，使模糊环境中的评价在综合性及合理性方面得以保证，并通过层次分析来确定被评价因素的权重。结合对总结性测试在这两个方面的凋整，进而建立模糊综合评估的模型，对产品的体验质量进行衡量。

基于层次分析的模糊综合评价方法的基本步骤为：1）确立评价指标体系，设定评价集并确立评价因素的隶属度函数；2）通过层次分析来确定评价因素的权重；3）对产品的体验质量进行综合的评判。

3.5.1 构造评判矩阵和确定权重

设U={u1，u2，…，un}为被评价对象的m种评价指标；

V={v1，v2，…，vn}为每一个指标所处的评价分数。

这里m为评价指标的个数，n为评价的个数。

首先，着眼因素集中的单因素ui（i=1，2，…，m）作单指标评判，从指标ui着眼该事务对评价分数vj（j=1，2，…，n）的隶属为rij，得出第i个指标 ui的单指标评判集： ri= （ri1， ri2， …rin）。

m个着眼因素的评价集构造一个总的评分矩阵R。即每一个被评价系统确定了从U到V的模糊关系R，它是一个矩阵：

其中，rij表示从指标ui着眼，该评测系统能被评为vj的隶属度。即rij表示第i个指标ui在第j个评语vj上的频率分布，一般将其归一化使之满足∑rij=1，这样R矩阵本身就是没有量纲的，不需作专门的处理。

用分数比重确定隶属矩阵的方法，可以满足量化综合评价的要求。用分数比重法确定隶属度时，为了保证可靠性，要注意两个问题：1）评价者人数不可太少，应达到一定级别的数量，这样等级比重才趋于隶属度；2）评价者必须对被评测产品有相当的了解。

得到模糊关系矩阵后，引入U上一个模糊子集A，称之为权重分配集：

A= （a1， a2， …am）， 其中 ai＞＞0， 且∑ai=1。 它反映了对诸多指标的一种权衡。

在评价系统中，权重的确定是至关重要的。常见的评价问题中的权重值，一般多凭经验主观给定，成为主观赋权。主观确定权重也有客观的一面，其在一定程度上反映了实际情况，评价的结果有较高的参考价值。确定权重也可以利用数学的方法，数学方法具有严格的逻辑性而且可以对确定的“权重”进行 “滤波”和 “修复”处理，以尽量地剔除主观成分，符合客观事实。3.5.2进行模糊合成和作出决策

R中不同的行，反映了产品用户体验从不同的指标来看对各个评价模糊子集的隶属程度。用模糊权向量A将不同的行进行综合，即得到被评产品用户体验从总体上来看对各个评价模糊子集的隶属程度，即模糊综合评价结果向量。

引入评价集V上的一个模糊子集B，称之为模糊评价，又称为决策集，B=（b1，b2，…，bn）。

通过R与A求B的方法被称为模糊变换，即令B=A*R （*为算子符号）。

这个模型看起来很简单，但实际上较为复杂，对于不同的模糊算子，就有不同的评价模型。

A被称为输入，B被称为输出。

如果评判结果∑bj≠1，则应将它归一化。

bj表示被评价产品用户体验具有评语vj的程度。各个评判指标，具体地反映了被评产品用户体验在所评判的特征方面的分布状态，能够使评判者对评判对象有更深入的了解，并能作各种灵活的处理。如果要选择一个决策，则可选择最大的bj所对应的分数vj作为综合判断的结果。

B是对每个评测指标综合状况分等级的程度表述，它不能直接用于被评判产品间的排序评优，必须要进行更进一步的分析处理，待分析处理之后才能采用最大隶属度法则对其处理，得到最终的评判结果。此时，我们只利用了bj=（j=1，2，…，n）中的最大者，没有充分地利用B所带来的信息。为了充分地利用B所带来的信息，可把各种等级的评级参数和评判结果B进行综合的考虑，使得评判结果更加符合实际。

设相对于各个分数vj规定的参数列向量为：

则得出综合分数评判结果为：

P是一个实数，它反映了等级模糊子集B和等级参数向量所带来的综合信息，在许多实际的应用中，它是十分有用的综合参数。

就理论而言，上述的模糊合成运算有无穷多种，但在实际的应用中，经常采用的具体模型仅有几种。关于B的球阀，最早的合成运算采用查德算子 （主因素突出型）。但当评价因素较多时，由于ai很小，评判结果得到的bj反映不出实际情况，失掉了综合评价的意义。因此，应用查德算子作综合评判，往往得到的结果与实际情况相差很大。为了克服这一缺点，根据实际情况采用其他类型的“与” “或”算子，或者将两种类型的算子搭配使用。较简单的是普通矩阵乘法 （即加权平均法），这种模型要让每个因素都对综合评价有所贡献，能够比较客观地反映评测产品用户体验的全貌。

通过这些指标对产品的用户体验水平进行评价，得到综合分数。根据综合分数得分情况，将智能可穿戴产品用户体验等级划分均设定为3级，分别用 “I级” “II级”和 “III级”表示，按照百分制，用户评价分数 (85，100]为 “I级”，也是最高等级， （70， 85]为 “II级”， （60， 70]为 “III级，60分以下为不通过。

4 案例验证

为了验证智能可穿戴产品用户体验评价体系的合理性，我们选取了3款不同品牌、不同价位段的智能手表进行比对测试。在本次测试中，根据3.5节中的评判算法对3款产品的测评项结果进行综合打分，得出3款产品的用户体验综合评价分数，经过百分制换算后，样品A得分最高，为85.7分；样品B次之，为83.8分；样品C的分数最低，为68.1分。根据这3款产品的综合得分情况，可以知道3款产品的用户体验级别分别属于 “I级” “II级”和 “III级”。

查询3款产品在京东上的价格与评价情况，结果如表1所示。

表1 3款智能手表的价格与评价情况

从表1中可以看出，样品A的用户好评率最高，样品C的用户好评率最低，与用户体验评价分数相对应。因此可以说明，用户体验评价分数，能够基本上正确地反应产品的受欢迎水平和用户体验感受情况，测试结果与预期相符。同时，通过测试发现了3款智能手表的优缺点，可以为后续产品设计提供帮助，为用户选购产品提供参考依据。3款手表关键指标比对分析结果如图5所示，在图中打勾 “√”的项代表了产品的优点，标 “·”的项代表了产品的缺点。

图5 3款智能手表的关键指标比对测试分析

5 结束语

对于智能可穿戴产品的评价，是一项结合了多学科的综合性系统工作。用户体验作为评价指标的重要组成部分，对于构建评价体系、探索评价如智能可穿戴产品此类多领域交叉产品具有建设性意义。本文所构建的指标体系从用户体验的核心目标出发，构建出对应的3个核心评价维度，这3个维度从3个不同的方面对用户体验进行评价，具有互补性和不可替代性。再通过梳理智能可穿戴产品的用户体验过程，筛选出不同维度的评价指标，并根据指标特点进一步地细化，得到抽象化评价指标，从而构建出智能可穿戴产品用户体验评价体系。

本文对智能可穿戴产品用户体验评价体系进行了研究，并通过3款智能手表的比对测试验证了评价体系的合理性，后续将以此研究为基础，进一步地通过引入不同的评价算法，合理地量化相关指标因素来确定指标权重，建立评估模型对智能可穿戴产品的体验质量做出衡量。