图标语义距离对认知负荷影响的研究进展

张 滢， 邵 将

（中国矿业大学 建筑与设计学院， 江苏 徐州 221116）

0 引言

现在，越来越多的传统人机界面被数字化界面所取代。 各种复杂的数字化界面被应用在不同的领域当中，复杂界面中庞杂的信息会造成用户较大的认知负荷，造成一定失误。 图标作为界面中的重要元素，是实现交互功能的视觉符号，影响图标的识别因素包括图标的视觉特征和图标的内部特征。 一个好的图标同时具有抽象符号的直观性和具体符号的具象性，将大大减少用户认知负荷[1]。 图标最重要的特征是在传递信息方面的有效性，有几项研究将有效性视为优秀图标设计的关键指标[2-3]。其中，语义距离是影响图标有效性的重要因素，语义远的图标会降低用户的认知效率， 或导致决策失误。Kuicheu 等指出， 图标的语义和图像相关的语言并不是一组等效物，而是一组可以用来描述特定图标的属性[4]。图标与功能之间的紧密关系，即语义距离，是决定图标可用性成功与否的首要因素[5]。

1 图标语义距离概念

有些图标本身和其代表功能含义之间联系密切，用户可以直接识别出其功能含义，即图标语义距离近；有些图标需要占有用户较多的认知资源才能识别出其代表的功能含义， 说明图标本身和其代表功能含义之间联系不密切， 即图标语义距离远。 早期由Peirce 提出的根据图标-功能之间的关系，将图标语义分为三类：①图标直接代表功能含义； ②图标中隐喻或隐含的特征间接地代表功能含义；③图标与功能含义无关[6]。 之后，MC dougall 等根据图标识别将图标分为五个认知属性： 熟悉度、 具象性、复杂性、语义距离和美学吸引力，并在Perice 的基础上提出语义距离的概念并进行了阐述， 认为语义距离指的是图标本身与其表达的功能含义之间的关系的远近程度， 同时研究发现图标的五个认知属性之间相互联系[7]。CHEN 等将图标语义分为：功能隐喻、操作隐喻、对象隐喻和语义隐喻图标[8]，并通过眼动实验研究发现，语义隐喻图标具有更高的普适性，相较于物体隐喻图标，语义隐喻图标具有更高的认知准确性和更低的认知负荷， 同时对图标语义进行了定量描述[9]。 在语义距离的定量研究中，Cherng 等提出了一种基于脑电图的图标语义距离的评估方法，揭示了语义距离在图标设计中的重要性[10]。 与之前的研究相比，Cherng 等对于语义距离的研究更为具体，将语义距离作为主要的实验变量， 且多种场景下测量用户的脑电数据， 把行为数据和脑电数据相互结合解释用户对图标语义距离的感知过程。Kenett 等[11]在研究方法，揭示了语义距离在图标设计中的重要性[10]。 与之前的研究相比，Cherng 等对于语义距离的研究更为具体， 将语义距离作为主要的实验变量， 且多种场景下测量用户的脑电数据，把行为数据和脑电数据相互结合解释用户对图标语义距离的感知过程。Kenett 等[11]在研究中检查了路径长度，作为计算分析的语义网络，是否可以用作度量语义距离。

2 图标语义距离影响认知负荷的具体表现

2.1 认知负荷概念及其表现分类

早在20 世纪70 年代，认知负荷一词就被提出[12]，之后John Sweller 把认知负荷作为一种理论进行实验研究并提出认知负荷理论基础主要是资源有限论和图示理论[13]。资源有限理论提出人的认知资源是有限的，这里的认知资源包括注意资源、工作记忆容量以及图式构建所消耗的资源[14]。由于人的工作记忆资源、注意资源等是有限的，因此当用户接受的信息大于容量时， 便会超过认知系统所能承受的范围，形成认知负荷。用户能顺利完成任务过程中加工信息所需要的认知资源的总和就是认知负荷[15]。 影响复杂界面中图标认知负荷的因素有很多， 其中包括了图标语义距离。 Niu 等[16]利用ERP 从特征绑定记忆的角度研究图标的颜色特征对图标工作记忆的影响中证实，优化图标语义有助于减轻用户的认知负荷。语义距离作为衡量图标有效性的重要因素，对图标的认知负荷有较大影响，根据认知负荷产生的原因，本文将图标语义距离对认知负荷的影响表现分为注意资源、工作记忆和认知绩效三方面。

2.2 注意资源

当用户需要完成某项任务的过程中， 随着任务数量的增多和复杂程度的提高，消耗的资源也就越多。在过多的刺激出现时，注意资源将会耗尽，如果这时候再出现新的刺激，往往就会被用户忽略[17]。 但当用户注意力不自觉地被突出刺激吸引时， 这一现象被认为是注意力捕获效应中的自下而上注意控制， 另一个是受目标和对刺激出现的位置和出现时间的影响的自上而下注意控制[18]。 自下而上注意控制是以刺激为驱动的低水平加工层次，自上而下注意控制过程是神经元向上传递信息的过程[19]。部分学者研究发现[20-21]，图标语义信息在图标识别过程中有重要作用， 当用户在进行不同搜索任务中大脑会根据任务类型采用视觉表征、 语义信息表征或两者同时使用等不同的应对认知策略。 先前的研究证实当图标本身与语义信息接近或一致时，即图标语义距离近，最相关的目标刺激图标会最先被大脑中工作记忆选择， 从而激发自上而下的注意捕获效应[22-23]，金涛等通过控制警示图标语义，结果发现，当警示图标的语义距离近时，其能够突破认知资源的限制而自动获得加工[22]，这证实语义距离是影响警告图标自动注意处理的关键因素。 Cherng 等[10]提出了一种基于脑电图的图标语义距离的评估方法， 揭示了语义距离在图标设计中的重要性，研究表明，语义距离近的图标更容易触发与记忆相关的认知， 且更能吸引参与者的注意力。 语义明确的图标在一定意义上可以被认为是语义距离近的图标，其能够自动吸引用户注意力，对注意力捕获能力强，而语义距离远的图标则相反。

2.3 工作记忆

工作记忆是一个对信息进行暂时性加工的系统，它是信息加工的主要场所，在面对新的信息时，其容量极为有限，当需要处理的信息超出了记忆的容量，且这些信息之间的关联程度不高，工作记忆就容易发生错误，导致记忆失效[23]。胡博等[24]研究了不同时间压力下图标语义距离对工作记忆的影响。弱语义图标中敌机、友机和不明飞行物分别用红色三角形、绿色圆形、黄色方块表示。 强语义图标则通过问卷的形式筛选得出。 实验中设计了不同的时间压力、目标图标数量和目标图标类型，被试需要记住实验界面的各个图标数量后完成一道对于飞机数量的题目。研究结果表明，图标语义距离和时间压力的交互作用在信息提取正确率上显著， 结果发现无时间压力下图标语义距离在工作记忆的编码提取上没有差异， 而有时间压力下， 强语义图标相较于弱语义图标在工作记忆的提取上具有优势， 表现在强语义图标在信息提取的正确率和反应时上比弱语义图标更高更快。 Y F Niu 等[16]利用ERP从特征绑定记忆的角度研究图标的颜色特征对图标工作记忆的影响。 研究表明，图标语义-颜色绑定内存和图形-颜色绑定响应时间的显著差异是由用户内存编码的差异造成的。 在图形-颜色绑定记忆任务中，参与者使用的是双编码记忆，而语义编码记忆主要用于图标语义-颜色绑定记忆， 说明语义编码记忆任务难度更大， 认知负荷更大。Y F Niu 等的研究证实图标语义编码记忆对用户工作记忆造成一定负担， 由此失配的语义编码相较于匹配的语义编码会使用户造成更多的认知负荷。 Zhang J 等[25]研究了语义记忆对图标复杂性的影响。实验证明，记忆成分中的语义记忆直接影响理解能力，当刺激物以语义有意义的方式处理时，识别能力增强。 当图标其视觉特征与用户记忆中的语义特征相似或一致时，图标更容易被用户识别，当图标的视觉特征与用户记忆中的语义信息相差较远或不一致时，则图标需要占有用户较多的认知资源才能被识别。人的认知资源是有限的，语义距离近的图标用户更容易被记忆与认知，对于语义距离远的图标，用户在图标-功能匹配会消耗一定的认知资源从而影响工作记忆提取。

2.4 认知绩效

图标语义距离对认知绩效的影响主要来自基于视觉搜索-识别范式实验的认知研究中，这里图标语义距离对认知绩效的影响主要表现在视觉搜索效率上， 在行为数据中则主要表现为反应时和正确率。 彭宁珗等[26]采用视觉搜索实验范式， 通过行为和眼动追踪数据揭示了基于形状相似、 功能关联和语义匹配特征三类推理条件的图标搜索特性，研究发现，语义-图标匹配下的视觉搜索不易出错。 宫勇[27]等对形象图标和抽象图标在语义匹配和语义不匹配条件下的认知加工过程的实验研究， 发现语义匹配时比语义不匹配时抽象图标所需反应时间短，正确率高。 张雄飞[28]将图标复杂度划分为图标风格、图标语义和环境符合三个维度探究图标复杂度对用户搜索绩效的影响。 结果表明，扁平化风格优于拟物风格，低负荷条件下图标优于高负荷条件下图标， 有语义图标优于无语义图标。 Li X 等[29]探讨了不同图标组成-语义关系下军事图标的认知效率和认知过程。 结果表明， 当语义距离近时，正确率高，且ERP 数据反映出，语义距离近的图标产生了较小的认知负荷。 Wu X 等[30]在研究了工业图标的语义-实体相关性的实验中发现符合语义认知定律的图标具有较高的搜索效率。 以上研究表明，当语义距离近时，图标的视觉搜索效率更好且认知绩效优良； 当语义距离远时，反应时长且正确率低。图标语义距离会显著影响用户的认知绩效。对于不同类型的用户，图标语义距离对认知绩效也产生了影响。 Zhao K 等[31]研究了图标风格和语义距离这两个因素对不同智能手机使用体验水平的老年用户在识别性能和主观偏好方面的影响， 通过一系列实验和访谈发现， 语义距离显著影响了被试对图标的识别和偏好。 语义距离较近的图标更容易被年龄较大的用户理解， 这反映在更高的识别精度和更低的响应时间。Dosso C 等[32]研究了年龄对导航任务中界面类型和图标语义距离的影响，结果表明，尤其是语义距离较远时，年龄较大的用户需要更多的时间来选择图标。相比之下，年轻用户可以更好地完成实验任务。 Zhao K 和Dosso C 的研究证实，年长用户更需要语义距离近的图标，对他们而言， 语义距离近的图标可更好地被识别且能顺利完成他们设想的任务。 图标语义距离对认知绩的影响会随着用户年龄的增长变得显著。

3 图标语义距离的设计原则

图标作为复杂界面中的重要组成部分， 其可用性程度影响着整个界面的可用性因素。 良好的语义距离可优化图标认知，减轻用户对复杂界面的认知负荷。 目前已有不少对于界面设计原则和图标设计原则的研究，例如，肖红等[33]分析了交互界面的视觉设计发展趋势，并此基础上提出了人机交互界面的视觉设计应遵守“简洁易用”的总原则。在现有设计原则的基础至上，结合图标语义距离的特征和属性，提出基于语义距离的图标设计原则，主要总结为以下四点原则：

（1）具象一致性。图标本身的视觉特征要与功能或语义具有一致性，即语义距离近。特别是当图标语义是现实中所真实存在的物体， 设计师应当尽量选择物体特征并映射到图标设计中。 良好的语义距离可以使用户快速学习并上手复杂界面的操作， 当图标的视觉特征与用户认知的功能或语义一致时，可减少用户的学习成本和认知负荷，且在完成紧急任务时提高用户的决策正确率，减少人因失误。

（2）抽象隐喻性。 对于一些抽象功能或语义，需要通过隐喻的方式进行图标设计。 隐喻主要通过意象来实现其目的。图标设计的整个过程就是图标的隐喻性生成，在这个过程中要注重“意义”在图标视觉特征中的表现，即在合理的隐喻中优化图标的语义距离， 使得图标的隐喻是有效的。

（3）语义简洁性。除了图标的视觉特征要符合其语义或功能之外， 对于语义词和图标所代表的功能也应尽量简洁，避免过长的语义词，或者是过于复杂的功能。 对于图标这一图像来说， 其大小在不同的界面中有不同的标准，在其大小的限制中，过长的语义或复杂的功能，会使得图标的视觉特征变得抽象或复杂， 这会让用户难以记忆语义以及难以匹配图标，造成认知负荷过载。因此在设置图标语义时应遵循简洁的原则， 避免一个图标多重语义、图标功能信息复杂难以记忆等情况。

（4）颜色明确性。 图标的最终目的是被用户识别并使用，图标在具有美学吸引力的同时需要能表达明确的功能。图标的视觉特征和功能语义之间必须距离相近，过远的语义距离会使得图标的使用有效性降低。

4 结束语

目前对于图标语义距离单独的研究较少，有学者[28]将语义距离作为一个实验变量与其他主变量结合进行实验，少数学者[10，24]将图标语义距离作为主要的研究对象。目前对于图标语义距离的实验研究数据已经不仅仅局限于行为数据，脑电技术及ERP 成分已应用于此。 相较于传统的行为数据和主观测试问卷，ERP 更能直观地观察到用户的感知， 其中ERP 成分中的N400 是观测图标语义感知的主要成分。 现有研究对于语义距离的概念缺少量化标准，未来需要根据ERP 成分对语义距离有更合理的量化。在语义距离对不同用户的认知识别影响方面，已经有学者[31-32]对比了不同年龄用户对图标语义距离的感知，研究表明， 语义距离较近的图标更容易被年龄较大的用户理解且具有更好的用户体验。随着老龄化社会的到来，适老化图标及其语义距离是或许是未来的研究热点。 在语义距离应用方面，一些学者[30，39]将优化语义距离后的图标应用到数字化界面当中， 并通过验证实验发现优化语义距离后的图标更符合用户的认知定律且具有更好的识别效率。

综上所述，随着信息技术的日益发展，数字复杂界面逐渐取代传统人机界面的趋势下， 图标对于界面的有效使用起着关键作用， 未来对于图标语义距离的研究热点和发展趋势还将在影响因素、用户体验等方面展开。