多模态理论在数据可视化交互装置设计中的应用研究

罗保权　邢亚龙

关键词：多模态理论 意象图式 数据可视化 交互模型 装置设计

中图分类号：TP47 文献标识码：A

文章编号：1003-0069（2022）01-0048-04

引言

随着大数据与人工智能时代的来临，数据可视化的需求和应用已成为日常生活的基本内容，在信息时代，大数据将会如同石油般宝贵的资源。

信息技术的发展导致海量的数据产生，让数据可视化设计的呈现方式与载体都有了更多的可能性，同时也面临不小的挑战。单一的媒介与模态已不能满足数据可视化设计展示的需求，更多的形式不断涌现，如增强现实AR/虚拟现实VR、多屏幕互动、手机程序、交互装置等，都提高了其多样性与复杂性。其中，“交互装置”是综合性最强的呈现方式，包含了展示与交互，从多模态的理论出发，挖掘数据可视化交互装置设计的潜在价值，创造出令大众能清晰理解，并能实现交互的可视化装置设计，成为当下研究的热点。

一、数据可视化的多模态理论

（一）多模态的概念

模态（Modality）指的是交流的渠道和媒介 ，包括语言、技术、图像、颜色和音乐等符号系统。针对人类的“模态”，一般指的是“感官”，即视觉、听觉、触觉、嗅觉和味觉等五感，同时在设计产品或事件的过程中，或多或少都会运用多种符号资源建构意义，因而产生了多模态的概念，进而有了多感官融合的设计模型。

最早研究多模态的是在认知语言学领域，专家在研究时发现，语言不单单是“语言”本身，人与人之间的交流除了话语以外，同时还包含多种非语言模态如表情、肢体动作、身体特征、道具设备等。对于“多模态”概念，早期在社会符号学、教育学中都有大量的研究。国内学者胡鸿等通过多模态交互理论结合学龄儿童教具设计，得出有多模态设置的教具更能提升课堂互动性与参与感。国外学者Salway与Martinec则通过新旧媒体表达范式的对比，深入地从多模态角度分析了图文关系理论。國内外学者对于多模态的研究分析基本聚焦在社会符号学以及语言学范畴，这对于交互装置如何达成与观众沟通，实现交互性有一定的理论借鉴意义。

同时，近年来在工程学、自然科学、设计学等领域，越来越多的专家开始关注“多模态”理论的应用，形成了研究热点。Andersen 等指出，想让人们顺利地完成计算机的各项功能任务，最好的方式是使用多模态隐喻的方式去设置功能符号，如垃圾桶隐喻删除文件、文件夹隐喻管理文件、齿轮隐喻系统设置等，这使得计算机成为非常丰富的多模态媒体，媒介使用的便捷性与有效性，很大程度是因为媒介符号设计源自于人们的生活经验与认知基础。

尽管不同领域对“模态”的定义与应用存在差别，但本文站在数据可视化交互装置设计的角度，将模态定义为：人机交互时，装置设计传达信息时所呈现的方式，是一种人机交互的媒介状态，多模态就是利用多种感官模态作为媒介，实现多种人机信息交换的可达性。

（二）意象图式与多模态感知

意象图式作为认知语言学中的重要概念之一，于1980年由美国语言学家马克·约翰逊与莱考夫率先提出。指人在长期的生活经验当中，其行为、心智、知觉都存在着一定的规律模式以及意义图式，它使人们具备有意义且可认知关联的经验，并能理解以及进行推理学习。

意象图式是人与环境反复交互经验下，日积月累形成的抽象认知结构，其图式决定了认知的具身化表现以及隐喻化的语言系统形成。在口头上的表达“他有很远大的梦想”，体现了“性质”图式中的“大小”程度，程度虽然是相对抽象的概念，但它在潜意识中可以影响认知理解与语言系统。在行为活动中，我们看到“楼梯”就自然联想到“上与下”的动作，这对应了“空间”图式。所以，常见的意象图式是已经在人脑中形成的共同行为经验模式。

“意象图式”与“多模态”虽分属不同的概念领域，但都围绕人的认知与心智习惯模型展开研究。意象图式是论述语言如何受环境状态影响，从而做出相应的描述词汇;多模态是论述行为感官如何受环境状态影响，从而做出相应的动作交互，两者都说明了人与物、人与人的各种交互行为都来源于认知，而认知与环境状态有密不可分的关系，把“多模态”与“意象图式”的概念结合，可以为交互装置设计提供关于“动因”的理论解释。

由此，结合多模态理论与意象图式部分理论的借鉴，可以构建数据可视化交互装置设计的底层理论系统，为交互装置的设计提供理论依据，如图1。

二、多模态概念下的数据可视化交互装置设计思路

（一）数据可视化艺术装置的多模态应用

以可交互装置设计的形式去实现数据可视化，是数据可视化中最为复杂的呈现方式。基于多模态人机交互理念，以及现今大数据所表现出的“规模大、变化快、异构性和非结构性”等特点，对数据可视化交互装置的设计提出了挑战，数据可视化交互装置设计从应用的模态情景，可以分为多维度模态、在地性模态、游戏式模态、情感化模态四种，分别应对不同的使用场景与目标人群。

1.多维度模态：数据可视化交互装置设计可以突破屏幕（二维）的限制，实现多维度的交互，像广州美术学院学生创作的数据可视化交互装置《云图》，如图2，利用9个可交互的全息投影展柜，把9个不同城市实时气候数据通过动态三维的方式进行展示，观众通过扫二维码进入特定程序，使2个或多个城市的数据进行比对展示，结果实时在装置上反映出来，实现多个维度的立体观察。

2.在地性模态：在艺术设计领域，“在地性”指的是为现场性以及利用地点的特殊性进行艺术创作，将“在地”作为空间批判的策略和创作方法，而交互装置的设立与其所处的空间载体有着非常密切的关系，在地性原则同样适用。在数据可视化交互装置“深圳脉动”中，如图3，装置将深圳交通实时数据转译为光影运动，光影运动再转化为机械运动，机械装置的运动集合构成了作品的模态效果，创造出符合用户感知的运动模型。同时，装置的六边形与深圳9个行政区巧妙对应，1300万深圳人各自独立的交通行为在这里集体可视化，汇聚出城市的脉动。

3.游戏式模态：以游戏的方式进行数据可视化交互，可以增加用户的黏性以及好感度，通过游戏的模态，让观众通过身体的参与挖掘数据的有趣点，从而实现对数据价值的理解。全球首家以House of Innovation为概念的耐克上海001，空间中庭有一个大型的数据可视化交互装置名为“核心中场”，如图4，通过各类型体育游戏的模态交互，参与者可以实现身体状况数据、运动能力数据、双人或多人竞技数据、综合排名数据等联动，深度捆绑数据与用户的关系，实现沉浸式的游戏交互状态。

4.情感化模态：情感模态是指利用带有情感色彩的符号元素，以及带有情感特征的行为模型进行模态设计，诸如握手、拥抱、击掌等行为的象征隐喻借用。Twitter委托Sosolimited团队设计的一个数据可视化交互装置，如图5，充分利用了情感化模态。参观者可以使用平板电脑选择8个热点话题中的任意一个，来观看这个话题当前Twitter上的热点度。谈论这个话题的人越多、越激烈，装置上灯光闪烁的频率越高，“心跳”越快。

（二）基于多模态的数据可视化交互装置设计模型

在判断数据可视化交互装置的效果时，要以用户体验结果为判断依据，用户体验的优劣跟模态有着密切联系。英国工程师WilliamPlayfair在其数据统计图形绘制中，利用了人类认知图形模态的特点，较早地从用户体验的角度去处理数据可视化，柱状图作为现今被应用最广泛的图表类型，最早是由他设计的。Jesse James Garrett在其著作《用户体验要素》中，首次提出了基于用户体验要素的网站平台设计模型，它从用户认知与体验感知的角度切入，进行了详尽的原因分析与过程拆解。模型基于网站交互体验层级的复杂与多样、内在逻辑的繁复与链接的特点，利用5个层级（战略层、范围层、结构层、框架层、表现层）高度概括了整个设计过程，该模型对业界产生了巨大影响力。

基于上述多模态理论基础，以及在借鉴用户体验层级要素模型的基础上，重新整合并改进设计得出适用于数据可视化交互装置设计的层级模型。从4个层级进行设计过程推导，帮助设计师更有目标和效率地进行设计工作，也让观众更能清晰理解交互装置想要表达的意图，满足认知期望，从而实现沉浸式的交互体验，如图6所示。

1.战略层级：战略层是整体方案设计的基础以及原点，如果没有战略层面的思考，设计则无法推演与定位，丧失了核心要素。在战略层，用户需求是推动整个方案的源动力，用户通过数据想要了解什么，又是什么驱动用户与艺术装置互动等动因问题，都需要在具体设计前研究清楚。

2.战术层级：明确的战略目标后，接下來需要关注的是数据的内容与边界，数据的边界决定了可视化的层级。收集回来的数据进行解构分析，厘清数据之间的链接与逻辑关系，梳理出数据的组织结构、进行数据去躁等，都能进一步提纯数据，增强用户获取数据的效率。还要进行数据的特征挖掘，找出有特点的数据细节，甚至是具有冲突性、戏剧性的数据变化，让最终的交互装置设计内容具有更强的吸引力。

3.结构层级：结构层是在整体范围都确定后，从结构层面进行完善设计。数据映射把数据的状态数值、三维空间信息、固定或时变数据逻辑、数据间的组织关系等，通过形（点线面体）跟色（色立体）的匹配，分别映射在不同的视觉路径上，使用户能清晰认知。交互设计的重点在交互行为的设计与创意上，需要规划用户的操作手段、回馈模式等表现方式。好的交互设计可以瞬间吸引用户，并在交互中感受到乐趣。

4.模态层级：最后的模态层是基于用户体验以及感知的层面，把之前结构层的交互设计、数据映射、装置构造等，以一种多感官模态的形式进行最终呈现，让观众除了视觉层面的感受外，还有其他感官的交互。同时，在模态层还要加入意象图式的可视化考虑，让观众能在最短时间内辨认装置的操作方式，以及空间位置、长宽高、形状大小、色彩属性等感知内容，基于目标用户，将感知性高的模态元素应用在交互装置设计中。要特意指出的是，视觉界面的设计属于多模态中的视觉模态范畴，所以对于一般（屏幕二维）数据可视化的图形化界面设计，也是需要考虑的重点之一。

战略层、战术层、结构层、模态层这四个层级间存在着层次渐进的关系，每一个层级都基于上一个层级推导出来，即战术层基于战略层的目标用户需求以及数据收集的研究，结构层基于战术层的数据分析进行交互设计与数据映射，模态层的多感官感知设计是基于结构层的推导，这四个层级关系紧密相连而构成整体。

三、设计实践

在设计实践研究中，笔者以成都气候数据的可视化展示作为研究目的，并以交互式装置设计的形式进行实物测试。整个数据可视化交互装置的设计，都严格按照上文论述的设计层级模型展开，重点在于以真实的设计实践验证理论的可行性。

1.设计战略目标的定义：首先，设计从战略层角度对目标用户需求以及相关数据进行收集，并反复推敲战略目标与任务路径，确定了目标用户想要了解的数据内容，然后收集了成都2020过往一年全年每日的实时各地区平均湿度天气数据（数据来源：中央气象台国家气象数据网），作为基础数据收集。

2.设计战术制定的梳理：接着在战术层中，通过把气候对应的地区数据特征作进一步提取，将二维抽象数据转换为思维坐标系，能对应时间轴与空间轴的三维模态。数据三维模态分析如图7a所示，以不同的立体粒子形态去呈现数据，强化气候变化与地理的关系，这种在地图图形符号上以带颜色的三维立体方块作为表达的数据图式，能方便用户迅速对整体变量做出判断，由于有了“时空”维度的加入，令观众能更好地把握全局。背后获得信息设计逻辑如图7b所示，观众可以直观感受气候与地理分布的关系，并通过实时的变化感受不同时节成都气候的特点。

3.设计结构方式的深化：在结构层的设计分为两个方面，一是用户可以通过手机扫二维码进入定制程序，改变参数查看气候与地理信息的数据联系与变化;二是在装置构造上选择LED立体阵列作为展示载体，以配合内容与模态的需求。二级立体界面设计如图7c所示，在数据映射层面把对应的结构信息，如空间地理位置，区域气候变化、相对湿度等，利用颜色映射法、高度映射法、三维映射法进行数据映射，提高用户理解力，加快用户认知效率。

4.设计模态交互的设定：在最后的模态层设定上，综合了此前理论模型的要点，一方面从行为感官模态交互入手，利用红外线动作感应技术，识别观众所在位置与作品方位的对应关系，把观众所在的方位与成都地图的方位做了一个对应模态，观众步随景移可以围绕作品观察成都气候在不同地区的变化三维图像;另一方面从认知识别符号的在地性入手，加入火锅、熊猫、竹子等情感化符号以及文化符号的表达，使得原本抽象冰冷的数据有了“表情”与文化基因，更能让观众产生共情，如图8a所示。同时，在交互装置中还加入了声效的考虑，让交互艺术装置最后呈现的丰富多变的综合模态效果，能根据用户的交互产生实时的变化，如图8b所示。

从最后的结果看，该数据可视化交互装置的设计流程是严格按照前述的“数据可视化交互装置设计层级模型”执行的，从结果上是受到了当地民众的欢迎，有不少观众在体验后都能感受到当地气候条件与地理因素的关系，也体会到了气候地理因素对社会文化的影响，得到不少正面回馈与多家媒体的报道，是数据可视化交互装置设计模型的一次实践验证。

结论

基于多模态理论的梳理与数据可视化交互装置设计的实例分析，采用系统模型过程拆分的方法，提出数据可视化交互装置的设计模型，该模型主要包含战略层、战术层、结构层与模态层四个部分。每一个层级都是基于上一个层级推导，层级之间的逻辑关系紧密，其中多模态作为最终的层级考虑，是影响数据装置与用户是否达成真正交互的关键因素，也是丰富数据可视化装置设计体验感的核心要素。

该模型的运用可增加数据可视化交互装置设计信息传达的准确性、丰富性、趣味性与交互性，使得数据可视化有了更为综合的表达形式，也为交互装置的设计创作提供了新的交互维度。

3266501908267