智能时代多媒体作品的交互设计特点

张雯 付琳

摘要：大智能时代下多媒体艺术设计要想更好f地发展，需要随时与科技的发展相结合，在多媒介、多平台的状态下丰富交互行为，提升作品的用户体验性。将多媒体交互过程分解，结合实例分析法总结出多媒体作品交互设计特点。以此成为未来多媒体交互设计的指导原则。多媒体交互设计以内容为前提，结合媒介特点，以科技思维创新交互行为，以丰富、自然的交互行为反馈提升用户的感官体验。

关键词：多媒体艺术设计 交互设计 用户体验 人工智能技术 科技思维

中图分类号：TP391.9 文献标识码：A

文章编号：1003-0069（2023）16-0138-04

Abstract：In order to develop better in the era of great intelligence，multimedia art design needs to be combined with the development of science and technology at any time，enrich interactive behavior in the state of multimedia and multi platform，and improve the user experience of works. The multimedia interaction process was decomposed，and the characteristics of multimedia work interaction design were summarized by combining the method of example analysis. It has become the guiding principle of multimedia interaction design in the future. Multimedia interactive design takes content as the premise，combines the characteristics of media，innovates interactive behavior with scientific and technological thinking，and improves users sensory experience with rich and natural interactive behavior feedback.

Keywords：Multimedia art design Interaction design User experience Artificial intelligence technology Technological thinking

引言

多媒體艺术设计诞生于20世纪70年代，是科学技术与艺术形态发展阶段的必然历史产物，其不同于传统艺术最根本的特性是交互性。对于多媒体艺术设计最早的定义是通过计算机交互式综合处理多媒体信息——文本、图形、图像、声音、视频、动画等，使多种信息建立逻辑链接，为了传递知识创建和表达的交互式应用体系。而随着时代的发展，新科技的不断涌现和设计思维的革新，多媒体艺术设计也不断融合新技术、新媒介，更新和丰富作品的概念外延和表现形式。

一、智能时代的多媒体作品类型

随着人类科技发展，人工智能已经逐渐融入我们的生活，从智能手机到智能家居，从无人机到自动驾驶，从智能机器人到智能医疗等。但总的来说目前我们还处于弱智能时代，智能的主要功能体现在机器的速度、力度、存储空间、运算速度、记忆能力和数据分析等方面，智能产品以软硬一体化的智能终端为主。软端主要是对用户、产品、环境的数据回收和监测，再通过对数据的分析提供给用户有效的信息，可以说软端操作系统是一个可以交互的信息交流体系。

多媒体艺术设计在这些年的变迁中，随着科技的进步，不断在扩展其概念外延，打破了从前由技术限制的承载形式和发布形式，形成跨平台、多媒体融合的数字化信息交流体系。广义来说，如今多媒体艺术设计是各类具有交互性的数字化信息表达体系，但是以数字化信息系统的内容策划、视觉表达和交互行为的设计效果构想和呈现为主，对于交互信息体系所涉及的计算机语言，发布平台的技术实现等不是其专业内容。从这个角度来说，以“数字化交互性体系”为表现核心的多媒体艺术设计，只要是其具有交互性的信息交流和内容呈现，都属于智能时代的多媒体作品。因此，按照作品的发布平台和媒介手段可将智能时代的多媒体作品分为如图1所示的各种类型。其中智能终端的软端交互信息体系可以说就是多媒体艺术设计。

而智能时代的各种人工智能技术都是为了让机器更“智能”地服务于人，人工智能技术使机器的交互行为更加类人化，回归本真的交互行为使人、机、环境形成一个自然顺畅的交流空间。多媒体艺术设计也在探索借助人工智能技术，使多媒体交互表现更加自然，从而提升作品的用户体验感。因此从技术角度划分类型，多媒体作品又分为如图2的各类型。

二、多媒体交互设计的发展演变和创作原则

从多媒体艺术设计这一行业诞生至今的40年里，多媒体艺术设计随着媒体时代的发展经历了四次的革新浪潮，从最早的线下以光盘为载体的时代，到第一次互联网风暴，多媒体艺术与网络结合的线上表现形式，再到移动互联网时代的到来，多媒体艺术与移动媒介的结合，到如今人工智能时代的到来，多媒体艺术与各类终端、传感器、交互技术的结合。但无论多媒体艺术的承载终端如何变化，发布形式是什么，表现方法是什么，多媒体艺术设计的核心始终是交互设计。人工智能时代设计的方向是回归本真的交互方式，智能化的人机关系，和全空间自然一体的信息交流体系。而多媒体艺术要融合科技的力量，改进交互方式，增强其真正意义上的“多”融合性，朝着全智能化空间的交互设计方向前进。

作为国内最早开展多媒体艺术设计的学校，我们一直致力于多媒体艺术设计的研究和推广，紧跟时代的发展扩展作品类型，探索多媒体作品交互设计的多种可能性。多媒体艺术设计关注用户体验研究，融合服务设计中用户研究的方法来发掘用户痛点；多媒体艺术设计关注交互技术的发展，例如虚拟现实、增强现实、体感捕捉、图像识别、语音识别等，将其应用于作品创作中，以内容为先，设计适合内容的交互方式，使作品既有完整的内容表达，又具有时代性、科技前沿性的交互方式；多媒体艺术设计关注跨平台的使用状态和多媒介的融合，使作品充分借助硬件功能来表现作品内容。近几年，我院自主创作了多部优秀的多媒体作品，借助人工智能技术使其更具交互体验性和视觉观赏性，在寓教于乐中传达内容，使用户更有效地理解作品内容和提升用户体验感。

三、智能时代多媒体作品的交互设计特点

多媒体交互设计过程可以分解为使用者發生行为，行为之后触发变化，变化之后产生的心理感受这三部分。用户交互行为是其设计重点，人机互动的设计本质是回归本真的交互行为设计，智能时代的多媒体作品力求通过人工智能技术，使用户发出自然的交互行为与作品互动，行为之后触发的变化是用户与作品之间承接行为的“界面”所产生的视觉、听觉、触觉等的反馈，而这些变化就是交互体验，是可以让用户体会到愉悦、新奇、满意的感官体验。

人工智能技术有虚拟现实技术、增强现实技术、体感捕捉技术、语音识别技术、图像识别技术等，技术是实现行为效果的手段，交互行为的设计首先要以作品内容为本，才能达到事半功倍的交互效果。交互行为要自然和贴近生活，空间化的交互场景、丰富多样的交互反馈和多媒介融合的交互方式是可以提升用户体验感的。下文将结合案例分析智能时代多媒体作品的交互设计特点。

（一）以内容为先，交互行为要适合作品内容

20世纪90年代比尔·盖茨提出“内容为王”，优质的内容是吸引用户最本质的要素。一部优秀的多媒体作品，无论应用多么前沿、先进的交互技术，首先还是要以内容为本。内容是文化，是灵感的来源，“形式追随内容”。交互设计是多媒体艺术的核心特点，但交互行为不能脱离作品内容，一定要从作品内容出发，设计适合内容的交互形式，这样才能更好地传递作品信息。例如移动端交互游戏最常用形式是“找不同”“拼图”“比大小”“接东西”等，一部介绍动植物的，面向儿童的科普类多媒体作品，应用“拼图”游戏来熟悉和体验作品内容是较为合适的。但不是任何主题、不同受众人群都适合这样的交互形式，如若是一部面向书画爱好者的，介绍中国画艺术的多媒体作品，以上的交互形式就不适合。人工智能技术的融入是为内容服务的，适合内容的交互表现才能起到提升作品用户体验的作用。

例如，我院多媒体艺术设计专业师生自主研发的移动端交互作品《小小折纸家》，这是一部面向儿童的介绍折纸艺术的作品。折纸艺术实操性极高，尤其一些造型复杂的折纸，传统的图文介绍方式要想将这个过程展示清楚是比较困难的，因此作品借助增强现实技术，“增强”数字端折纸影像显示的真实性，在以Low Poly的复古未来派风格设计的折纸形象和三维场景中立体的显示折纸视频和三维形象（如图3）。增强现实技术交互方式在这部作品中的应用是恰到好处的，让用户清晰、直观、身临其境地观看到折纸的每一个步骤，这是符合并能提升作品内容表现力的交互方式。

又如我院作品《东巴之谜》，是一部介绍西藏面具的多媒体交互作品。在展示面具样式板块，为了让用户更真实地感受面具的形态，作品借助Leap Motion体感捕捉设备，用户通过肢体动作与面具进行交互，放大、缩小并360°旋转，查看面具的各个角度。作品还设计了体验环节，利用摄像头进行面部识别，通过屏幕显示使用者佩戴面具的状态，让用户亲身体会佩戴面具的效果（见图4），加深对西藏面具的理解。在本部作品中体感捕捉交互方式是非常适合展示和介绍西藏面具等版块的，交互方式提升了用户体验感，同时加深用户对作品内容的理解。

（二）结合媒介特点，设计适合的交互行为

从以智能手机为代表的移动终端的发展开始，多媒体艺术设计呈现出多媒介、跨平台的表现状态，多媒体作品扩展了移动端、大屏幕投影显示、触摸屏显示等发布形式。多媒体交互设计创作要充分考虑媒介本身的特点，借助其优势，使交互行为的表现自然而回归本真。例如以智能手机为代表的移动端设备，以Multi—Touch技术的多点触控交互方式，使移动端的交互行为基本表现是单指或多指点击和双击、两指放大、缩小、滑动、按压、拖动、旋转等。移动端多媒体交互行为设计要以这些为基础，利用多点触控的交互特点，最优化地展现作品内容。并且移动端硬件本身具有摄像头、麦克风、陀螺仪、传感器等硬件元件，具备图像识别、语音识别、位置定位、重力感应、距离和温度等感应识别的功能，是实现增强现实、虚拟现实、体感触控、语音识别等交互方式的最佳硬件条件。

如我院自主研发的移动端交互作品《怪哉》，这是一部介绍中国志怪文化的作品，以唐代志怪小说《酉阳杂俎》为内容依托，以解密式游戏推动故事情节的展开。作品以Pad为发布平台，充分利用移动端图像识别的功能，结合增强现实技术，将数字端与实体空间表现相融合，在实景空间设置道具作为增强现实识别点，然后将虚拟影像显示在真实场景中，空间式立体地解密游戏的每一个环节，让用户沉浸在志怪文化的氛围中，真切地感受和体验光怪陆离的鬼怪世界（见图5）。

又如我院作品《鲸奇》，这是一部面对6-8岁儿童的介绍抹香鲸的科普移动端多媒体作品。作品中介绍“抹香鲸声音系统”的板块（见图6），设计了语音交互环节，用户发出声音，系统识别声量大小在反馈界面以动态视效展现声音分贝变化，让用户来对比感受抹香鲸发声体系的分贝大小。在展现“抹香鲸在大海中潜水技能”板块（见图7），借助移动端的重力感应功能，转动屏幕，界面中海水深度随之不断下潜，并同时显示对应在不同深度生存的海底生物，直到抹香鲸生存深度。这两个交互环节设计得非常巧妙，充分利用媒介特点设计交互行为，让用户直观、形象地了解抹香鲸的知识，也带给用户极为生动，如同亲身体验般的交互感受。

（三）行为之后触发的反馈是提升交互体验感最直观的方式

用户与作品进行交互之后，会触发承接行为的“界面”产生变化，如视觉元素的动效变化，音效变化，肢体感受的触觉变化等，这些变化代表这是一个互动的过程，通过感官传递给用户，是作品完成本身功能以外带给用户的心理体验，是可以让用户体会到愉悦、新奇、满意的感官体验，这就是用户体验。提升用户体验感是交互设计的目的，交互行为之后触发的反馈就是提升交互体验感最直观的方式。因此，这个“触发效果”要根据作品内容，综合、恰当地设计视觉、听觉、触觉以及嗅觉等的效果变化，从而调动用户的感官，让用户感受到深入、饱满的感官体验。

人工智能的各项技术，其回归本真的交互行为本身就是为了带给用户更好的交互体验，交互之后触发的“界面”变化也是趋于自然化表现。例如增强现实技术，虚拟影像与真实空间的结合给用户带来更加真实的空间感受，让用户沉浸其中，视觉、听觉、触觉等多种感官感知功能被综合调动，实现了用户交互意图与多通道感官体验的结合。如我院作品《怪哉》，作品应用增强现实技术，在真实空间中每一个识别之后的视觉反馈都配合声效，例如用低沉急促的音乐搭配如爆裂般的视效，渲染作品神秘、诡异的气氛，使用户沉浸在志怪文化的刺激和新奇之中。

又如我院作品《流光》，这是一部介绍光绘艺术的多媒体交互作品。光绘也叫光绘摄影，是以光的绘画为创作手段的摄影作品，任何光源都可作为成像效果的一部分。光绘艺术的特点是现场即时性和空间性，于是作品以投影仪、电脑和体感捕捉设备，在三维空间中创建一个光绘互动空间，体感设备捕捉用户的肢体动作，在投影仪投射的平面上反映出光绘随人手部动作进行的形象创作和与原本的图像互动的变化。而每次互动后的界面反馈都与用户的肢体行为相对应，并搭配音乐变化，例如，当用户手做出横向切割的动作，画面中的光绘图形随之被切断，音乐随之达到高潮或重音以示交互变化（见图8）。这些交互反馈充分调动用户的感官，交互行为引发的视觉和听觉变化搭配表达，极好地让用户体验到愉悦、兴奋的交互感受。

（四）科技思維方式，技术为内容服务

社会生产力和科学技术是推动社会进步的力量，智能时代科学技术更是让人们的生活发生着日新月异的变化。新时代的设计师必须具备科技思维模式，科技思维方式已经成为设计创意思维的一种方法，即从技术的角度思考如何更有效地解决问题和展现效果。利用技术的优势，适配合适的内容，以达到最佳的展示效果。例如语音识别技术是通过语音进行交互，语音交互可以传递人的情绪，是最自然接近本能的交互方式，解放双手和双眼，在需要多感官协同的场景下效率更高。从技术特点出发，语音交互非常适合车载场景，通过语音指令与数字端导航进行路线沟通，同时完成点播音乐等多交互操作。并且面对弱势群体、静默群体，语音交互的亲切性可以很快从情感上搭建人与产品、环境之间的理解度。还有VR/AR交互技术，在真实和虚拟之间搭建了一个桥梁，用虚拟世界的数字属性增强、连接以及帮助解决真实世界的各类需求。例如增强现实类游戏，带给用户一种数字端自由、超能力的沉浸性体验。而虚拟、增强现实的沉浸性交互体验不仅是在游戏等娱乐项目方面发挥作用，更重要的应用是在医疗、军事、教育等方面。

例如史上首款“游戏处方药”设计，是一款用于医疗目的的视频游戏—— EndeavorRx，这款特殊的“处方药”用于治疗 8 至 12 岁患有注意缺陷多动障碍（ADHD，以下简称 “多动症”）的儿童。这款游戏与其他传统游戏一样，设置任务系统和货币体系，在任务系统设置了关卡、阻碍等，例如儿童玩家必须一边躲开火坑和水下地雷等危险，一边驾驶飞行器收集目标物来完成任务。儿童需要按照规定，每天只能玩 25到30分钟，一周玩5天，连续玩4周。游戏的目的就是挑战儿童的注意力，让他们集中精力同时完成多个任务。研究人员对包括多动症在内的多种适应症进行了临床研究，研究结果表明，经过一个月的游戏疗法，儿童多动症得到了缓解，儿童的注意力、学业成绩和其他评估指标均有改善。虽然EndeavorRx不能治愈多动症，但这一游戏疗法可以与药物治疗、教育项目等其他多动症疗法共同使用，成为现有儿童多动症药物的辅助治疗手段。这款数字疗法在医学史上创造了历史，也开创了游戏设计的新意义，设计师需要用科学思维的方式赋予游戏新的功能，来服务和帮助人们解决问题。

又如我院作品《归途》，是一部以垃圾污染为主题的虚拟现实交互游戏。作品结合虚拟现实技术构建了三维场景，让用户随着小机器人的视角在被破坏的环境中游走和完成各项任务，切身体验到生态被破坏后的窒息感，也感受到重新创建家园的艰难，从而唤醒人们对环境保护、合理处理垃圾的重视（见图9）。从体验经济学中“甜蜜”地带的理论来说，一个好的作品要具有娱乐、教育、审美和逃避现实4种体验。当游戏作品可以发挥教育意义时，其用户体验性才是最优良的。本部作品正是让用户在娱乐的同时感受到教育意义的传递，这就是用科技思维进行作品创作的方式。

结论

数字化作品的呈现已经是这个时代的主流，各种智能技术的支持让数字化的表现更加自然和无所不在，人们在原子和比特搭建的真实和虚拟空间中，自由游走和切换，更顺畅地完成信息的交流。多媒体艺术设计以策划内容为基础，设计合理的交互逻辑框架，融合和借助人工智能技术，以科技思维的方式创新交互行为，以丰富、自然的行为反馈综合调动用户的感官体验，提升作品用户体验感。多媒体艺术设计以内容为王，以交互性为本，以提升用户体验感为目的，寻求跨平台、多媒介、自然交互的设计表现，这是顺应时代发展的设计形式，在不久的将来，全智能化的交流空间中，多媒体艺术设计以其“数字化信息交流体系”的属性势必在智能时代发挥重要作用。

基金项目：北京印刷学院2023年课程思政与思政课程教学改革重点项目“讲双奥故事 立文化自信——《数字媒体创意思维》课程的思政教学设计研究与实践”（项目编号22150223035）。

参考文献

[1]李四达. 数字媒体艺术史[M].北京：清华大学出版社，2008.11.

[2]李四达，丁肇辰. 服务设计概论：创新实践十二课[M]. 北京：清华大学出版社，2018.9

[3]黄蔚. 服务设计：用极致体验赢得用户追随[M]. 北京：机械工业出版社，2020.11

[4]胡杰. 多媒体艺术设计[M]. 北京：北京航空航天大学出版社，2009.11

[5]张雯，付琳.多媒体交互设计的创新方法研究[J].南京艺术学院学报（美术与设计版），2010（02）：156-159.

[6]Dan Saffer著，陈军亮译. 交互设计指南[M]. 北京：机械工业出版社，2010.5.

[7]王珊. 体感交互技术在科普展示中的应用——以《万物有灵》体感交互装置为例[J].设计，2020，（33）：07.

[8]王一铭，巩淼森.基于UACM模型的导引健身交互设计策略[J].设计，2023，36（11）：63-65.