通感体验下的新媒体交互艺术

谷晓

（辽宁对外经贸学院，辽宁 大连 116052）

通感体验下的新媒体交互艺术

谷晓

（辽宁对外经贸学院，辽宁 大连 116052）

艺术与现代科技的结合产生了新媒体交互艺术，它改变了传统艺术线性叙事的方式，为观众提供了“参与其中”的沉浸式的通感体验，让观众通过视觉、触觉、听觉、味觉、嗅觉等全方位的、立体的“混感官”感知方式，参与到作品中，成为作品的一部分，继而主动地接受传递信息并完成艺术理念的交融。

交互；沉浸式；通感体验

一、交互艺术的“场”

“交互艺术”能够理解为空间、人、设备、交互关系的艺术，交互艺术一头连着艺术家和工程师，另一头连着参与者，由此，发生在人—机器—界面之间的空间关系，产生了一种新的艺术逻辑，这种存在于艺术家和观众之间的关系是一种新的艺术形式，它以人机相互作用为基础，通过多感官的感知方式和动觉纽带，链接艺术家和观众，让观众参与到作品中，并且与作品和艺术家形成“场”的关系，通过交流，观众获得愉悦和共鸣，而艺术家则引导观众更好地认知所要传达的信息并且做出反馈，交互艺术强调人和机器间的相互影响，强调观众的能动性，它要求受众能动地参与到艺术中并通过交互使作品发生变化，从而产生实时的、可变的艺术效果，交互艺术的“场”融合了多重的感官体验，将传统的二维平面转变为一个基于时空框架的多感官交互场，在这个“场”中，观众也会与环境产生互动，调整环境，营造出强烈的沉浸感。

二、沉浸式的通感体验

当生活变得越来越“按钮化”“点击化”“触摸化”之后，单纯的通过点击鼠标和敲击键盘进行的交互已经满足不了用户的需求，用户希望有更加多元化的交互的体验，由此，催生出五感相通的沉浸式交互艺术，沉浸式交互艺术通过受众参与来完成作品，让受众在触碰作品时候有所触动，继而完成物理——事理——情理这一情感逐渐升华的过程（感觉生成情感），沉浸式交互艺术以人与人之间、人与机器之间的情感双向共存，通过用户的体验参与到信息传达的过程中，参与到完整作品的寓意过程中。早期电子读物出版时，纸质书籍被不加改动地直接转化为电子版书籍，并没有注重交互设计中的感知觉体验设计，当下用户已经不止有读字和看图的简单需求，而要强调与交互产品的融合度，在Ipad中阅读电子读物，应用系统可以模拟书籍翻页，甚至真实到让书页能够跟着用户犹豫的手指而前后翻动；看到封底时会发生书页反弹行为；模拟卷轴滚动时的惯性动作，触感细腻；在触碰同时搭配书页翻动的声音，这种体验不仅是视觉、触觉、听觉的体验，而是关注用户感受，多感官的综合体验。

设计，造物为谋事，有事之后才会有物，有物之后才会有情，设计的实质是要研究人、事、物的联系，是解决三者间的问题，或解决三者问题的这一过程。从电气设备按钮时代，到键盘鼠标时代，成就了英特尔、微软这样的公司，再到触屏智能手机时代，苹果改变了人们的需求和生活方式，从CLI命令行界面到GUI图形界面，再到语音手势交互等NUI自然用户界面。那么下一轮的探索是什么？接下来应该是一个人机平等对话的时代。以前的人机交互，人看到的是图形和文字，但是计算机看到的只是光标，所以人和机器是不平等的，而接下来的人机交互是平等的，你用文字，机器就会用文字回答，你用图片，机器就用图片回答，这时候用户意识不到人机交互和信息交换间技术的存在，机器和人一样沟通交流，身边的所有设备不断学习用户的使用习惯，潜移默化地理解预测用户的需求，后台全景感知计算无处不在，前端全自动智能服务联动推送，最终实现环抱式的智能化场景。

图1 林书民的互动装置作品《内功》

图2 Loop.pH 光装置Vel02

图3 Osmo星光房

研究交互艺术会同时涉及到艺术理论、计算机编程、装置艺术，科学技术，甚至音乐等各类学科领域，是典型的交叉艺术设计。加拿大交互艺术家赛克拉·斯福斯特创作的交互影像装置《身体地图》，它的交互硬件由数据系统、电池音频卡、立体声话筒、扩音器和电场传感器等组成，它将人体影像以俯视的角度投影到一块特质的白色天鹅绒表面上。这个表面就是参与者的交互介质，人们用手触摸、甚至爱抚影像中的身体，随之而来的是影像中身体或战栗，或无声地蠕动，使得整个作品弥漫着迷人的气息。身体是一个自然性的生命互动体，同时也是一个叙事体，该互动装置艺术借用身体传达所要表达的社会信息，通过受众的碰触表达观念，在人的所有行为中，没有比触摸更细腻、更容易触及脆弱的本质，人与人之间，人与机器之间那微妙、复杂的关系在触摸与反应的过程中蔓延，以身体为媒介去感知，在丰富交互装置艺术作品内涵同时也能让受众更加投入的完成作品。

台湾艺术家林书民的互动装置作品《内功》展示了人的“心念”与设计作品间的场的关系（图1）。为了使展览现场达到最佳的体验效果，量身打造了砖墙、光线、室内颜色、搭配的仪器，甚至整体的空间布局，布展时对各个部件以及如何排除故障都标注了明确说明。在接近20平方米的展厅内，中厅一面是影像屏幕，一个角落里是两台电脑、一台脑波仪，地面投影出一个水池，水池两边各放置了一把山石形状的白色座椅，座椅顶上各有一盏路灯，体验者坐到垂钓的白色椅子上，头部佩戴着可扫描脑电波的数字频率分析仪器，脑电波扫描仪每隔5秒对体验者在观看时脑波活动状况进行捕捉、分析，进而影像中会出现不同的景象，当体验者越放松，脑内的α波就越多，探测灯检测后就会越亮，之后通过仪器传输信息，呈现不同影像内容。由于脑部活动的不同，水池中的鱼会慢慢游向一方的垂钓者的缸中，接着，水池会演变为布满荷花的池塘，再接着，荷塘上会盛开起一朵接着一朵的白色莲花。人的感觉器官是相通的，看到柠檬时，会感觉酸；身处暖色调房间时，会感觉温暖舒适；听到摇滚乐时，会跟随舞动；触摸着毛皮时，感觉温暖，触摸玻璃时，感觉冰冷；闻到臭味，脑子里有出现恶心的画面等，全身心的通感体验构成了交互设计的核心价值。这个交互作品与中国的佛学和禅学有着内在的联系，“万法唯心造”“欲速则不达”，人的情绪、心境具有场量，因而会形成不同的影像内容。

三、交互艺术在现实中的应用

Loop.ph开启了一个公共的交互艺术项目，它不仅起到艺术展览的作用，也具有一定的实用性（图2）。装置由两个循环自行车赛道组成，赛道的两头是通过特定形状的细玻璃纤维片连接起来的，玻璃纤维复合成“肺部”的形状，底部安装有感应器和多彩LED照明设备，互动装置根据空气质量的好坏显示不同的颜色，装置上配有自行车，以便让市民通过明显的颜色变化体验绿色出行，宣传绿色出行的理念，以便让市民减少汽车出行，减少对大气的污染 。

通感是五感之间的互相感通，五感互通，不仅是感觉，更是情感，因而通感体验下的交互艺术不一定非要解决受众刚需之痛点，但一定要触及受众的“爽点”。而交互的意义就在于，把受众并不关心的高深技术优雅且感性地转化到受众最基本的需求上去。Osmo是一个圆形的房体，银色遮光膜覆盖做了点状透光和局部擦薄的效果，用户进入黑暗的球体后，从外面透进来的光让穹顶猛然看起来像无限的星空，撩拨着用户的内心，仿佛又回到童年。（图3）

总结

交互媒体艺术是技术和艺术紧密结合的典范，随着智能环境、立体成像、三维实景和多感官技术的介入，通感体验式的交互艺术将以更加自然、和谐的交互方式让创作主体和受众间的沟通更直接。通感体验下的艺术作品不再是单向的线性的信息传达，这种非线型的创意表述，改变了以往的视觉经验，营造出能让受众参与的“场”，是多维度的体验，受众身临其境，在接收信息的过程中通过参与和反馈，操控并沉浸于作品中。因而，相对于传统界面式交互艺术，通感体验式的交互艺术可以使受众获得更高的参与度和体验程度，实现作品与观众间的互动，“自由对话”和实时的情感交流。■

[1]赵璐，史金玉，郑童.UI点击愉悦——情感体验介入的界面编辑设计[M].北京：人民美术出版社，2015.

[2] 刘姝铭，侯玥.数字媒体交互元素设计[M].北京：高等教育出版社，2014.

[3] 柴秋霞.数字媒体交互艺术的沉浸式体验[J].装饰，2012（2）：73-75.

The New Media Interactive Art of Synaesthesia Experience

GU Xiao
(Liaoning University of International Business and Economics, Dalian 116052, China)

The combination of art and modern science and technology creates new media interactive art, the way has changed the traditional linear narrative art, provides "involved" immersive experience synaesthesia, lets the audience by sight, touch, hearing, taste, smell, etc, three-dimensional way of "mix sensory perception", to participate in the work, become a part of the work, then initiative to accept the transfer information and complete the concept of art blends.

interaction; Immersion; Synaesthesia experience

检 索 :www.artdesign.org.cn

J0-J5;J045;TP37

A

1008-2832（2017）11-0097-02

Internet :www.artdesign.org.cn

项目编号：2014XJTD02 项目名称：互联网背景下的图形用户界面设计研究