虚实融合环境下体感交互技术的应用

张晖?王婷婷

中国古代兵器文化经历了漫长而悠久的发展过程，留下了极为丰富的文化遗产，可以说都是中国古代劳动人民智慧的结晶。本文通过对山东孔子文化公园兵器博物馆展示多媒体项目的设计和实施，探讨在虚实融合环境下运用新兴的体感交互技术构建一种高度逼真的展示体验环境和人性化操作方式。

概述

一直以来国内历史类文化展览馆的展示交互设计多采用二维人机交互方式，但随着数字技术的不断发展，信息传播方式的不断变革，这样的形式已经不能够满足人们猎奇逐新的需求，人们尝试运用更多的媒介和技术手段来提高观众和展示环境的互动。本文希望通过对山东孔子文化公园兵器博物馆展示多媒体项目的设计和实施，探讨在虚实融合环境下运用新兴的体感交互技术构建一种高度逼真的展示体验环境，让人们身历其境地与内容做互动，诠释中国古代兵器从启蒙到发展再到兴盛的整个过程。

虚实融合环境下的体感交互技术

虚实融合是现代展示环境设计中一种常用的设计手法，它通过虚拟显示技术，结合计算机图形学、数字图像处理、环境场景搭建、物理学、心理学等相关学科交和领域，营造出一个虚实结合并符合特定展示情景的展示环境，让观众更加流畅的和计算机等设备进行人机交互，增加参与度和体验感。

体感交互是展示空间中营造虚实融合环境最为重要的技术手段之一，也是目前展示环境设计的主要趋势。体感交互起源于游戏，特指用户通过身体运动和身体感受等方式完成人机交互，它通过人的肢体动作变化进行操作。体感交互技术运用在展示环境设计还是近些年的事情，这种技术操作简单，是直接通过观众的肢体动作自然得与周边的装置或环境互动，而无需使用任何复杂的控制设备。有着其他展示技术无法比拟的优势。

目前体感交互的研究内容主要是集中在语音识别、手势输入及感觉反馈等方面。作为新的体感技术，kinect 的出现促进人机交互的发展，它可以依靠捕捉使用者的动作、面部和语音的识别，来进行输入填补了传统人机交互的技术缺陷，kinect体感交互技术主要由感应摄像机，动作识别系统组成。

1.深度感应摄像机技术

早期，由于用于体感交互技术硬件和软件的研发成本比较高，体感交互技术一直缺乏实用性，直到一项基于结构光技术的新专利Freedman 的出现，通过对空间物体投射特定的红外线结构光斑，重构空间的三维图像深度，达到较高的帧速率采集数据，这项就是Kinect 的核心技术，使低廉但高效的体感交互设备成为可能。

2.动作识别算法

依靠实时深度摄像机技术，人体动作识别算法得到了提高，可以根据需要，区分人体躯干的各个部分的运动，再通过反向动力学将这些数据连接到人体运动，当然，这样需要计算机系统需要大量的计算，同时用户需要把动作进行初始化，后来Ganapathi的方法结合了人体结构分析与爬山算法，通过GPU加速技术提高了算法的效率。

3.主要的设备

（1）RGB 摄像头

用来获取 640X480 的彩色图像，每秒钟最多获取 30 帧图像，根据在Kinect 设备视野范围内移动的一个或两个人的图像进行骨骼追踪，可以追踪到人体上的 20 个节点。

（2）3D深度传感器

分别为红外发射器和红外线 COMS 摄像机，用来侦测 3D 影像。

（3）数组式麦克风

数组式麦克风的 Microsoft.Speech 与语音识别 API 集成，使用四元麦克风组的麦克风，可以消除噪音和回波进行语音识别，把声源附近有效范围之内的各种信息捕捉到。基于以上功能，Kinect 设备不需要使用任何控制器，只需依靠实时捕捉使用者的 3D 动作、面部识别和语音识别即可达到输入的功能。

兵器博物馆体感交互技术如何营造虚实融合的空间

山东孔子文化公园兵器博物馆，是孔子文化园（国家AAA级景区）新开发的一个旅游景点。主要展示中国传统的古代军事装备。由于中国古代兵器文化经历了漫长而悠久的发展过程，留下的文化遗产极为丰富，如果采用传统的展示方式，使用大量的图版、展柜和展示道具，观众可能只是走走看看，很难有切身的感受。为了增加展示的效果，笔者的设计团队决定采用虚实融合设计手法，运用体感交互技术，让观众能够实现“身临其境”。

1.设计思路

通过对孔子文化公园兵器博物馆的调研，包括对传统兵器背景、观众和展示交互技术等方面的调研，我们确定了具体的方案，首先，在明确了以虚实融合作为交互设计的主轴后，建立起一套完整的展示交互架构，构架基于虚拟现实系统和具体的场景，构筑观众与兵器博物馆的互动平台，配合情境，多媒体交互，视觉等设计的内容，然后，根据前期制定的设计路线，结合兵器博物馆空间区域的划分和实际的展示内容，把需要设计的每个空间逐个进行分析，并制定具体的多媒体展示交互方案。最后进行实施和调试。

2.交互系统设计

（1）体感交互层面

在体感交互方面，目前大部分主要使用手势交互，不过这样的选择不仅影响到用户体验，还影响到识别准确率，而且复杂的手势，还需要观众者去了解并且记住所对应的关系。所以在具体的设计中，采取了综合的交互方式，包括利用移动设备内置的三轴陀螺仪来捕获数据，并通过旋转来设置，能够精确地确定运动 物体的方位，并按照指令执行。通过虚拟的方式来实现观众在虚实融合的场景中体验各个不同仿真的历史时代和与之相配的兵器。

（2）识别层面

在进行识别之前，首先要创建人体动态模板。模板库的建立主要步骤如下 ：

①投影，由于观众操作的差异性，不同使用者做同一个动作的角速度有所差别，即使是同一个观众，不同时间重复同一个动作的角速度也有差异，这就需要针对基准平面对 X、Y、Z 三轴方向的加速度进行投影操作。

②滤波，过滤掉样本中可能存在的噪声信号，来增加信号的识别效果，本次设计主要使用低通滤波。

③主元分析求取阈值。为了捕获到空间中翻转肢体运动的发生，识别层持续捕获三轴陀螺仪传感器传来的数据。传递到识别层的数据是一个三维数组，分别对应于陀螺仪 X、Y、Z 轴的加速度改变。并进行识别记录运动对应的命令，实验交互。

（3） 通信传输层面

目前，设备的操作系统中主要ios 、android和windows系统。通过wifi接入计算机所在局域网，通过Socket与计算机进行通信。系统使用UDP协议作为传输层协议进行Socket通信。系统的应用分为，应用标识符，命令和标示三个部分。通过这样的传输可以减少大量管线的安装和调试，还可以拓展信息传递的效率，为观众提供虚拟而又真实的情景体验感受。

3.虚实融合空间的体感交互技术运用

从兵器博物馆空间实际出发，集合展览的内容，虚实融合空间营造以体感交互为主，经过多轮的概念设计，总体从以下几个方面，

（1）虚拟角色模型

为了反映特定时代与兵器文化相关的内容，并能让观众有更加直观的认知，我们通过虚拟一个特定时期人物，让观众进行角色扮演（我们叫这个为“人物建模”），结合虚实融合的空间效果，使观众融入特定的情景中，来感受不同时期不同背景下的中国古代兵器文化。

这样的设定一系列人物角色，同时从自己的素材库中绘制或者选取人物画像，结合虚拟和现实的场景技术，才能达到满意的效果。在兵器馆互动大堂（见图1），游客站在体感设备指定区域（脚贴区域），伸出右手进行感应触发，体感设备感应到人体后开始游戏，系统设备对互动游戏者人脸进行采集，然后有多套相应主题服饰、武器（原始人、三国时期、秦汉时期、唐宋时期、明清时期）进行互动模拟换装，让互动游戏者参与进来游戏。

（2）情境再现

为了更好的观众融入展示的环境中，我们营造了许多场景，这些场景通过搭建一个符合展示内容要求的环境，让观众置身其中，给观众一个角色，并布置给观众一个特定任务，再创造有情节的角色，用故事的情节和虚实融合的环境给观众一种身临其境的感受。

如图2所示，在大堂入口墙面的交互设计，整个展项位于大堂入口处，地面设有红外感应装置区域，游客进入红外感应区时，装置识别后触发，前侧和右侧的墙体面就会有由两台投影机投射的影像画面，画面内容展示蓝天白云或风雨飘摇等背景下，一群白鸽扑打翅膀飞过，伴随着清脆的鸟叫声和锻造敲打兵器声效，配合大堂周围大型雕塑及古典建筑，营造一种神秘而庄重的现场氛围。

（3）展示场景效果的评估与反馈

在具体的设计中实施后，为了评估实际使用的效果，我们制作了一份指南，自行记录所需调查的相关设计问题。针对于体感交互产品的用户体验设计创新方法的研究，包括用户与虚拟场景的交互设计，用户界面设计，虚拟场景设计，虚拟角色设计等；然后再根据观众的反馈，针对体感交互自身的特点，进行调整。

在兵器馆中的漠南之战行场景中，重点兵种解析演示，开始设计时只是使用了沙盘和投影进行军路线的演示，该部分场景总体完成后，观众的反映并不理想，人们有办法融入其中，所以大多看看就离开了，后来得到反馈后，我们调整了设计的内容，在沙盘设置了漠南之战时的战争地图，在沙盘中用一个流动的箭头，表现出漠南之战的行军路线，配以文字介绍重点兵种的特点及优势，之后根据作战顺序会在底图上的相应位置播放残酷的战争场景的资料视频，配上战争厮杀中的音效。功能与应用：让游客体验到兵器的功能的同时兵器也给人类社会带来了强大的破坏冲击，让游客真实感受到战争的残酷。

结语

本次课题的研究是一项从理论研究到实践再到实践总结的过程。在整个课题的研究中，我们探讨了运用体感交互技术结合到传统的中国古代兵器博物馆的展示环境当中，并营造一个虚拟与现实融合展示环境中，通过捕捉肢体的动作，构建一种虚拟的场景和人物，让人与环境更自然地融合“交流”，从而增加了兵器博物馆的可玩性和互动性，提高了整体展示效果。在此基础上进行总结。

虚实融合环境下体感交互技术强调的可用性及观众体验的设计思想，比传统的墙上展示或板上展示更有优势，无论是基于网络的虚拟现实系统模拟互动平台的构筑，还是现实的环境设计系统，更注重人的感受和体验，可以更好的传达中国古代传统兵器文化信息。这或将成为未来的研究热点，也将在一定程度上促进我国展示环境设计的发展。

（作者单位：南京艺术学院工业设计学院）