智能手势识别技术下的景区导览系统设计研究

杨丽

关键词：导览系统 RealSense 手势识别 颜色空间 点云构建

引言

景区导览装置是帮助游客获取景点详细信息最重要的手段之一，对游客起着重要的导向作用，然而目前大部分景区的导览系统都是基于平面导视图或通过智能手机端进行景点信息推送的形式，由于景点信息复杂多变，大部分景区的导览系统缺乏创新性、导览装置缺乏局限性和精确性，导致游客体验感欠佳的问题。文章通过阅读相关文献后发现，并总结出国外的景区智能导览装置主要分为定位类型和讲解类型。讲解类型主要运用在语音系统软件上的交互设计应用，游客通过系统的讲解来获取景点的各项信息;定位类型主要为游客在景区提供定位服务，给出合理的规划路线，通过定位服务给游客提供更多的信息指示。国内的景区智能导览装置主要采用数字化技术进行导览，其中包括多媒体影视技术、全息投影技术、增强现实技术（AR）、虚拟现实技术（VR）以及多点触技术，其均可以结合智能手机运用。

经过系统性的文献调研后发现，目前将智能手势识别技术应用到景区导览系统的设计研究中极少。文章提出将RealSense深度相机手势识别技术运用在景区导览系统的设计中，以YCbCr颜色空间肤色算法将获取手势图像后进行边缘修复，通过实验得出该技术具有可行性的结论后，再结合空间三维环境点云系统的单目摄像机以及采集端信息传感技术，扫描并重构景区中某景点的图像，同时匹配景区数据信息管理平台上的数据，在导览装置屏幕上输出景点的各类信息和最终图像结果，完成一套智能手势识别技术下的景区导览系统的设计方案。

一、景区智能导览装置

（一）景区智能导览装置简单介绍

景区的导视系统最主要的功能是向游客提供各景点的相关信息，新型的交互技术使得导览装置向智能化方向发展，从单一的导览图文和人工讲解，到逐渐兴起的智能数字化导览装置，其中主要的智能化体现在以APP为主的线上入口、语音识别、增强现实技术（AR）、虚拟现实技术（VR）、多点触摸、3D识别、人体捕捉等技術。如今导视系统的设计形式也越来越丰富和多元化，技术上的突破性进展不仅为游客带来了更多优质的交互体验，也逐渐改变了人机交互的方式。

（二）基于手势识别技术的导览装置

手势与语言一样都属于人类最自然的交流方式，手势最重要的作用在于能够将人的物理动作描述成无声的语言交流，尤其是与语言不通或者是聋哑人群交流时，手势就成为了他们最重要的交流方式，因此手势识别技术不仅使普通人能轻松操作各类科技设备，还能给残疾人、老年人等特殊群体带来更多使用上的便利。随着传感器技术的发展，越来越多的场景选择通过手势识别的方法来获取人们的动作数据，从而达到人机交互的目的。

手势识别技术一般应用于人体的脸部及手部的运动，是计算机对人体手部运动进行的解释，其利用感知的计算方式，通过传感器和某种编程算法让人们通过手势识别对控制设备执行命令。文章提出将手势识别技术运用在景区导览系统的设计方案中，游客在景区中使用手部动作与导览装置设备进行人机交互行为，从而达到快速识别景区中各地点的精准信息的目的。

二、基于RealSense的手势识别技术的运用

目前智能手势识别技术在导览装置中的应用主要分为三种类别，分别为：二维手型识别技术、二维手势识别技术、三维手势识别技术。其中前两种是基于二维平面的等级，主要应用于识别静态手势技术中，在应用过程中只需要使用单个摄像头便能捕捉到图像，通过计算机最终输出结果来实现手势识别过程，输出的结果就如平时拍照所得的照片一样。而三维手势识别技术能捕捉到动态手势，具有手势跟踪的技术，能捕捉到手势的纹理、位置、运动轨迹等深度的信息，普遍应用于复杂的人机交互设计中，例如增强现实技术（AR）、虚拟现实技术（VR）等智能交互设计，给使用者带来丰富的体验，如表1。

1. RealSense的手势识别技术

RealSense是Intel开发的一种3D实感技术，专门用于人和机器进行“沟通”的技术，它是一种为硬件设备添加和人类相似的感官系统进行的创新技术[1] 。作为一款采集环境深度信息的体感外设的3D摄像机，其具有与Kinect一样的三维手势识别技术。RealSense3D实感摄像头是全球首款结合2D镜头模块和3D深度的设备。文章使用的RealSense D415/D435的3D摄像头组件主要包括左红外相机、红外点阵投射器、右红外相机、RGB相机，如表2。

文章应用RealSense深度相机的传感器技术获取环境中人手部的深度图像信息跟踪人体骨骼，通过YCbCr的颜色空间过滤皮肤阈值的算法，提取景区中感应到的游客的手部信息并加以修复形成模型，再将采集的手势图像形态以及传达的手势信号进行特征分类，最后传至景区导览系统中。以无接触、即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等便捷的功能进行手势识别达到人机交互的效果。

2.基于视觉感知的手势识别导览装置

视觉是人们获取外界信息最重要的感官之一，在导览装置中，视觉感知的程度直接影响游客使用导览装置的满意度。因此文章提出利用手势识别技术的导览系统设计必须符合人体工程学的尺寸，还需充分考虑人眼可识别的导览装置和手势识别设备的范围与距离。并且在针对于视障、儿童、乘坐轮椅等特殊人群时，需考虑其视线范围与正常站立的人群的距离之分。文章应用RealSense Depth CameraD415/D435设备的手势识别技术提取游客的手势图像工作是由于其具有全局快门感应器，能同时采集到多人动态图像。RealSense系列的摄像机能捕捉的最远距离可达10m，并且在户外的阳光下也可以利用，均支持输出1280×720分辨率的深度画面，视频传输方面也可达90fps，还能识别X、Y、Z三轴中任意旋转、偏移、滚动等动作。因此RealSense系列的摄像机在景区中能精准地识别人体的手部深度图像信息。