第六感装置手势识别算法的研究

陈铸

摘要： 随着计算机技术应用的快速发展，人机交互的出现满足了人们很多需求。在这些人机交互方式里面最典型的一个例子就是第六感装置。手势识别是第六感装置的关键技术，本文利用图像处理来设计手势识别算法，它能识别出常用的静态手势和动态手势，将识别出的手势作为指令来控制应用系统。

Abstract： With the rapid development of computer technology， the emergence of human-computer interaction meets the requirements of many people. In the man-machine interactive way one of the most typical examples is the sixth sense device. Gesture recognition is the key technology of the sixth sense device. This paper， by using image processing to design the gesture recognition algorithm， it can identify common static gestures and dynamic hand gestures， to identify the gesture as instructions to control the application system.

关键词： 人机交互；第六感装置；图像处理；手势识别算法

Key words： the human-computer interaction；the sixth sense device；the image processing；gesture recognition algorithm

中图分类号：TP317.4 文献标识码：A 文章编号：1006-4311（2017）09-0100-03

0 引言

人机交互方式越来越多样，传统的人机交互方式主要是基于鼠标、键盘等外设的交互方式和基于触摸屏技术的交互方式。随着计算机技术的发展，人们开始不满足现有的人机交互方式，因此在这样的背景下出现了一些具有革命性的技术。比如VR，它是一种虚拟现实的仿真技术，它的核心技术是基于图像处理的手势识别算法。由VR衍生得到的第六感装置，更是把这种技术完美地阐释出来。 “第六感是一种便携式手势界面，尽可能的把物质世界的事物数据化，增强人机交互的便捷力，使得现实世界和数为世界的联系更为紧密”。第六感装置所用的基于图像处理的手势识别算法已然成为了当今世界人机交互技术的研究热点之一。

1 图像处理

图像处理的方法多种多样，包括图像灰度化、直方图、Kinect结构。图像灰度化中灰度图（Grayscale）是指只含亮度信息，不含色彩信息的图像，灰度图使用比较便捷。第一，RGB值相同；第二，图像数据索引值，也就是真实RGB的亮度值。

灰度直方图是数字图像处理中一个最简单、最有用的工具，灰度直方图（histogram）是灰度级的函数，它表示图像中具有每种灰度级的象素的个数，反映图像中每种灰度出现的频率[1]。在图像增强上面大多数采用直方图操作；灰度直方图的定义是：对于连续图像，平滑地从中心高灰度级变化到边缘的低灰度级[1]。其直方图可定义为：

如图1，是灰度直方图的展示[1]。（a为图像灰度轮廓线，b为其直方图）

如果所有灰度级集中在加大范围内则图像的动态取值相应扩大范围，反之亦然。

Kinect是一个人体动作感知设备，它的整体结构包括一个内置芯片、一个普通的RGB摄像头，能够采集镜头范围内的RGB图像，一个红外激光发射器和一个由红外CMOS摄像机组成的3D深度感应器，一个转动马达用于上下调整角度以及一组麦克风阵列可以用于语音识别。相比于前面提到的两者，Kinect可用于商业开发、包含手势识别和跟踪功能、可自动对齐深度图像和RGB图像，全身跟踪、关节旋转角度计算、支持记录/回放数据写入磁盘、支持原始红外视频数据流等优点[1]。

根据本文的研究内容，在手势识别图像处理中，本人选用Kinect来获取图像并进行处理。

2 第六感装置手势识别算法

第六感装置的手势识别方法是手势识别技术领域的一次突破，是指基于第六感装置所获取的彩色信息、深度数据和骨骼信息进行手势的识别。工作流程如图2所示。

静态环境下手势识别算法，首先利用Kinect相机获得图像的彩色、深度和骨骼数据，借助骨骼数据快速跟踪手部点，成功跟踪和检测手部掌心点后，利用右手掌点的Z坐标对深度图进行分割。分割条件公式如公式（3）所示[5]。

A（x，y）=0xff，Zhand-200

其中，A（x，y）标记该像素点是否为手部区域点，Z（x，y）表示像素点（x，y）处的深度值，Zhand表示掌心点的深度值。在彩色图像中显示ROI其它區域设置为0x00，如图3所示（图3中的（a）图为深度图分割出的手势，（b）图为转换到彩色图中的手势，（c）图为膨胀后的ROI，（d）图为ROI在彩色图中的显示）。

动态环境下手势识别算法，除了在正常环境下，本算法在一些干扰因素多的环境下测试出的结果也让人满意。根据本文方法在动态环境中进行了一系列实验：包括复杂背景下；使被测对象周围光照强度不同；以及被测对象做出旋转动作；从图4的识别结果five与彩色图像手势的对应得出，本文提出的静态手势识别系统在多种动态环境下都能够对人体手势进行改进识别[6]。

3 第六感装置手势设计

要对手势进行检测与识别，首先要对被识别物的信息进行处理并提取特征点，然后通过所获取的信息拟合出实际手势。手势特征提取用于强化手势信息，去除干扰和噪声。由于Huough是一种估计直线参数的方法，它能够检测到直线不连续的情况，而且对图像的噪声点不敏感，所以这里我们用Hough来检测手势。

（Hough变换利用图像空间和Hough参数空间的点-线对偶性，把图像空间中的检测问题转换到参数空间）[8]。通过在参数空间里进行简单的累加统计，然后在Hough参数空间寻找累加器峰值的方法检测直线[8]。直线y=kx+b在极坐标中的表示为=xcos+ysin，其中（，）定义了原点到之间的垂直量。在极坐标系中，xy平面上的任一条直线与，空间中的点一一对应。我们假设xy平面上的一条直线对应的极坐标系中的（0，0）点，对每个需要检测的点做空间变换，在计算所有的（i，i）进行增量，当对所有的点进行这种操作之后，（0，0）将是局部最大值。只要找到该空间的最大值就可以获得这些点构成的直线参数， Hough变换检测直线可分为以下三个步骤：

①先假设一个二维数组的下标与i、i的取值相对应，给和的取极值范围并分别对其进行m，n等分；

②用Hough对图像上的所有边缘点进行变换，并求出各经过Hough变换后的i、i，判断（i，i）与哪个数组元素对应，则把该数组元素值加l；

③比较数组元素值的大小，（i，i）对应了max，并且是这些共线点对应的直线方程的参数，它们的共线的表达式为：i=xcosi+ysini。

对于和量化过大，直线参数不精确，这样会加大工作量。因此，对于和的具体化要兼顾准确度度和计算量。在进一步得到被识别手势的左右边界点后，对其进行线性回归，得到平滑、连续的被识别手势边界。这时就可以根据边界直线计算出被识别手势中心线。设（m0，n0）为被识别手势左边界上的点，（m1，n1）为相应的右边界上的点，被识别手势的中心线通过两个车道直线夹角的平分线求得。之后可求得需要被识别手势的宽度：

m0-m1（4）

当找到被识别手势边界的位置后，手势进入跟踪状态。这时算法转入跟踪识别模块阶段，它只需要在感兴趣区域对被识别手势边界进行识别即可。被识别手势跟踪算法其实就是被识別手势检测算法，它是根据前一次识别出的被识别手势边缘线，动态的调整感兴趣的区域范围，从而提高被识别手势识别的实效性。跟踪算法可以利用前一识别过程得到的被识别手势边界参数来预测。这样就可以把对被识别手势边界的识别限制在一个较小的范围内，即所谓的感兴趣区域。具体算法如下：

①通过对上一帧被识别手势图像分析得出被识别手势边界线的感兴趣区域。

②根据被识别手势左右边界点分析得出被识别手势中心点，以此拟合出被识别手势中心线。

③找到手势与中心线的位置以及角度的偏差。

如图5所示，感兴趣区域在整个图像中占的比例不大。一幅640 X 480的图像所取的感兴趣区域往往放大比原来图像的3倍，这样放大处理区域，处理速度在一定程度上有较大的提高。

4 结束语

本文首先从图像处理出发，针对图像灰度化、直方图和Kinect结构进行了介绍和分析。接着针对现有的手势识别技术进行分类，本文分别介绍了基于图片处理的手势识别系统的工作原理和流程，然后介绍了基于第六感装置手势识别算法，包括静态环境下手势识别算法、动态环境下手势识别算法以及特征提取。最后一步就是第六感装置的设计。其中包括第六感装置设计的手势图像模型库阈值的选取以及被识别手势边界线跟踪。第六感装置在总体识别效率上比较完备，但对于算法精度要求更高的如应用于人机交互嵌入式平台，需要改进完善的地方还有很多，这也是未来继续研究的方向。

参考文献：

[1]孙树森，马文娟，桂江生，等.基于第六感装置的《互动应用开发》课程开发探究团[J].中国校外教育，2012（30）：161-165.

[2]宋诗超，禹素萍.基于Kinect的三维人体建模与测量的研究[D].东华大学.

[3]SakoeH，recognition Chiba S Acoustics Dynamic programming algorithm optimization for spoken word，Speech and Signal Processing[J]. IEEE Transactions on， 1978， 26（1）：43-49.

[4]潘松，黄继业，王国栋.现代DSP技术[M].西安：西安电子科技大学出版社，2014：5-16.

[5]孔凡震.基于视觉的静态手势识别算法研究[D].兰州交通大学，2009.

[6]常压南.基于HMM的动态手势识别[D].广州：华南理工大学，2012.

[7]李瑞峰，吕开元.基于图形变成技术的服务机器人人机交互系统的研究[J].制造业自动化，2013，25（3）：40-43.

[8]程萌萌，林茂松，王中飞.应用第六感装置手势识别与视线跟踪的智能教学系统研究[J].中国远程教育，201（5）：59-64.