基于神经网络空时特征提取的动态手势识别

林智伟，朱文章，陈 浩

(厦门理工学院光电与通信工程学院，福建 厦门 361024)

0 引 言

人机交互是近年来广泛研究的热点之一，基于手势识别的交互方式也越来越受到关注[1]。经过不断的发展，基于视觉的手势识别具有多种方法。传统的有基于数据手套的方法，在实际应用中佩戴繁琐，携带不便，且硬件成本高，人机交互的局限性较大。基于模板匹配方法[2]可以提取视频数据集的特征信息，再与已经定义的模板进行匹配后识别，存在的缺点是难以客观地提取行为特征。Parcheta等人[3]用隐马尔可夫模型进行了手势识别的研究，在自采集的91个手语词汇的数据集上的识别率为84.6%。Mohanty等人[4]基于单目摄像头来做动态手势识别的研究，提出了基于卷积神经网络来做手势识别的方法，但该方法适合于二维静态手势动作。Molchanov等人[5]使用R3DCNN对视频中的动态手势进行检测和分类。Wu等人[6]通过3D卷积神经网络实现动态手势识别，并在2014ChaLearn的手势数据集上进行验证取得了不错的效果。

基于视觉的算法在智能视频监控、智能人机交互、虚拟现实[7]等领域应用广泛。研究基于视觉的动态手势交互方法具有重要的实际应用价值，提高了使用的智能化水平[8]。虽然基于2D卷积神经网络在图像上取得较好的特征提取和分类的效果，但是对于视频中的动态手势动作的长序列图像的处理还存在不足。基于3D卷积神经网络虽然能够处理序列问题，但是计算复杂度高。鉴于2D卷积神经网络有提……