时空特征与通道注意力融合的视觉手势识别技术

何 坚，刘 炎，祖天奇

(1.北京市物联网软件与系统工程技术研究中心，北京 100124；2.北京工业大学信息学部，北京 100124)

近年来，手势识别技术在体感游戏、手语识别、辅助驾驶及智能家电控制等领域应用广泛.由于手势在人机交互中的重要性，手势识别系统的研究一直是人们关注的焦点.根据文献[1]的调查，自然手势的表达大多是动态的，通过人体手部和上半肢协调运动来完成.因此，动态手势相比静态手势在手势表达中更为重要.

文献[2-3]中对近年来的一些动态手势识别方法进行了总结.例如，Adewuyi等[4]结合手指和手臂肌肉的肌电图数据对手部抓握和手指动作进行分类；Huang等[5]通过双通道方法融合人体手部加速度、角速度及肌肉电数据，再结合K邻近(K-nearest neighber,KNN)算法识别手势；田元等[6]使用Kinect体感设备获取人体的骨骼信息和深度图信息，结合骨骼关节点位置及手指特征对手势进行实时识别.

上面提到的一些工作为了达到更好的识别效果使用了不止一种模态信息，这种情况称为多模态方法[7].它们通常结合颜色信息(RGB格式)、深度图信息和骨骼关节点信息来检测识别手势.这种多源信息，如深度图和骨架关节，积极补充了颜色信息，有助于手势分类[8]，然而除RGB以外信息的获取，通常需要特定的传感器，如微软的Kinect、华硕Xtion Pro或英特尔的Realsense3.这种对特定传感器的依赖导致对交互环境的限制，影响手势的自然表达.相反，基于RGB视频数据的动态手势识别技术具有使用方便、成本较低……