基于深度学习的中国标准手语视频分类方法

雷明焕 何高明

（梧州学院 广西壮族自治区梧州市 543002）

根据第六次全国人口普查我国总人口数，推算2010年末我国残疾人总人数8502万人。其中听力残疾2054万人；言语残疾130万人[1]。面对如此巨大的残疾人基数，我国积极推出政策以帮助残疾人更快更好融入正常生活，其中科技部着力推进助残、惠残产品研发，通过“主动健康和老龄化科技应对”和“生物医用材料研发与组织器官修复替代”重点专项，部署开展康复辅助器具、人工组织器官修复材料等研发[2]。积极响应国家号召，研究为辅助残疾人与正常人群之间的简便手语交流，基于深度学习技术开发设计用于聋哑人辅助的中国标准手语视频分类方法，构建手语使用者与正常人群体的简便日常交流方案，意义非凡。手语“你好”语句例图如图1所示。

图1：手语“你好”语句例图[3]

手语识别分类问题可归类为连续动作的识别问题，国内外学者对此展开有较多的研究，其中多以穿戴设备方法为主。例如刘闯闯等[4]，依靠2个肌电信号采集传感器和1个六轴陀螺仪传感器构建姿态数据采集装置，最终结果为单词（字）平均识别率97.6%。曹书敏[5]，提出了一种基于IMU惯性传感器的可穿戴设备的手势识别系统，通过手部动作加速度量识别动作，其实测数据平均识别率为91.75%。Zin Thi Thi等[6]，运用深度相机从UV视差图中提取帧深度信息来定位人，通过DMA(Depth motion appearance)信息来训练SVM分类器，最终可在120帧的视频中对单帧动作识别平均识别率为98.3%。梁鹏[7]使用微软Kinect智能摄像机设备捕获提取人体骨骼特征，将连续动作序列切割为单帧静态动作，基于静态K均值算法对这些特征进行聚类，选择隐马尔可夫模型进行姿态识别，最终对四类特定动作的平均识别率为93.75%。……