基于多通道sEMG小波包分解特征的人手动作模式识别方法

，， ，， ，，

(浙江工业大学 机械工程学院，杭州 310014)

0 引言

表面肌电信号(surface electromyographic signals, sEMG)是肌肉收缩过程中，大量运动单位动作电位(motor unit actionpotential，MUAP)经肌肉、皮下组织和皮肤的传导叠加，最终反映在皮肤表面的综合电效应[1]。sEMG具有易于拾取且无创伤性的特点，所以近年来被广泛研究用以评估肌肉的运动状态从而实现对人体主动运动过程的解析[2]。相关研究应用除了在医疗康复训练方面取得的一些显著成果外[3-4]，已逐渐发展到更广泛的手势识别和人机交互领域[5-8]。基于sEMG的人手动作模式识别的主要工作就是研究从表面肌电信号中辨识手的动作模式，即sEMG的特征提取与动作模式识别。Alan Smith等提取手臂4通道sEMG信号的AR特征，使用高斯分类器识别4种手部动作，准确率达到90%[9]。Pingao Mei等人将时频特征与Elman神经网络相结合分析肌电信号，对伸腕、屈腕、展拳、握拳4种动作进行分类，平均识别准确率可达92.5%[10]。Al Omari等人以小波系数能量为特征采用泛化回归神经网络(GRNN)进行手部多模式识别，识别率达94%[11]。Futamat等人利用SVM法对4通道表面肌电信号进行模式识别，识别率达到了95.59%[12]。Naik等使用4通道sEMG和孪生支持向量机方法成功对7种手势及腕部弯曲动作进行了分析，得到了平均84.83%的分类敏感度[13]。

准确性、多样性和实时性是实现康复训练和人机交互等复杂应用的必要条件。现有研究表明，虽然目前基于sEMG的手部动作模式分类器对简单动作的识别率已经达到了比较高的水平，但在识别多样性和实时性方面仍需改善。本文提出了基于多通道sEMG小波包分解特征的BP神经网络手指动作模式分类方法，对包括手指动作、手势变化和腕部动作在内的9种手部动作sEMG进行小波包分解并提取特征，通过实验方法对比不同隐含层BP神经网络分类器的性能，确定了最优分类器结构。设计的分类器平均识别率可达93.6%，输出延时时间小于150 ms，能够满足手部运动康复、智能假肢等应用的实时性要求。

1 前臂多通道sEMG信号采集

1.1 sEMG采样系统

本文使用的sEMG信号采集仪具有10位A/D转换精度，采样频率500 Hz，与上位机通过USB接口通讯，最大可以同时采集12路通道的sEMG信号。采样电极为自主设计可重复使用的Cr17材质无源表面干电极，每个采样通道使用3电极式差分输入，可以最大程度减少采样环节引入的共模干扰，保证采样信号的真实完整，采样设备如图1所示。

由于待识别动作数量和电极位置组合形式多样，仅凭经验选择电极位置和采样通道数的常规方式并不严谨。为了降低主观因素干扰，本文使用信噪比作为评判衡量采样通道信号质量的客观标准。采样方案筛选阶段，逐一记录下预设的47个采样点在9种动作下的sEMG信号，计算各采样点原始sEMG的活动段信号能量与非活动段信号能量的比值作为该通道信噪比，选取信噪比综合排位最高的5个采样点构成最终的电极布局方案。对照人体前臂肌群解剖图，其中4个采样电极环形布置在前臂中段指总伸肌、尺侧腕伸肌、拇长展肌、尺侧腕屈肌、指深屈肌相关区域，另外1个采样电极布置于前臂中前段拇长屈肌位置。

1.2 sEMG数据采样

为了保证手部动作的规范一致，受试实验人员都经过一定时间的练习。每种动作都以“放松”-“动作”-“放松”的形式循环进行，动作和放松时间都是1～2秒，每组测试持续1分钟时间，组间休息时间不小于3分钟。图2所示为“握拳”动作时的5通道sEMG原始信号。为了考察各采样通道信号频域细节，采用welch法估计各通道信号的功率谱密度。“握拳”动作5通道信号的功率谱密度如图3所示，其中实线为活动段sEMG信号功率谱，虚线为非活动段sEMG信号的功率谱。由活动段数据曲线可以看出sEMG信号的主要频率集中在20～300 Hz之间。由非活动段数据曲线可知，各类噪声干扰的频段分布比较均匀、能量较低。5个通道的曲线有明显差异且排列有序，可以比较直观的反映采样通道的位置选择与动作的内在关联性。图形数据表明所采集的sEMG信号的总体质量良好，特异性比较明显，有利于后续特征提取和模式识别的顺利进行，也表明以信噪比筛选采样通道方案的设计合理性。

图2 原始sEMG信号(握拳) 图3sEMG功率谱密度(握拳)

2 小波包分解特征提取与动作标签制作

2.1 小波包分解特征提取

sEMG本质上是一种非平稳生物电信号。小波包变换是在小波分析理论基础上发展而来的信号分析方法，具有多尺度分析能力和良好的时频局部化特性，能够提供比小波变换更高的时频分辨率，非常适合分析非平稳信号的瞬态和时变特性。小波包变换包括小波包分解和小波包重构两个过程。

小波包分解算法为：

(1)

小波包重构算法为：

(2)

M(x)=-∑jPjlgPj

(3)

图4 2层小波包分解树

在经过2层小波包变换后，原始肌电信号f(t)被分解成为4个不同频段分量，如图5所示，分解效果不仅可以反映原始信号的频域细节信息，而且通过分解系数重构的信号叠加后和原始信号保持一致，充分体现了分解系数对原始信号信息的还原能力。因此提取不同动作模式下肌电信号的小波包分解系数作为特征，可以为多样性模式辨识提供良好的条件。

为了便于提取蕴含在sEMG信号中的特征信息，本文对连续sEMG信号进行了分割处理，采用滑动窗口法将连续数据流分割成数据片段。对每个采样通道的每段数据应用2层小波包分解获得4个系数，再将5个采样通道的系数合并成为一条120的特征向量。为了保证特征向量的代表性和多样性，对每个动作截取连续的10 000条特征向量参与后续分类器的训练和验证实验。

图5 2层小波包分解细节和信号的重构

2.2 sEMG信号包络线提取

为了能实现特征向量所属动作类型标签的自动添加，需将对应的原始信号划分为“活动段”和“放松段”。从图2可以看出，由于各通道sEMG信号波形具有动作同步性，本文提出了先将各通道信号进行绝对值求和处理，再经过低通滤波方式获取sEMG信号包络线的方法。该方法能够最大程度融合各通道的采样信息，保证对所有通道信号的包络效果。滤波器采用3阶切比雪夫滤波器。包络线的计算解析式为：

(4)

其中:x(n)是原始信号，ak和bk是滤波器参数。图6为经过延时修正的“三指对捏”原始信号包络曲线。可以看出该方法提取的包络线可以很好地贴合原始信号的轮廓，为后续制作动作标签提供了便利。

图6 表面肌电信号包络线(三指对捏)

2.3 动作标签制作

从图6可以看到，表面肌电信号包络线的“峰”和“谷”对应的正是每个动作采样过程中的“动作”与“放松”。所以通过合理设置阈值即可将包络曲线转换成二值状态信号。如图7-a所示，传统的单一阈值法对状态转化的划分效果并不理想。由于信号在状态转换过渡区域必然存在较大波动，极易引起输出的反复越限，从而触发状态信号的错误翻转。为了解决这一问题，借鉴滞回比较器工作原理，采用双阈值法获取状态转换信号S(t)：

(5)

阈值参数th_H>th_L，在程序算法里对y(t)的变化趋势进行跟踪，仅当数据上升过程穿越上限th_H或下降过程穿越下限th_L才会触发状态信号翻转。如图7-b所示，通过合理设置两个阈值的数值，有效改善了状态信号翻转误触发情况的发生。

图7 动作状态转换信号S(t)

如表1所示，本文拟识别的9种手部动作包括“多指复合动作”、“手腕动作”和“放松动作”三类，其中多指复合动作又细分成“抓握动作”和“精准手势”两部分。

表1 手部动作类型表

如表2所示，为了便于计算机运算和识别，9种动作被定义为9位二进制编码形式的动作标签。每种动作对应一个二进制位，“1”代表有动作，“0”代表无动作。程序设计利用状态转换信号S(t)对每种动作下的10000条特征向量自动添加所属动作类型的标签，从而完成所有参与分类器训练及测试数据的准备工作。

表2 手部动作标签编码表

3 实验与结果分析

3.1 BP神经网络分类器设计、训练

人工神经网络作为一种对数据分布无特殊要求的非线性技术，能够有效解决非正态分布、非线性的评价问题。BP神经网络作为人工神经网络中比较成熟一种网络模型，能够通过调整权重和阈值来“学习”或发现变量间的关系，实现对事物的分类，所以在模式识别、图像分析与处理、控制等领域都有着广泛的应用。

表3 17个隐含节点的BP神经网络分类器输出混淆矩阵

本文采用3层BP神经网络的分类器设计方案。每种动作使用10 000条特征向量参与分类器的训练与验证，训练与验证的样本不重叠，比例为6:4。输入节点20个，输出节点9个。由于参与训练的样本数量较大且特征向量维数较高，为了加快收敛速度，提高训练效率，在对比不同算法的实际效果之后，确定采用量化共轭梯度算法进行分类器训练。训练结果的分类效果可以通过如表3所示的混淆矩阵定量显示出来。表3所示的是17个隐含节点的BP神经网络分类器的分类结果。混淆矩阵的每一行代表分类器对某一动作实际分类的正确与错误的样本分布，每一列代表原始标签样本被正确或错误分类的分布情况。例如，表3的第一行表示分类器将1 793个样本正确分入“三指对捏”模式，将52个“握拳”样本、13个“松弛”样本错误分入“三指对捏”模式，分类器输出的准确率为96.5%。第一列表示标准的“三指对捏”样本中有1 793个样本被成功分类，另有106个样本被分类器错分入“翻腕”模式，42个样本被错分入“松弛”模式，标准“三指对捏”样本的分类准确率为92.4%。

为了找到最佳的隐含层节点数的配置方案，实验共建立了27个分类器模型，分别针对4-30个隐含层节点的分类器进行训练。统计结果显示：1)隐含层节点数的变化对分类器分类识别率的影响并不明显，也没有体现某种趋势或规律。2)除了个别隐含层节点数太小训练失败以外，多数超过10个隐含节点的分类器的平均识别正确率维持在90%以上。当隐含节点为17时平均识别率达到了最高值93.6%。3、9种手部动作的单项识别率存在较明显差异。如表3所示，三指“OK”模式的识别率是98.5%，单指“指示”模式的识别率仅有83.3%。分析原因在于手部动作的可分性与动作的细节差异程度有关。在选择采样方案时更多考虑的是各通道对多种动作模式的综合信噪比，均衡评价的结果容易导致仅对个别动作贡献度较大的采样通道落选。因此对识别率明显过低的动作识别，可以考虑增加采样点补充信息或是提高对既有数据的特征提取细分程度。

本文采用的肌电信号采集仪信号转换及传输延时小于2 ms；特征提取过程采用的是64个采样点的短窗，延时时间小于ms，其中为采样周期。特征的提取算法简洁快速，单条特征向量提取耗时小于20 ms,基于BP神经网络的分类器分类时间小于5 μs/次，所以从表面肌电信号采集到模式识别输出的总延时小于150 ms。因此本文提出的方法可以满足主动康复训练和普通人机交互控制领域的实时性要求。

4 结论

1)提出一种以采样通道信噪比为评价标准的采样方案优选方法。依据多种动作模式下候选采样点sEMG信号的综合信噪比排序确定采样电极的位置和采样通道数，最终确定的5通道采样电极的布局方式在简化通道数的同时保证了高质量sEMG信号的拾取。

2)提出一种检测多通道sEMG信号状态转换的快捷方法，不但能有效降低活动段检测错分率，而且能够自动依据状态转换信号完成对特征向量动作标签的添加，降低数据样本制作的时间和成本。

3)设计了以sEMG信号小波包分解系数为特征，基于BP神经网络的手部动作多模式分类器。实验对比了多种训练算法和不同分类器结构对分类效果的影响，最终完成了对9种手部动作识别的分类器设计，平均识别率达93.9%，延时小于150 ms。

参考文献：

[1] DE Luca C J, Adam A, Wotiz R, et al. Decomposition of surface EMG signals[J]. Journal of neurophysiology, 2006, 96(3):1646-1657.

[2] Frigo C, Crenna P. Multichannel SEMG in clinical gait analysis: a review and state-of-the-art[J]. Clinical Biomechanics, 2009, 24(3): 236-245.

[3] Sugar T G, Ping H J, Kleneman E J, et al. Design and control of RUPERT: a device for robotic upper extremity repetitive therapy[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2007, 15(3):336-346.

[4] Perry J C, Powell J M, Rosen J. Isotropy of an upper limb Exoskeleton and the kinematics and dynamics of the human arm[J]. Applied Bionics and Biomechanics, 2009, 6(2):175-191.

[5] Hargrove L J, Scheme E J, Englehart K B, et al. Multiple binary classifications via linear discriminant analysis for improved controllability of a powered prosthesis[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2010, 18(1):49-57.

[6] Ong SCW, Ranganath S. Automatic sign language analysis: A survey and the future beyond lexical meaning[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2005, 27(6):873-891.

[7] Matsubara T, Morinoto J. Bilinear modelling of EMG signals to extract user independent features for multi-user myoelectric interface[J]. IEEE Transactions on Biomedical Engineering, 2013, 60(8):2206-2213.

[8] 李 云. 基于肌电模式的中国手语识别研究及康复应用探索[D]. 合肥:中国科学技术大学, 2013.

[9] Smith A, Brown E E. Myoelectric control techniques for a rehabilitation robot[J]. Applied Bionics and Biomechanics, 2011, 8(1):21-37.

[10] 梅品高, 罗志增. 基于小波包分析和Elman网络的肌电信号处理[J]. 机电工程, 2008, 25:7-10.

[11] Al Omari F, Hui J, Mei C, et al. Pattern Recognition of eight hand motions using feature extraction of forearm EMG signal[J]. Proceedings of the National Academy of Sciences, India Section A: Physical Sciences, 2014, 84(3): 473-480.

[12] Futamata M, Nagata K, Magatani K. The evaluation of the discriminant ability of multiclass SVM in a study of hand motion recognition by using sEMG[A]. Engineering in Medicine and Biology Society (EMBC), 2012 Annual International Conference of the IEEE[C]. 2012:5246-5249.

[13] Naik G R, Kumar D K, Jayadeve. Twin SVM for gesture classification using the surface electromyogram[J]. IEEE Transactions on Information Technology in Biomedicine, 2010, 14(2): 301-308.