表面肌电信号的多流卷积网络融合手势识别方法

谷学静 沈 攀 刘海望 郭 俊 位占锋

1(华北理工大学电气工程学院 河北 唐山 063210)2(唐山市数字媒体工程技术研究中心 河北 唐山 063000)3(华北理工大学轻工学院电气信息学院 河北 唐山 063000)

0 引 言

在人机交互领域中，手势识别技术是一个非常重要的技术，尤其是随着计算机技术、人工智能的发展，人们对于高效、便捷的交互方式的需求也变得更加迫切。手作为人体最常用和灵巧的部位，如何提升手势识别的准确率以获得更加自然的交互方式就显得尤为重要。就目前而言，基于手势的研究方法主要分为两大类。一种是基于机器视觉的方法[1]，通过RGB相机、深度相机、红外相机等设备获取手部姿态的图像作为输入，比如李明东[2]采用HSV肤色模型区域检测技术可以识别13种手势动作类型，杨萍萍[3]采用Kinect设备获取手部的深度信息进行研究，可以识别24种手势类型，识别准确率可以达到90%。基于视觉的手势识别的缺点也非常明显，容易受到遮挡、光照、环境等因素的影响。另一种则是基于表面肌电信号的研究方法，表面肌电信号是一种人体生理信号，当人体肌肉进行动作的时候，肌肉通过伸缩产生一种微弱电信号，是多个运动单元发放的动作电位序列在皮肤表面呈现的时间上和空间上综合叠加的结果[4]。如图1所示，MU为单位动作电位，不同手势动作所产生的电信号类型是不同的，肌肉力度越大所产生的信号幅值越大，从时间上看，一般在手势动作前的30 ms～150 ms就可以产生[5]。因此，如何利用肌电信号进行特征提取，是手势识别技术的关键。

图1 运动单元动作电位序列(MUPT)

SEMG信号受环境因素的影响较小，已经广泛应用于医疗、康复和人机交互领域[6]。目前，基于SEMG的研究已经取得了很大的进展，Naik等[7]通过采集到的手臂EMG信号，并提取信号的分维数特征，采用支持向量机的方法对手部动作进行分类，达到了较高的识别率。Zhang等[8]在EMG信号的基础上加入了手部运动的加速度数据，融合两种信号特征，可以有效地提升手语识别的准确率。在深度学习方面，Geng等[9]提出了一种GengNet的卷积神经网络模型用于端到端的肌电手势识别，其性能优于传统分类器模型的手势识别方法，证明了卷积神经网络在肌电手势识别领域具有一定的优势。Zhai等[10]提出的卷积神经网络在NinaPro稀疏多通道肌电数据集上取得了78.9%的准确率。周旭东等[11]通过对原始信号进行时频域信息拓展，提出两类组合RNN网络架构处理多流信号，实时准确率可达90.78%。鲍磊等[12]针对四路表面肌电与三轴加速度提出融合SEMG和加速度的方法，在6种手语识别准确率达到91.2%。

为了进一步提升手势识别准确率，本文在CNN基础上提出一种多流卷积融合的深度学习方法，在数据集SIA_delsys进行实验验证，并且与传统机器学习算法对比，取得了良好的效果。

1 基于表面肌电的手势识别方法

对于手势识别而言，其本质属于模式识别的分类问题，通过提取不同手势动作过程中所产生表面肌电信号特征，选择合适的机器学习分类器进行训练，最终达到识别手势分类的目的。根据分类器模型和提取特征方式的不同，表面肌电的手势识别方法可以分成基于传统机器学习和深度学习两种方法。

1.1 传统机器学习方法

首先对肌电信号进行预处理，预处理常用的方法包括滤波和降噪等，然后采用滑动窗进行采样[12]，分割数据样本，分割的过程中对信号时域、频域或者时频域特征进行提取，将提取出的信号特征采用PCA(主成分分析法)、SVD分解等方法进行降维[13]，最后送入分类器模型进行训练，完成手势识别的研究。整体过程如图2所示。

图2 基于传统机器学习手势识别框架

1.2 深度学习方法

在深度学习方法中，不需要人为来提取肌电信号特征，而是将肌电信号作为图像输入到神经网络中，通过卷积网络对肌电图像进行特征提取，逐层地抽取出该肌电信号的特征信息。随着网络深度不断加深，能够提取出更具有表征能力的肌电信号特征，替代了手工提取肌电特征的繁琐步骤，同时能够对所选择的特征进一步优化，最终实现端到端的手势识别。深度学习方法处理肌电信号进行手势识别的整体框架如图3所示。

图3 基于卷积神经网络的有监督手势识别框架

可以看出，肌电信号经预处理后转化为肌电图像，通过卷积网络对图像进行特征提取，将手势标签和特征进行有监督的训练[3]，训练得到的模型用来预测输入的肌电信号的类别，进行手势的分类，进一步完成相关的控制和决策。

2 多流卷积下的手势识别

2.1 多流卷积神经网络

卷积神经网络通常由输入层、卷积层、池化层、全连接层和输出层构成[1]。卷积实质就是把一幅图像经过卷积核进行特征提取，卷积核的大小决定了局部感受野，通过与每个神经元的权值共享，获得每幅图像有效特征信息的同时，减少参数的数量，通过卷积层的下采样进一步减小图像的大小。针对手部运动信息的特征，如何对其产生的肌电信号进行有效的表征，是研究动态手势识别一个核心的问题。为了避免手部运动产生数据的特征被弱化，考虑将多种具有代表性的数据信息分别送入卷积神经网络进行特征提取，这样将会大大提高数据间的联系。然后通过特征融合网络，将每个卷积流的数据在特征层融合，最后送入分类器，完成手势动作的识别。

2.2 手势肌电信号的多流表征

将采集到的肌电信号进行多流表征是构建多流卷积神经网络的前提，受到Zhang等[8]对前臂肌肉群区域与手语动作关系研究的启发，考虑不同肌群与手势动作之间的对应的关系，对前臂肌群产生的肌电信号进行多流表征，将一个原始肌电信号图像划分为子图像进行多流表征，输入到多个卷积神经网络的分支中去进行建模，实现肌电信号的多流卷积操作。主要过程可分为多流表征、多流卷积、网络融合三部分。首先对每一帧采集到的原始信号图像进行分解，设采集到的肌电原始图像大小为w×h，每幅图像x∈Rw×h，将一幅原始图像进行分解操作D(x)，那么如果要得到N幅子图像，则子图像表示为式(1)。

(1)

(2)

然后，对这分解后的N幅子图像分别进行建模，构建卷积神经网络，每个卷积神经网络分别对这几个子图像进行特征提取，得到不同的特征Mi，可以表示为式(3)。

(3)

Yout=hw(M1，M2，…,MN)

(4)

2.3 网络融合结构

网络融合结构是一种基于特征层的融合方法，经多流表征的肌电图像分别送入卷积神经网络层，得到N个分支的深度特征送入网络融合层进行特征融合。融合过程如图4所示。

图4 多流卷积的网络融合结构

在图4中的网络融合结构中，主要分为两个单元，FF单元是特征融合单元，AU表示特征分析单元，FF单元主要把多分支的N个特征进行拼接，分析单元AU主要由两个全连接层和Softmax层构成。隐含单元的神经元个数分别为1 028和128，中间应用ReLU激活函数来进行批归一化。通过网络融合层完成特征向量的转化和融合，最后G个隐含单元为待分类的手势数目，经Softmax来完成手势分类。

3 实验与分析

3.1 数据采集与预处理

实验选用SIA_delsys_16_movements数据集：在离线状态下对4位健康受试者采集16种手部动作，采集设备为Delsys(2 000 Hz)，粘贴6个电极，16种手部动作类型如图5所示。

数据预处理主要有以下几个步骤：标签修正、特征归一化和数据增强。在有监督的机器学习中，需要对大量数据进行标签的标注，所以对于数据本身的质量要求非常严格，标签修正是对每个动作产生的肌电数据的标签进行校正，可以提升卷积网络训练的准确率，确保标注的标签和对应的肌电信号的准确。采用最大面积法进行标签修正，修正的结果如图6所示。

图6 最大面积法标签修正

图6中深色的线条表示修正以后的标签，浅色的线表示修改前的标签。在数据送入神经网络之前，需要进行数据的特征值归一化，将数据的特征值映射到(0,1)之间，可以消除数据间量纲的影响，采用min-max离差标准化的方法如下：

(5)

式中：x表示样本数据的值；min为采集的样本数据最小值，max为最大值，将数据进行特征值归一化。为了进一步地提高神经网络的模型效果，还可以对肌电图像进行信号通道反转，添加高斯噪声、时间窗和增量窗等方式进行数据增强，利用卷积神经网络的尺度不变性这一性质来进一步强化数据特征。

3.2 构建多流卷积网络

首先将预处理后的数据转化为大小为200×6肌电图像，作为原始输入图像，将原始肌电图像再进一步划分为肌电子图像进行多流表征。设定不同大小的卷积核对原始图像进行自动划分，划分后的子图具有不同的原始图像的特征，分别送入卷积神经网络对子图再进行特征提取，然后经过网络融合特征层完成多流卷积的融合，最终送入末端的Softmax进行手势分类。网络模型如图7所示。

图7 多流卷积神经网络结构

原始图像的w、h分别为200和6，N的大小为4，分解后的子图xi∈R200×6，分解操作D(x)由不同大小的卷积核来完成，第一层的二维卷积网络神经元都保持不变为32，卷积核大小分别为20×3、16×3、12×3、8×3，原始图像分别经过卷积作用得到包含原始图像不同信息的4种类型的子图，大小分别为181×4、185×4、187×4、189×4，卷积层的卷积过程可以用式(6)表示。

(6)

式中：y表示卷积作用后的输出特征图；l和j分别表示层数和特征图的数量；b表示l层第j个特征图的偏置；*号表示卷积层的卷积作用；Mi表示输入卷积层的特征集合；f表示激活函数。卷积神经网络中常用的激活函数为ReLU(线性整流函数)。通过卷积核与神经元进行局部连接，然后在卷积核的滑动过程中实现特征的提取。在卷积过程中，每个卷积核的权值是保持不变的，通过权值共享来减少训练过程中的网络参数。卷积后由池化层进行下采样进一步减小特征图的大小，通过最大池化作用对提取到的信息进行过滤和筛选。通常有两种池化的方法，分别为最大池化和平均池化。最大值池化方法和原理如图8所示。

图8 最大值池化原理

在一个4×4区域内，池化步长为2，取选中区域2×2内的所有值的最大值，使得最终变为2×2大小的一个特征量。具体原理如式(7)所示。

(7)

式中：S和R分别表示池化步长和大小。通过上述步骤的处理使卷积之后的数据特征具有尺度不变性、位移不变性和局部依赖性。

在卷积和池化过程之后需要对不同卷积提取到的信息进行融合，具体方法是将4个卷积流的输出通过融合层转化为一维向量传入1 024个神经元的全连接层进行特征的加权和求和，来完成多流卷积的特征融合。为了在训练过程中避免产生过拟合现象，还在网络中加入了参数为0.5的dropout层用来随机丢弃某些特征信息，减少参数之间的耦合从而抑制过拟合。最后，通过Softmax来进行分类，将输出结果映射到(0,1)之间，Softmax的分类依据是根据计算数据集中16种手部动作类型的识别概率来进行判断的，其原理如式(8)所示。

(8)

式中：S表示分类的个数，本次实验数据集有16种动作类型；ai表示输入的数据。计算出每种动作的概率进行输出来判断某一种动作出现概率最大的类型，得到最终输出的结果。

3.3 实验结果与分析

实验采用TensorFlow2.0框架来搭建深度学习的多流卷积网络模型，配合自带的可视化学习工具TensorBoard可以更直观地观察网络模型的效果以及学习的准确率和损失率曲线，观察手势识别准确率变化。实验的硬件配置为Winows 10系统环境搭载GTX1070显卡，神经网络的参数配置如表1所示。

表1 实验网络参数配置表

在实验中，将预处理的数据按照第3.2节的步骤送入神经网络进行训练，并且设置对比实验，网络参数不变的情况下，用单流卷积神经网络进行手势识别，即第一层的卷积核大小和卷积层数都不发生变化，预处理后的原始肌电图像作为网络的输入，其他参数不变，只有一个卷积流的特征输入，利用TensorBoard可视化工具观察其准确率的变化过程如图9所示。

图9 训练准确率变化

可以看出，多流卷积网络模型的准确率高于普通的单流卷积网络，并且随着训练次数的不断增大，准确率的增长速率也明显高于普通的单流卷积网络，这说明多流卷积提取的特征被强化。同样的条件下网络提取的数据特征优于普通单流卷积网络，从而使网络对于手势肌电信号的特征学习效率更高，神经网络更容易记住和区分数据的多流特征，达到更快的识别速度和更高的准确率。

为了验证不同手势数量对模型结果的影响，在不同数据集上采用相同的网络模型进行实验，设置三组对比实验，其结果如表2所示。

表2 不同手势数量识别准确率对比

实验结果表明，不同数量的手势数据集对实验结果有一定影响，网络模型的准确率随着手势数量的增加略有下降。不过总体看来，网络模型依然保持较高的识别准确率，具有一定通用性，可用于手势识别分类任务。

除此之外，为了进一步地研究所提出网络模型的效果，还与传统机器学习的手势识别方法进行对比，说明深度学习方法在肌电信号手势识别上的优势，在同样数据集下，采用1.1节提到的传统机器学习方法对数据处理和建模，分别用KNN(最近邻算法)、J48(决策树)、SVM(支持向量机)等传统分类器模型进行训练和分类，手势识别准确率用式(9)计算。

P(准确率)=M(正确分类数)/N(样本总数)

(9)

其结果如表3所示。

表3 不同算法识别准确率对比表

不难看出，在最终识别准确率上，多流卷积网络融合模型的效果要远高于传统机器学习方法，准确率比单流卷积高出9.09百分点，比最低的决策树高出17.78百分点，说明深度学习的模型效果要优于传统机器学习的分类模型，这是由于通过多流卷积网络自身的结构捕捉肌电信号图像的特征，可以更好捕捉前臂产生的肌电信号与不同手势动作间的依赖关系，特征的表征能力得到强化，比人为设计提取特征效果更好。

4 结 语

本文提出一种多流卷积融合的方法对肌电信号的原始图像进行多流表征，不依赖人工设计特征，简化了预处理的过程；在单流卷积的基础上，使用多流卷积对原始图像进行分割，每个卷积流分别对子图像进行特征提取，可以更好捕捉肌电信号与手势动作的关系；通过特征层的融合，使获得特征的表征能力要远远优于单流卷积，从而获得更高的手势识别准确率。在今后的工作中，考虑加入对肌电信号的时序信息进行建模，加入循环神经网络提取信号的时序信息进一步优化网络模型的识别能力。