混合脑机接口的研究现状及应用

胡章芳，张 力，徐渝松，罗 元

(重庆邮电大学 信息无障碍工程研发中心，重庆400065)

0 引 言

物联网是软件、硬件和数据结合的一个中心点，其发展从设备联网到设备间的联动以及云平台功能的完善，进一步便是人机交互，脑-机接口(brain-computer interface，BCI)则是人机交互研究的重要方向。

自1973年Jacquces Vidal首次提出BCI的概念以来，BCI成为脑科学、神经医学、人工智能等领域的研究热点。此外，BCI与物联网等新兴技术的结合[1]，使其逐步成为一门多学科交叉技术。在现有的BCI研究中使用了各种监测大脑意识活动的脑功能成像方法，如脑电图(electroencephalography, EEG)[2]、大脑皮层电位图(electrocorticogram，ECoG)[3]、脑磁图(magnetoencephalogram，MEG)[4]、功能磁共振成像(functional magneticresonance imaging，fMRI)[5]以及近红外光谱成像(near infrared spectroscopy，NIRS)[6]等。在上述几种方法中，目前，EEG已成为BCI控制系统的主要方式，其有着时间分辨率高、设备简单、便于使用等优点。然而，每一种脑电信号都有自己的缺点(例如低振幅、非平稳性等)，单一模式下的BCI系统有着较强的局限性，其系统功能也会受到较大限制。受益于过去十几年相关学科取得的重大进展，BCI技术的应用范围也在不断扩大。事实上，如今的BCI技术不仅能直接将大脑信号转化为控制信号，还可以与其他生理信号(如肌电、心率、呼吸节律等)或其他设备(如功能性电刺激(functional electrical stimulation,FES),VR(virtual reality)等)相结合。2010年李元清等[7]结合运动想象和P300电位设计了一套二维空间光标移动的BCI系统，实现了光标随意移动。2013年Robert Leeb等[8]使用异步BCI与手动操纵杆控制信号相结合，成功应用于VR游戏中对企鹅前进方向和跳跃的控制。2013年Yin等[9]将P300和稳态视觉诱发电位(steady-state visual evoked potentials,SSVEP)结合用于目标字符的辨别，设计了一种同步混合字符输入系统，该系统不需要对空闲状态进行检测，提高了字符识别准确率。2014年刘小燮[10]结合运动想象的BCI和FES技术设计了一个脑卒中的康复训练平台，实验结果表明该混合BCI(hybrid BCI，hBCI)性能优于单一FES的性能。在2015年Yu等[11]设计了一款结合SSVEP和运动想象提出了一种混合反馈范式，实现了患者意图的预测。这种将单模态BCI与其他生理或技术信号相结合的BCI系统称为混合BCI。Pfurtscheller和Allison等[12]于2010年首次提出了这种混合BCI概念，该系统具有2个重要特征，即信息融合和共享逻辑控制，在此基础上，目前常见的hBCI系统一般是2种模式的融合(一种单模态的BCI与另一种单模态的BCI或其他生理信号、设备等)[13]。肌电图(electromyography，EMG)能够充分体现肌肉的运动状态，EMG与EEG的结合，理论上有利于提高多模式动作的分类精度。与传统的单一模式的BCI系统相比，基于EEG和EMG的hBCI系统可以有效利用患者残存的运动能力，进而实现一种新的人机交互方式，以实现对人类运动意图的更精确和更完整的描述，并提高对只使用基于单一模态EEG的BCI系统的识别率。综上所述，基于EEG和EMG的混合BCI有着重要的理论意义和应用前景。

目前，基于EEG和EMG混合BCI系统的研究已成为混合BCI领域的一个新兴热点，本文将重点对国内外基于EEG和EMG混合BCI系统的研究进展进行系统阐述，主要包括EEG和EMG信号处理、基于EEG和EMG信息融合的混合BCI方法及应用。

1 EEG信号处理

EEG是脑部神经元生物电活动产生的信号，其时间分辨率较高、空间分辨率较低，能较好地反映大脑的不同状态信息而且容易被采集提取，因而在hBCI中作为使用较多的一种输入信号。EEG信号的种类有很多，但在BCI研究中广泛采用的主要有以下4类：慢皮层电位(slow cortical potential,SCP)、稳态视觉诱发电位SSVEP、事件相关电位(event-related potential,ERP)以及运动想象(motor imagery，MI)电位。EEG信号的处理是混合BCI系统中至关重要的一步，主要包括预处理、特征提取和特征分类3个部分。预处理主要是去除脑电信号中的工频干扰以及心电、肌电等信号的干扰。特征提取和特征分类是提高系统精度的2个关键问题。前者是从原始的EEG信号中定义一个特征向量，而后者则是区分这些特征向量并将它们分组到不同的类中。故本文将重点介绍脑电信号的特征提取及分类算法。

在EEG信号的各种特征提取方法中(以运动想象脑电信号的特征提取为例)，共空域模式(common spatial pattern, CSP)算法是区分不同类型的运动想象任务的最有效的方法之一[14]。对于两类运动想象任务判别问题，可以将CSP看作是一个线性空间筛选器，其通过计算信号的协方差矩阵，再对其对角化处理，将需要分类的信号进行投影，使得2类信号的方差相差距离拉大，一类最大而另一类最小，以此来明显地区分开两类信号。在此基础上，许多学者对CSP进行了改进。其中一对多共空间模式(one versus rest commom spatial pattern, OVR-CSP)将CSP算法扩展到多分类任务判别，提升了CSP算法的分类任务数。规则共空域模式(regularizing common spatial patterns, RCSP)算法是在原始CSP算法中加入先验信息从而提高CSP算法的鲁棒性[15-16]，而局部实现共空域模式(local temporal common spatial patterns, LTCSP)算法则为CSP算法增加了局部时间约束，使得CSP算法的抗噪能力得到提高[17]。

而在脑电信号分类算法方面，支持向量机(support vector machine, SVM)和线性判别分析(linear discriminant analysis, LDA)是应用较为普遍的2种算法。SVM的原理是基于结构风险最小化，在特征空间中构建最优分割超平面，从而使得学习器得到全局最优化，并将2类模式尽可能地区分开[18]。LDA是一种简单实用的线性分类器，能够对脑电信号中的两类想象任务进行分类。2009年Lei X等[19]利用贝叶斯算法在LDA中加入神经生理学和实验等先验信息提出了一种贝叶斯线性判别分析(Bayesian linear discriminant analysis, BLDA)，实验表明，该算法提高了运动想象BCI中的分类准确率且增强了分类的稳定性。

2 EMG信号处理

肌电信号处理同样也是基于EEG和EMG混合BCI系统不可或缺的一步。根据不同的电极采集方式，可将肌电信号分为针电极肌电信号(needle EMG，NEMG)和表面肌电信号(surface EMG，sEMG)2种。sEMG是无创伤性的测量，应用简便，因此应用较为广泛。故本文以sEMG为主介绍其特征提取和分类算法。

对于sEMG特征提取方法，目前大致可分为：时域分析法、频域分析法、时频域分析法、参数模型法等。时域中通常采用方差(variance，VAR)、均方根(root meam square，RMS)、平均绝对值(mean absolute value，MAV)等特征。频域中有中值频率、频率比和快速傅立叶变换((fast Fourier transform，FFT)等多种方法。而在时频域，通常使用小波变换(wavelet transform，WT)、小波包变换(wavelet packet transform，WPT)和短时傅里叶变换(short-time Fourier transformation, STFT)。时频域的分析方法具有时域和频域的优点，但存在时间分辨率和频率分辨率相互制约和相互矛盾的问题。Karthikeyan P等[20]使用小波包变换对消噪后的sEMG提取特征向量，结果表明，该特征提取算法经K最近邻(K-nearest neighbor,KNN)分类后的正确识别率达到90.70%，为人类应激水平变化与肌肉紧张关系的研究提供了更为精确的结果；蔡立羽等[21]使用短时傅里叶变换对sEMG进行分析，之后用SVD提取掌长肌和肱桡肌上的EMG特征向量，将特性项输入到线性分类器中，实现了4种手部动作模式的识别。sEMG信号在被分析的信号段内具备短时平稳的特性，符合上述参数模型对信号的要求，该模型主要有3种：AR(auto-regressive)模型、MA(moving average)模型和ARMA(auto-regressive and moving average)模型，其中，AR模型应用较为广泛。罗志增等[22]将AR模型的各阶系数输入神经网络，对应手腕的静止、腕内曲、腕外翻等动作状态进行识别分类，实现了对假手的有效控制。马文杰[23]在罗志增的基础上，针对多种手部运动的识别问题，提出一种HHT(hilbert-huang transform)变换和AR模型相结合的特征提取算法，实现了对伸腕、屈腕、握拳、展拳4种手部动作的识别，识别正确率达到91%。

许多学者对sEMG分类算法进行了研究，如SVM，LDA、神经网络和聚类算法等。其中，SVM在求解小样本集、非线性和高维模式识别方面提供了许多独特的优势，因此被广泛运用。张毅等[24]在SVM理论的基础上对样本训练算法进行改进，提出了一种序贯最小优化的样本训练算法，实验表明该算法能够减少样本训练时间。神经网络在基于sEMG的运动分类中也是一种流行的方法，针对神经网络中普遍存在的收敛速度较慢，学习效率较低的缺点，许多学者提出了相应的改进算法。李晗等[25]提出了自适应的变步长改进方法，有效克服了上述缺点，并通过实验得到手势分类结果。刘韵婷等[26]通过引入弹性反向传播(back propagation,BP)算法对传统BP神经网络进行改进，并将其应用于人体上肢动作的模式识别，识别精度达到92%。此外，作为神经网络的改进，小波神经网络和模糊神经网络已经被用于模式识别[27]。

3 基于EEG和EMG信息融合的混合BCI

基于EEG和EMG混合BCI基本思想是EEG和EMG信号的融合。二十世纪末期，鉴于军事领域对C3I(command, control, communication and intelligence)系统建设的需求，信息融合[28-29]技术得以出现。信息融合主要利用多个传感器从不同角度对同一对象进行观测以获得对同一对象更全面、多方位的观测数据，并通过计算机技术来处理各传感器观测到的数据，进而得到对同一观测对象更准确的信息。信号的融合能以多种不同的方式进行，根据信息融合的所在层次可分为数据层融合、特征层融合和决策层融合3种[30]。数据层融合有着信息损失量最小的特点，但其要求系统处理数据的能力强。同时，由于脑电信号与肌电信号并未有共同的特点，进行数据层融合比较困难。所以，目前常见的基于EEG和EMG的混合BCI系统普遍采用决策层融合和特征层融合方法。

Robert Leeb等[31]基于Mason和Birch提出的模型[32]建立了一种混合BCI通用框架(如图1所示)，该框架属于决策层融合，其包括数据采集、不同信号处理模块、多模态融合以及共享控制等模块。基于决策层的数据融合有着算法难度最易、抗干扰能力好等优点，同时也有着处理信息量小，导致信息量损失大等缺点，在此框架下，R Leeb等[31]将肌电信号与脑电信号结合构成了一个混合BCI接口。将分别基于脑电和肌电特征的识别结果输入贝叶斯网络进行决策融合(如图2所示)。结果表明，识别率高于单一模式(EEG或EMG)的识别率，并且当模拟疲劳肌电幅度值高于50%时，识别结果较好，但当EMG降低到10%的水平时，脑肌电融合的识别率明显下降(甚至低于单独基于脑电的识别率)。出现上述识别率下降的原因是因为贝叶斯决策层融合对每个信源识别结果具有依赖性，而衰减90%的EMG信号已经失去了独立决策能力。

图1 混合BCI系统通用实现平台的结构示意图Fig.1 Schematic overview of the structure of the common implementation platform for the hybrid BCI system

图2 基于决策层融合的EEG-EMG混合BCI系统Fig.2 Hybrid BCI system based on the fusion of the EEG and EMG

Kiguchi和Hayashi[33]研究了一种基于256通道EEG和16通道EMG结合的上肢外骨骼感知辅助的判断方法。实验表明，将EEG和EMG结合与仅使用EMG的二分类问题相比，其准确性更高。此外，在实验中，对一些实验对象来说，组合后的结果得到了极大提高(从60%到85%)。其准确性更高是因为EEG和EMG的结合有效弥补了单一EMG在肌肉疲劳时识别率下降的缺陷。

Kirchner和Tabie[34]通过整合EEG和EMG研究了手部运动预测。同时记录了128通道EEG和4通道EMG，并标注了2个动作事件。采用基于规则的决策融合方法(如AND规则)实现多模态数据的融合。结果表明，在不同的融合规则下，2种通道融合在一起将产生一个更为稳定的输出，使其识别率得到改善。谢平等[35]通过提取2种动作模式中EEG的事件相关去同步化特征和sEMG的积分肌电值特征，构建了基于SVM和粒子群优化算法的脑肌电融合模型(SVM-PSO)(见图3)，同时利用EEG和sEMG间的协同互补性提高了hBCI对2种动作模式识别的准确率；此外，通过调整脑肌电融合系数避免了由于运动疲劳导致识别率下降的问题。与上述R Leeb的研究相比较，该系统实现了脑肌电特征层的融合，降低了对每个信源识别结果的依赖性，通过SVM-PSO模型自适应调整脑肌电融合系数，提高模式识别准确性，在肌电信号极其微弱的情况下也具有较好的鲁棒性，降低了由患者运动功能部分缺失和运动疲劳引起的对识别性能的影响。

图3 基于脑肌电特征层融合模型(SVM-PSO)的运动模式识别原理Fig.3 Flow chart of motion patternrecongnition based onthe fusion model (SVM-PSO) of EEG and EMG feature

Cui等[36]提出一种基于脑电图、肌电图和肌动图(mechanomyography, MMG)的多模融合框架，旨在解码人类对下肢多关节运动的意图。在此框架中对8种常用的分类算法进行比较(见表1)，结果表明：对于单一EEG，SVM算法的分类正确率在8种常用算法中最高；对于单一EMG，RF算法的分类正确率在8种常用算法最高。该文章同时对12种决策融合算法进行了对比评估(见表2)，结果表明：对于EEG和EMG的决策层融合，SVM算法的平均分类正确率最高。此外，通过对比实验，得出最佳的三模融合方案可以得到平均精度为98.61%，97.78%和96.85%，显著高于双模式融合或单一模式，这是因为多模信息的融合能够表达出更为准确的信息。

表1 单模时的平均分类正确率和标准差Table.1 Average classification accuracy and standard deviation of single-modal schemes %

4 分析与展望

近年来，将多模态生物信号融合在一起成为研究热点，以实现对人类运动意图的更精确和完整的描述，并提高对只使用单一模态生物信号系统的识别率[37]，在一定程度上解决了“BCI盲”的问题。本文对近年来基于EEG的混合BCI进行总结，重点归纳了基于EEG和EMG的hBCI的研究现状及应用情况，以期能挖掘EEG-EMG混合BCI中潜在的创新点进而提高脑肌电混合BCI系统的整体性能。通过对比分析发现：在3种融合方式中，基于特征层的融合，其识别率更高；此外，更多模式的融合，亦可获得更高的识别率。目前，基于EEG信号的多模式信息融合已成为BCI技术的必然趋势。

目前在hBCI领域仍然存在许多挑战，识别率仍有提升的空间。从理论的角度来看，异构信息源的理想融合需要考虑源间的变量信息、不同程度的非平稳性以及鲁棒性[38]，在目前的研究中实现这种异构信息源之间的融合较为困难。在脑肌电融合时，随着肌肉疲劳程度的增加，EMG识别率明显下降，进而影响脑肌电决策层融合的效果。通过分析肌肉的疲劳程度或单个模式在完成任务时的性能来动态改变融合权值，以期避免由于肌肉疲劳对决策层融合的影响。其次，通过对整个混合BCI系统进行优化，比如优化脑肌电的特征提取或分类算法，由此得到更准确的特征向量或分类结果，也是提升系统的整体性能的一种方法。此外，受到Cui[36]的启发，将3种及以上的信号进行融合，以期获得比2种模式混合更好的识别率，也是未来对混合BCI研究的一种新思路。

表2 多模融合时的平均分类正确率和标准差Table 2 Average classification accuracy and standard deviation of multimodal fusion schemes %