运动意图的头皮脑电编解码及其脑-机接口研究进展

2023-11-18 09:07张定泽许敏鹏
电子与信息学报 2023年10期
关键词:编解码脑电解码

陈 龙 张定泽 王 坤* 许敏鹏② 明 东②

①(天津大学医学工程与转化医学研究院 天津 300072)

②(天津大学精密仪器与光电子工程学院 天津 300072)

1 引言

脑-机接口(Brain-Com puter Interface, BCI)是一种不依赖于使用者正常周边神经和肌肉组织特殊的信息交流和控制通道,可将中枢神经系统活动直接转化为人工输出[1]。BCI技术是实现最高形态人机混合智能的必经之路,其相关成果涵盖机器人、生物医药、智能技术等重大链条产业。此外,BCI技术与军事应用密切相关,已成为世界各国竞相角逐的战略高地。但我国BCI研究起步较晚,加之欧美针对该项核心科技进行技术封锁和出口管制,因此发展高性能BCI技术关系国防与经济安全,需求急迫。

根据大脑信号的产生方式可将BCI分为主动式、反应式和被动式3种类型[2,3]。其中,主动式BCI能够直接解码大脑的思维意图,无需依赖于外部刺激事件,是实现自然人-机交互的最佳途径[4]。基于运动想象(Motor Imagery, M I)的BCI通过主观运动意愿驱动功能性电刺激、智能假肢或机械外骨骼等设备能够将“运动意图”转化为切实“行动”,对于运动功能康复、替代、增强具有重要的研究价值,是目前研究最广泛、最典型的主动式BCI范式之一。特别是当今社会持续加重的老龄化和高发的脑疾病等问题给M I-BCI技术的发展带来了巨大的市场需求。

运动意图不仅包括对肢体的选择意图,还涉及动作实施过程中包含运动学与动力学信息的运动意图[5]。其中运动学(Kinematics)意图是指描述运动时空形式的参数,如方向[6,7]、速度[8,9];动力学(Kinetics)意图是指产生肌肉活动的因果力,包括引起运动的动态力和保持给定姿态所需的静态力[10,11]。传统的M I-BCI大多通过识别受试者想象身体某部位运动(如左右手、足等)诱发大脑产生的不同脑电模式,将肢体整体活动转化为相应的控制指令,但可控制外部设备的运动精细度尚不足以完全辅助日常生活。近年发展起来的基于单肢体精细动作意图编解码研究有望突破目前M I-BCI研究中难以真正实现高自由度BCI控制的瓶颈并开拓新途径。

头皮脑电(以下简称脑电(E lectroEncephalo-Graphy, EEG))信号因其非侵入采集,使用方便且更安全,常作为BCI的神经控制信号[3]。研究精细动作运动意图的脑电编解码可为面向运动功能康复、替代与增强的M I-BCI的关键技术提供新的研究思路,具有重要的研究意义。M I与运动执行(Motor Execution, ME)时大脑活跃的脑区十分相似,都包含了皮质运动前区、辅助运动区、基底神经节、扣带回、顶叶皮层、小脑等,研究发现M I和ME具有相似的皮层空间激活模式,故通过研究实际精细动作诱发的EEG模式可为未来M I-BCI应用提供理论依据。因此,现有精细动作运动意图编解码的研究中通常涉及ME与M I两种实验模式。

此外,在BCI技术的实际应用过程中,运动意图解码错误导致预期运动意图和外部设备控制的不匹配可诱发错误相关电位(Error-related potential,Errp)。该电位的正确检测可实现脑-机交互过程中错误控制指令的有效纠正,因而得到了研究者的广泛关注。

基于上述分析,近年来,运动意图编解码主要在以下3个方面深入开展:(1)单一肢体特定部位的运动意图编解码,通过分析不同部位(肩、肘等)运动相关信号模式,可扩展相应的BCI指令控制自由度;(2)运动学与动力学意图编解码,通过分析运动过程中运动动力信息(方向、速度、力等)动态处理过程,在运动意图与输出实际动作指令间建立更匹配的理想控制模式;(3)运动意图错误相关电位检测,通过识别BCI应用过程中与产生预期动作不匹配反馈时的相关电位模式,及时纠正错误控制指令。本文主要综述运动意图编解码在上述3个方面的最新研究进展,并从运动控制与康复两个方面总结基于运动意图解码的BCI应用现状,探讨该领域的挑战难点并预测其未来发展趋势,以期促进相关BCI技术的深入研究及开发应用。

2 运动意图的脑电编解码

研究不同实验范式下运动意图的脑电模式及识别模型是实现BCI高效应用的必要前提。本节将对单一肢体特定部位的运动意图、运动学与动力学意图编解码以及运动意图错误相关电位检测3个方面综述本领域的研究进展。

2.1 单一肢体特定部位的运动意图编解码

传统的M I-BCI范式大多基于简单的肢体M I任务(如左右手、足等),已实现对外部设备(如机械臂、功能性电刺激等)较好的控制[12],然而,因其指令集有限,并不能实现精细动作控制。在日常生活中,精细化的动作依赖于单一肢体如手指、腕、肘和肩的协调运动。因此,通过研究单一肢体特定部位的运动意图诱发脑电编解码方法可为提升脑-机控制自由度提供理论与技术方案。

单一肢体特定部位运动意图诱发EEG编解码的研究主要针对同一上肢不同关节部位,可以分为不同部位的运动意图识别(如手指的分类识别[13])以及多个部位的联合运动意图识别(如手腕和手指、手腕和肘、手指和手肘等[14]),如图1所示。

图1 单一肢体特定部位的运动意图编解码

目前针对不同部位的运动意图识别集中于肢体远端的手部(如区分不同手指或不同手势)。但不同手指在初级运动皮质映射脑区位置接近,其运动诱发脑电模式特征极为相似,因此如何设计实验范式以及解码方法并实现高效解码充满挑战。尽管如此,早在2009年就有研究已经尝试并实现了单个手指精细ME诱发头皮脑电的解码识别[15]。在此基础上,有研究利用包括α和β频带的EEG频谱功率变化区分单手5个手指的运动意图[16],获得了45.2%平均解码正确率。2017年,Salehi等人[17]对手部两种握拳方式、手掌张开闭合、手握物体4种任务(如图1(c)所示)进行了左右手M I解码探索,并基于感觉运动节律特征分析方法对8种不同手势的运动意图进行解码预测,利用分层共空间模式算法的识别正确率达到了64.5%。另有其他学者进行了相关实验,进一步验证了手部运动解码识别的可行性[18,19]。

此外,肢体关节部位联合运动意图的编解码研究能够为BCI控制模式提供更多新的运动任务组合,并且解码肢体关节部位的联合运动任务能够避免被试单一部位重复运动输出复杂控制指令带来的不匹配感,更利于思维活动和控制指令之间建立直观的对应关系。对于上述不同关节的联合运动意图解码通常采用传统的基于感觉运动节律的特征分析方法。在肘关节和腕关节联合实验中,联合时频域特征分析发现δ频带携带重要的运动类型相关信息[20]。随后,在指肘联合(握手、抬臂)的实验[20]与指腕联合(5个基本手部动作)运动的实验[21]中,使用α,β频带ERD特征解码分别得到了76.39%(随机水平为50%)和73%(随机水平20%)的平均分类正确率。此外,源成像方法也可被用来解码上肢部位的联合运动意图信息特征,在腕肘联合任务(如图1(b)所示)中发现不同任务的皮质表征之间的空间分布有很大差异[14],值得注意的是,与传统分析方法相比,源成像分析方法能够提高复杂运动想象任务的脑-机接口解码性能,可实现82.2%平均分类正确率。

上述研究证实了单一肢体不同部位以及关节联合精细动作运动意图识别的可行性,拓展了运动任务的范式设计思路,不仅有利于促进M I-BCI交互性能的提升,也为BCI系统应用于临床康复提供了新的研究方案。

2.2 运动学与动力学意图编解码

现有的神经科学与运动神经控制理论认为,自主运动的产生可以分为运动规划(肢体端点运动轨迹的预先描画)、运动学参数逆变换和动力学参数逆变换3个阶段的运动意图信息处理过程。因此,通过研究运动学与动力学参数的意图编解码有望为建立运动意图与BCI控制指令之间更匹配的控制模式提供解决方案。

已有非人类的灵长类动物和人类植入式神经电生理研究结果表明,初级运动皮层的神经活动包含了手部运动方向、速度、力量等运动信息,并且运动方向与速度的神经响应早于实际动作产生约100 m s,表征大脑对将要发生动作的预先规划[22]。近年来,在上述微观神经元集群活动对空间运动意图编码原理的指导下,研究者开展了运动学与动力学运动意图诱发头皮脑电响应模式与解码方法的研究[23]。

有研究证实低频段(0~8 Hz)EEG信号包含手部运动方向信息[24]。Robinson等人[7]对采集的手随意方向运动任务下的脑电数据进行单试次分类实验(实验范式如图2(a)所示),使用共空间模式算法(Common Spatial Pattern, CSP)和Fisher线性判别对4个不同方向的低频EEG信号特征提取与模式识别,平均分类正确率达到80.24%。随后,Chouhan等人[25]也进行了基于EEG信号的手部4个方向运动分类实验,结果表明在慢皮层电位(小于1 Hz)以及频率更高的波形中(小于12 Hz)存在与方向相关的意图信息,并实现7个被试76.85%的平均分类正确率。

图2 运动学与动力学意图编解码

此外,早期研究已经证明想象手部运动速度变化意图可以被无创脑电信号记录并连续解码[26]。与运动方向意图的研究结果相似,有研究发现速度意图信息可以通过低频脑电信号解码获得[27],并探讨了速度与加速度意图信息的顶枕激活模式(如图2(d)所示)。2021年Robinson等人[28]进一步对手部运动速度信息解码进行了探究,被试以两种不同的速度向左或向右执行运动(如图2(b)所示)并同步记录脑电信号,使用空间和频谱特征进行分类,与方向无关的快慢速二分类正确率达73.36%,左右方向上分别得到了69.46%和68.98%的分类正确率。

在动力学意图信息解码方面,研究发现手部挤压力量的增加与对侧感觉运动皮层和辅助运动区的激活有关[29]。并且高力量水平的M I任务可在感觉运动皮层对应区域诱发出更明显的ERD现象,且能激活更大面积的脑区[30]。Jochum sen等人[9]从头皮脑电中提取不同程度的预期运动的力和速度特征,用改进的支持向量机对运动想象提取的低频ERD特征进行分类,4分类正确率达到80%。随后,Fu等人[31,32]进行了相关实验,在不同的握力水平研究中(如图2(c)所示),研究发现β频带的EEG网络拓扑连接随着实际握力水平的增加而增加,并且在M I任务中也有类似的结果(如图2(e)所示)。

综上,相关研究结果表明基于运动学和动力学意图的脑电编解码研究有助于进一步从运动准备、规划和执行等方面对开发基于过程控制的主动式人机交互系统奠定理论与技术基础。

2.3 运动意图错误相关电位检测

在人机交互的过程中,被试的意图很有可能被错误解码而产生与意图相悖的输出指令,机械臂等外设将因此做出意料之外的动作。在这种情况下,不匹配的预期动作和指令反馈在被试大脑中将诱发与错误信息处理相关的模式,称之为错误相关电位(Errp)。通过对Errp的正确识别,可实现对被试意图信息的在线连续解码校正或分类策略优化从而改善BCI的性能[33,34]。

早期研究中,在运动意图解码过程中检测Errp特征的研究大多基于预先设定错误发生率的离线实验范式,检测准确率较低,且无法真正反映受试者对于在线M I-BCI解码错误时的表现[35]。通过分析离线数据中Errp特征与优化解码方法,Lopes-D ias等人[36]首次进行了在线异步Errp的连续解码(如图3(a))。该系统连续识别受试者右手运动意图并控制机械臂朝目标靠近。当机械臂运动方向发生错误时,若系统检测到Errp,则重新对当前运动意图进行解码以校正控制指令。Zhang等人[37]通过检测Errp校正智能汽车在模拟驾驶过程中的转弯方向(如图3(b)),增加了模拟行驶过程的安全性。

图3 运动意图错误相关电位检测

Errp还可以应用于BCI系统中模型分类策略的优化,从而降低用户运动意图被错误输出的概率[38,39]。K reilinger等人[40]使用经典G raz范式控制小球运动,将离线测得的Errp特征波形融入在线M I的判别分析特征选择和高斯分类器中,M I在线分类正确率从70%提升到80%。Parashiva等人[41]融合Errp特征实现了运动想象方向意图解码性能的提升。该研究使用小波相位、幅度特征解码模型结合Errp检测模型的新型纠错算法,手部双向(左右)运动想象在线平均解码正确率从随机水平提升至64.9%。

如上述,现有研究证实了BCI系统中融合Errp特征的检测有助于提升运动意图的解码性能。在此基础上,Errp结合M I被越来越多的用于运动康复领域的应用开发,为脑卒中患者的临床康复提供了新的研究思路[42]。

3 基于运动意图解码的BCI应用

M I-BCI结合机械臂、轮椅、功能性电刺激等外部设备,已成为帮助残疾患者恢复正常生活重要的探索方向。近年来,运动意图的脑电编解码技术已经取得了长足进步,在此基础上当前相关的BCI应用研究主要聚焦于高自由度运动指令控制与运动功能临床康复两大领域。

3.1 高自由度运动指令控制

通过解码运动意图实现高自由度的运动指令控制是提升脑控外部设备运动精细度的必要途径。近年来本领域已取得一些突破性的进展,如控制无人机在3维空间飞行[43]、控制机器臂实现吃饭喝水[44]等。总的来说,现有研究主要聚焦基于不同肢体部位运动想象解码的指令控制和基于运动参数意图解码的指令控制。

传统基于不同肢体M I-BCI的主要控制方式仍为离散指令控制,即受试者的运动意图以一定的时间间隔被识别并输出。现有研究中受试者已实现通过M I-BCI控制机械臂完成伸展和抓取等动作[45,46]。为了实现对外部设备更流畅的控制效果,近年来M I-BCI解码结合外部设备连续控制策略的研究受到广泛关注。Edelman等人[47]通过识别被试想象左手、右手和双手以及静息任务产生的不同脑电模式,控制机械臂实现2维光标连续跟踪任务(如图4(a)所示)。该研究中,运动意图解码部分仍为基于不同肢体的离散4指令输出,但研究者利用在线异步M I输出反馈策略实现了机械臂的连续控制。相关研究大多基于肢体运动的重复想象范式,并需结合一些非自然的控制策略。

图4 高自由度运动指令控制

相比之下,基于运动学与动力学意图的脑电解码有利于在任务与输出指令之间建立更匹配且自然的对应关系,具有重要研究价值[48]。W aldert等人[49]首次实现了3维空间中速度的解码,研究者也通过解码低频脑电实现了对于包含运动学参数的手部运动轨迹的拟合。2020年,Mondini等人[27]使用偏最小二乘法回归得到运动参数信息(位置、速度和加速度),首次实现了低频脑电解码手部运动意图连续在线控制机械臂(如图4(b)所示)。W ang等人[30]利用基于单肢体动力学参数M I诱发的脑电模式,实现了一种力敏M I-BCI交互系统,在线三分类平均正确率达到70.9%,不仅可用于扩展BCI指令集增加其控制形式,也有望为受试者提供更精细的力敏反馈。

当前研究已初步证实基于运动意图解码用于高自由度控制的可行性,且为BCI的连续控制提供了技术基础。但目前可实现的解码正确率尚不足以实现高效的脑-机交互,相关范式与控制策略仍有待深入研究。

3.2 临床康复应用

卒中患者通常患有运动功能障碍从而失去自由活动和控制肌肉的能力,但大脑神经元的可塑性使得其实现运动功能康复成为可能。近年来,神经反馈结合BCI的康复训练成为卒中治疗的热门方法。神经反馈训练是生物反馈训练的一种,它实时地监测大脑的活动状态,通过计算机系统辅助,给受训者适当的声音、图像和触觉等反馈,使受训者通过主观地感受、自觉地改变自身生物信号来改变脑的活动状态,增强脑的自我调节能力,以改善甚至修复受损伤大脑的功能[50]。在神经反馈训练机制的指导下,M I-BCI结合物理刺激、辅助机器人等用于临床康复训练的研究成果引人注目。

融合M I-BCI与反馈刺激,可反复强化从大脑至肌群的正常兴奋传导通路,有效地促进原有障碍的运动反射弧逐渐恢复,神经反馈康复效果显著。反馈刺激有多种模式,如神经肌肉电刺激(Functional Electrical Stim ulation, FES)、机械外骨骼动作、视觉刺激。其中,最常见的刺激方式为神经肌肉电刺激。2018年,Biasiucci 等人[51]将M I-BCIFES系统应用于卒中患者运动功能康复治疗中,结果发现在功能神经可塑性量化指标评定上 BCIFES表现出显著的功能恢复效果。同时,BCI 与康复机器人相结合将机电一体的被动训练转为了人机一体的主动训练,有利于提高患者的参与度。Barsotti等人[52]设计了基于M I-BCI的上肢机械外骨骼系统,该系统能提供丰富的感官反馈,以便全面恢复患者的接触和抓取功能。Liu等人[53]利用M I-BCI控制下肢外骨骼对8名卒中患者进行了长期多阶段步态神经康复训练,结果显示患者的关键肌肉恢复了部分自主控制能力,步行指数明显改善。此外,Bhattacharyya等人[42]开发了将E rrp与M I-BCI系统结合的康复机器人,该设备能够及时撤销患者在M I过程中错误分类的动作以达到提升训练效率的目的,有助于实现促进神经通路重建的功能。另有研究报道,特定的视觉反馈亦有助于激发大脑皮层功能的重组[54]。Yoo等人[55]将手部运动时对应大脑激活区域的功能磁共振成像(Functional M agnetic Resonance Im aging, fMRI)信息进行视觉反馈,发现其能帮助患者学习如何增加与M I任务相关的特定脑区皮质活动,可使其将目标脑区血氧水平依赖(Blood Oxygenation Level Dependent, BOLD)信号调节到最大程度。

上述研究表明了M I-BCI临床康复应用的巨大潜力。但通过现有文献研究结果,可总结出M I-BCI在实际运用过程中,仍然存在一些亟待解决的问题,如现有M I-BCI康复设备体积较大、便携性差,M I-BCI 系统信息转换速率较低[48],对于脑卒中后下肢康复的研究相对较少,运动想象完成质量较难评估等[53]。可以预见,在通过系统优化、解码技术创新、临床科学验证等手段解决上述问题后,未来将会有交互更友好的M I-BCI功能康复系统进入日常生活,帮助卒中等运动障碍患者完成基本活动从而提高其生活质量。

4 总结与展望

综上所述,运动意图的头皮脑电编解码研究历经数十年发展,随着相关范式设计与解码算法日益更新,传统M I-BCI指令集受限、脑-机交互不自然等瓶颈难题有望得到突破。然而,仍要注意,现有研究仍存在一些问题有待解决:

(1)虽然肢体特定部位精细动作运动意图以及运动意图错误相关电位的解码研究已取得重要进展,但因其信号特征弱,总体解码精度尚不理想,远不能达到现实应用水平。因此,现有BCI系统多数只能通过简单肢体动作M I实现较为高效稳定的指令输出,并通过结合非自然的控制策略,实现相对高自由度的连续控制。

(2)运动学与动力学等运动意图编解码相关研究通常仅针对某一特定运动学或动力学参数的脑电特征展开分析,不同运动矢量参数的脑电响应空间映射模型以及从运动规划到运动执行全过程的脑电特征动态演进规律鲜有报道,有待进一步深入研究,以厘清富含方向、速度、力量等信息的矢量空间运动意图的编码原理。此外,现有研究大多为真实动作执行范式下的脑电模式研究,未来如何将其应用于M I-BCI系统中,实现主动式脑-机指令输出,还需进一步深入探究。

(3)在应用方面,为了获得更好的脑电信号质量,现有设备大多体积大、便携性差,导致了M I-BCI难以应用于日常生活。此外,受范式灵活度和解码算法有效性的限制,现有M I-BCI系统可实现的功能只能用于较简单的任务操作,无法完成较为复杂的高难度任务操作,因而相关研究大多数集中于临床康复医疗应用,其他领域应用鲜有报道。由此可见,实现M I-BCI系统广泛的实际应用仍然具有较大的挑战性[56]。

针对上述问题,未来应围绕运动意图的范式创新和编码原理、解码算法与系统优化等方面进一步开展研究。

在范式创新和编码原理方面,设计单肢体多关节联合运动、单肢体部位多个动作(不同运动方向速度)以及双肢体联合运动任务(左右手协同动作)等符合现实运动场景的精细动作运动意图范式,结合多模态信号(头皮脑电、近红外信号、脑磁等)同步采集技术,研究运动意图深层次神经信号传导与皮层激活机制,探索反映运动过程运动意图的时-频-空多维脑电响应特征的空间映射关系与演变规律模型,为开发更多新型BCI范式提供必要的科学依据。

在运动意图诱发脑电解码算法方面,对特征提取和分类算法的创新还需深入探索,应在当前常见的M I诱发脑电的特征提取算法(例如CSP、黎曼几何等)和分类算法(例如线性判别分析、支持向量机等机器学习算法)基础上,尝试进行算法的创新设计,特别是研究符合运动意图相关脑电特征特点的空间滤波方法,增强特征的特异性与鲁棒性。并结合当前研究热点深度学习算法进行探索,以便更好地处理复杂的非线性变换分类[57]。此外,还需在深入理解运动执行与M I诱发运动意图编码原理与解码算法的基础上,研究模型的迁移算法,进一步指导M I-BCI的应用[58]。

在系统优化方面,提升BCI系统的信息传输速率(Information T ransfer Rate, ITR)是重要研究发展方向,而ITR的大小和系统的响应时间、识别正确率与可输出指令的数量相关,应开展自适应解码算法研究,实现模型随脑电信号动态变化实时更新,使系统能够根据不同脑电特征自动选择解码模型,减少系统的响应时间并提高解码精度,并在运动意图诱发脑电信号编解码技术理论指导下突破M I-BCI指令集瓶颈约束增加可输出指令的数量。此外,同步BCI工作模式需要用户集中注意于系统的提示,无法实现随心意动,因此开发基于用户自主驱动的异步M I-BCI系统尤为重要。

5 结束语

综上所述,运动意图的头皮脑电编解码在范式设计和实际应用方面日益完善,目前已经取得了一定进步和发展。相比传统M I-BCI,其在高自由度连续控制和临床康复等场景应用中具有高指令集、高匹配度以及高容错率的优点。随着相关技术的研究与发展,相信未来更多面向工业、生活娱乐、医疗、军事等领域的实用型运动意图BCI系统将不断涌现,并在人-机交互工程中发挥越来越重要的作用,发展前景令人期待。

猜你喜欢
编解码脑电解码
《解码万吨站》
1553B总线控制器编解码设计
解码eUCP2.0
大型民机试飞遥测视频编解码方法研究
NAD C368解码/放大器一体机
Quad(国都)Vena解码/放大器一体机
基于H.265编解码的高清视频传输系统研究
现代实用脑电地形图学(续)
现代实用脑电地形图学(续)
现代实用脑电地形图学(续) 第五章 脑电地形图的临床中的应用