基于视觉刺激的运动想象实时系统设计

赵 丽，王宣方

（天津职业技术师范大学天津市信息传感与智能控制重点实验室，天津 300222）

基于视觉刺激的运动想象实时系统设计

赵 丽，王宣方

（天津职业技术师范大学天津市信息传感与智能控制重点实验室，天津 300222）

以Matlab软件为平台，搭建了一种基于视觉刺激的实时脑机接口系统，选用共空间模式和支持向量机做实时信号处理，对5名被试各进行3次实验。实验结果表明：实时系统的最高正确率为90%，平均正确率为83%；采用的特征提取和模式识别算法具有较高的实时识别正确率和识别速度，设计的系统具有较高的可行性。

视觉刺激；运动想象；实时系统

随着人们对大脑研究的不断深入，针对大脑的思维起源、认知能力、功能定位等方面，研究人员均进行不同程度的研究，并开始广泛关注基于视觉和运动等事件相关电位的研究[1]。脑机接口（brain-computer interface，BCI）是直接通过计算机或其他外设实现人脑与外界交流和控制的通道[2]。在残障患者的康复训练中，事件相关电位的脑-机接口技术已被广泛应用[3]，成为当前研究的热点问题。研究如何有效训练、如何能更有效地激活大脑功能区，对运动想象脑机接口的应用具有重要意义。

运动观察（movement observation，MO）被定义为对运动行为的观察与感知[4]。相对于运动想象，它还需要观察者对自身运动技能进行换位感知[5]。而运动想象（motor imagery，MI）则是不依赖真实的肌肉活动的运动行为在心理上的复现[6]。功能成像的研究结果表明，自身运动、想象运动和观察运动之间存在着功能性关联，想象运动和观察运动均能激活参与自身运动相应的脑区[7]。二者的有机协调对于运动想象脑机接口技术的研究具有重要意义。本文在Matlab平台上搭建了一种基于视觉刺激的实时脑机接口系统，选用共空间模式和支持向量机做实时信号处理，5名被试各进行3次实验验证。实验结果表明：实时系统的最高正确率为90%，平均正确率为83%。本文采用的特征提取和模式识别算法具有较高的实时识别正确率和识别速度，设计的基于视觉刺激的运动想象实时系统具有较高的可行性。

1 系统基本构成设计

本文建立的基于视觉刺激的运动想象实时系统由刺激采集系统和计算机软件系统2部分组成，其结构如图1所示。

图1 系统总体框架

采集系统是整个实时在线BCI的基础。实验均在隔音效果良好的房间内进行，实验设备为Neuroscan公司生产的64导脑电采集系统。通过研究发现，C3通道的信号与FC5、FC3、C5、CP3和CP5相关性较强，C4通道的信号与FC8、FC6、C6及CP4和CP6相关性较强。因此，选用其中41导联用于信号处理，导联电极帽电极分布图如图2所示。参考电极设在Cz与Cpz之间，选取全头平均作为参考，采样率设置为1 000 Hz，带通滤波器的滤波通带为0.5～200 Hz；同时采用陷波器滤除50 Hz工频干扰。该系统使用的是Neuroscan公司研制的新型电生理放大器SynAmps2，数据通过USB 2.0接口传送到Scan计算机，Scan软件为Neuroscan系统的核心软件，两者结合可采集到最高质量的数据。采集时，被试根据界面上的提示完成想象相应运动的任务。

图2 导联电极帽电极分布图

计算机软件系统是整个实时系统的主体，主要负责与用户交互的提示界面部分、实验流程控制部分、实时特征提取与模式识别部分以及反馈显示部分。

软件操作界面负责所有的人机交互操作，设置2个部分：训练部分和有反馈实时工作部分。

2 特征提取

本文选用在以运动想像为基础的脑机接口系统中使用比较广泛的共同空间模式（CSP）方法进行特征提取。这是一种基于多通道的空间滤波方法。基于2个协方差矩阵的同时对角化设计最优空间滤波器，从而分辨左手想象运动和右手想象运动的脑电特征。

将每次任务的脑电数据存储为一个N×T维的矩阵X。其中，N为脑电信号测量时的通道数，T为每个通道的采样点数，则脑电数据的归一化协方差矩阵可以表示为：

分别使用Cl和Cr代表想象左和想象右2种情况下的空间协方差矩阵，tr（*）表示矩阵的迹。对合成的空间协方差矩阵进行分解，得到特征值对角矩阵为Σ，对应的特征向量矩阵为U0。

按照降序排列特征值，则对应的特征向量也会重新排列。通过主成分分析，求出白化矩阵为：

因此，协方差矩阵Cl与Cr可以变换为：

进行主成分分解，得到λl+λr=I，取其中最大的m个特征值对应的特征向量组成投影矩阵：

取λl和λr中最大的m个特征值对应的特征向量组成投影矩阵B=（Bl′Br′），投影矩阵W=BTP，则单次任务实验的脑电数据X可以变换为Z=WX。将投影后的信号ZP做如下变化可得到所需的特征值为：

3 模式识别

本文模式识别部分采用基于统计学习理论的机器学习方法：支持向量机（support vector machines，SVM）。SVM通过非线性映射将输入向量映射到一个高维的特征空间，最终使脑电数据被一个超平面分割，获得可以使分类间隔最大的最优分类面。SVM在解决小样本、非线性及高维问题时具有较好的分类能力和较高的计算效率。

在构造最优分类面的问题上可通过解决一个凸二次规划问题来实现，即在约束条件式（7）下使函数式（8）取得最小值。

式中：x为输入向量；y为x对应的所属类别；ω为分类面的权系数向量；b为分类阈值；C为惩罚因子；ζi是松弛因子。

对于线性不可分的情况，可以引入松弛变量和惩罚因子，在一定程度上近似为线性可分；也可以使用核函数将低维映射为高维空间。本文采用训练阶段的数据做训练样本，通过CSP算法得到的空间滤波器，得到最优的特征组合，作为SVM分类器的模型参数。使用Matlab中libsvm工具箱的svmtrain对训练样本进行训练，获得SVM模型，再根据训练获得的模型通过svmpredict对数据集合进行预测。

4 实验验证

本实验采集了5名被试的脑电信号，包含1名男生和4名女生。被试均为健康的本校学生，年龄在20～25岁之间，每个被试各进行3次实验验证。

实验时，被试安静地正坐于距屏幕约1 m的靠椅上，保持放松，想象时尽量避免眼动，休息时可以眨眼。实验中要保持实验环境的相对安静，排除外界因素的干扰。刺激计算机与采集计算机通过网线链接，2台计算机分别设置端口号和IP地址。实验人员向被试讲述实验流程（分为训练部分和有反馈实时工作部分）及注意事项。训练部分任务模式示意图如图3所示。

图3 训练部分任务模式示意图

0～2 s屏幕出现红色“Prepare”提示实验开始；2～8 s屏幕交替出现左手或右手的手部抓握运动视频，被试观看视频想象自己手部的相应运动；8～10 s屏幕出现绿色“Please take a break”提示被试休息，帮助被试将想象状态恢复到最佳水平。有反馈实时工作部分任务模式示意图如图4所示。0～2 s屏幕出现红色“Prepare”提示实验开始；2～8 s屏幕出现2个篮筐和1个篮球，随机在左右篮筐上方出现相应手部抓握运动视频，被试观看视频想象自己手部的相应运动，完成投篮任务；8～10 s屏幕出现任务结果并判断是否正确，同时被试休息。

图4 有反馈实时工作部分任务模式示意图

每名被试进行3次实验，每次实验训练部分进行20组，有反馈实时工作部分进行20组，分别记录3次实验中有反馈实时工作部分的正确次数，并计算最高正确率和平均正确率。实验结果如表1所示。

表1 实时系统实验结果汇总

由表1可以看出，基于视觉刺激的运动想象实时系统的最高正确率为90%，平均正确率为83%，所有被试都能顺利完成实验。但对于不同的被试，实验结果存在个体差异性。每次实验后，同被试进行实验总结和经验交流，再次实验的效果普遍好于上一次。因此，基于视觉刺激的运动想象实时系统对基于运动想象的康复训练的发展具有一定的现实意义。本文研究结果中的分类正确率处于较为理想的水平，证明所采用的特征提取和模式识别算法具有较高的实时识别正确率和识别速度，设计的基于视觉刺激的运动想象实时系统具有较高的可行性。每名被试第3次实验左右手正确率对比如图5所示。

图5 每名被试第3次实验左右手正确率对比

从图5可以看出，除被试S4以外，其他被试想象右手的正确率均高于想象左手的正确率，被试S1想象右手动作的正确率高达100%；想象左手的平均正确率为77%，想象右手的平均正确率为89%。由此可见，左手想象运动的成功率和产生有效信号的能力均比右手略差一些，这可能与被试均为右利手有关。

5 结束语

本文对基于视觉刺激运动想象的实时脑机接口系统进行设计与实现。在Matlab平台设计了结合抓握视频刺激的运动想象实验范式，针对多导联分析的共空间模式特征提取方法选取采集脑电信号时的41导联电极，并通过TCP/IP实现了数据的实时传输传输；设计了训练部分和有反馈实时工作部分；用训练模式中的训练结果实现对特征组合和SVM分类器模型参数的设置，最终实现运动想象意识任务的在线识别。实验结果表明，实时系统的最高正确率为90%，平均正确率为83%。本文采用的特征提取和模式识别算法具有较高的实时识别正确率和识别速度，设计的基于视觉刺激的运动想象实时系统具有较高的可行性。

［1］ 贡平.运动想象脑电信号特征提取研究［D］.重庆：重庆大学，2014.

［2］ 高上凯.浅谈脑-机接口的发展现状与挑战［J］．中国生物医学工程学报，2007，26（6）：801-803.

［3］ MASON S G，BASHASHATI A，FATOURECHI M，et al．A comprehensive survey of brain interface technology designs［J］．Annals of Biomedical Engineering，2007（2）：137-169.

［4］ BERENDS H I，WOLKORTE R，IJZERMAN M J，et al.Differentialcorticalactivationduringobservationandobservationand-imagination［J］.Experimental Brain Research，2013，229（26）：337-345.

［5］ PULYERMULLER F，FADIGA L.Active perception：Sensorimotor circuits as a cortical basis for language［J］.Nature Reviews Neuroscience，2010，11（6）：351-360.

［6］ NEUPER C，SCHERER R，WRIESSNEGGER S，et al.Motor imagery and action observation：Modulation of sensorimotor brain rhythms during mental control of a brain-computer interface［J］.Clinical Neurophysiolog Official Journal of the International Federation of Clinical Neurophysiology，2009，120（36）：239-247.

［7］ TOSHIYUKI K，MIDORI S，YOSHIKATSU H，et al.Effect of instructive visual stimulus on neurofeedback training for motor imagery-based stroke rehabilitation［J］.European Journal of Physcial and Rehabilitation Medicine，2012（2）：313-318.

［8］ 奕伟波.基于复合肢体想象动作的脑电特征识别技术研究［D］.天津：天津大学，2012.

［9］ 刘蓉，李春月，王永轩，等.基于序贯似然比检验的运动想象脑电信号分类方法研究［J］.大连理工大学学报，2013，53（6）：898-902.

［10］WU W，CHEN Z，GAO X R，et al.Probabilistic common spatial patterns for multichannel EEG analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intellgence，2015，37（3）：639-653.

［11］MCCANE L M，HECKMAN S M，MCFARLAND D J，et al. P300-based brain-computer interface（BCI）event-related potentials（ERPs）：People with amyotrophic lateral aclerosis（ALS）vsage-matched controls［J］.Clinical Neurophysiology，2015，126（11）：2124-2131.

Online system based on visual stimulation for motor imagery

ZHAO Li，WANG Xuan-fang
（Tianjin Key Laboratory of Information Sensing and Intelligent Control，Tianjin University of Technology and Education，Tianjin 300222，China）

An online system for brain computer interface based on visual stimulation is built on the Matlab platform.The online signal processing is done by using common space model and support vector machine.The test results show that the highest accurate rate of real time system is 90%，the average correct rate of the real-time system is 83%and the system designed in this paper and the feature extraction and pattern recognition algorithm has a high recognition rate and recognition speed.It can meet the requirements of online system and classification of brain computer interface.

visual stimulation；motor imagery；online system

TP274.2

A

2095－0926（2016）04－0001－04

2016-11-07

国家自然科学基金资助项目（61178081）；天津市应用基础与前沿计划重点项目（C14JCZDJC36300）.

赵 丽（1962—），女，教授，工学博士，硕士生导师，研究方向为生物医学信号处理、智能信息检测等.