融合眼动追踪和目标动态可调的稳态视觉诱发电位脑机接口系统设计

何柳诗,谢俊,于鸿伟,任志远,杨育喆,李敏,徐光华

(西安交通大学机械工程学院,710049,西安)

脑-机接口(BCI)是一种通信系统,无需使用大脑外周神经和肌肉作为正常输出路径,而是通过采集并分析大脑信号并将其转化为控制指令传递给外部设备[1]。在无创BCI的研究中,从头皮记录的脑电图(EEG)活动是应用最广泛的脑电采集方式[1]。BCI技术不仅能用于提高严重残疾人群的生活质量,还能够将神经退行性疾病患者的想法传递给照顾者,而且近年来也出现了针对健康用户娱乐方面的研究[2]。得益于近年来BCI的快速发展,其应用涵盖了医学、教育、康复工程、心理学、军事、娱乐等领域[3-5]。

当前BCI研究的一个关键挑战是如何尽可能准确地提取随机时变脑电信号的特征并分类[6]。无创BCI常用的EEG脑电信号类型包含运动想象(MI)、稳态视觉诱发电位(SSVEP)、事件相关电位(ERP)等。其中,SSVEP包含平稳的周期性振荡,不易受眨眼和眼球运动产生的眼电和肌电伪迹干扰,频谱稳定且信噪比高,所需电极数量少,驱动BCI系统具有优势[7]。文献[8]使用闪烁刺激诱发的SSVEP实现了对假肢手的异步控制。相比简单的闪烁刺激,复杂的棋盘格刺激产生的SSVEP响应更明显[9],信息传输率比传统BCI高[10]。但由于脑电信号微弱,辨识困难,易受外界环境干扰,目前有研究表明,提供反馈可以极大地改善SSVEP-BCI系统的性能。文献[9]表明3D沉浸式反馈有助于维持对目标刺激的凝视并抑制分心。在SSVEP-BCI中,反馈会激发被试者的注意力,文献[11]的研究表明,视觉反馈提高了系统的分类正确率。由于现有的大多数SSVEP-BCI都需要注视,为了进一步扩大BCI的适用性,将SSVEP和非脑信号组合使用,能够实现更大的控制能力[12]。文献[13]设计的SSVEP-BCI和眼动追踪组合的混合系统增强了智能家居环境的控制。因为眼动追踪具有高信息传输率且运行快速、无需强化训练、可自然表达用户关注焦点的特点,SSVEP-BCI和眼动追踪组成的混合BCI系统更加稳定,兼具二者优势。

目前,大多数眼动追踪技术选择目标时都依赖于停留时间,即用户要在一定时间内保持对目标的注视,而由于任务的复杂性,难以确定最佳停留时间[14],这导致眼动追踪针对复杂任务容易误触发。文献[15]提出了一种眼动追踪/SSVEP混合系统,用高速的眼动系统进行粗略选择,用高分类精度的SSVEP-BCI进行精细目标激活,避免了因停留时间不当造成误触发,较单独使用BCI或眼动,混合系统的控制更稳定。文献[16]提出一种将异步眼动开关与基于同步SSVEP-BCI相结合的方法,以凝视点作为控制训练的启停信号,提高了分类正确率,验证了混合BCI的可行性和用户友好性。文献[17]评估了混合式眼动追踪和BCI系统的普遍性。可见,因为眼动信号易于识别、处理,以眼动信号作为辅助,BCI系统选择操作,既能够减少因眼睛的不当注视产生的假阳性结果,信息传输率也较单独的BCI系统高。然而,用户长时间集中精力诱发SSVEP响应时,可能由于视觉刺激亮度高、过度刺激和重复性任务造成疲劳、注意力不集中等[18];在同等屏幕大小下,目标刺激小而多的SSVEP-BCI会随目标数量增多,像素减少而导致性能,如识别正确率等的下降[19]。

为了解决SSVEP-BCI使用过程中,因屏幕大小限制,当刺激目标多而小时刺激响应不强,当被试者疲劳时难以将注意力集中在大小相同目标上的问题,本文设计了一种眼动追踪与SSVEP-BCI相结合的混合系统,通过眼动仪采集被试者的眼动指标初步判断注视目标,并将刺激目标放大以吸引被试者注意力,诱发更强的响应。实验结果表明,与普通SSVEP-BCI范式相比,本文所提出的方法刺激响应更强、识别正确率更高,因而具有更好的识别效果。

1 眼动追踪/脑机接口混合系统搭建

1.1 混合系统设计

为了验证提出的利用眼动追踪动态调整视觉目标对脑机接口性能的积极影响,本文设计了一种眼动追踪和SSVEP-BCI相结合的混合系统。图1所示为混合系统的工作原理。它主要实现在实时的视觉反馈作用下动态调整视觉刺激目标,并对采集到的被试者脑电信号进行分析处理。其中,视觉刺激模块通过MATLAB平台和Psychtoolbox工具箱将棋盘格刺激范式呈现在屏幕上,以诱发被试者的SSVEP响应;信号采集模块包括脑电信号和眼动信号的采集,脑电采集设备用于采集被试者的脑电信号,安装在屏幕正下方的眼动仪用于采集被试者的眼动数据,收集到的眼动数据将以视觉反馈的形式和刺激范式一起实时呈现在屏幕上,提醒被试者集中注意力并作为控制范式大小变化的信号;脑电信号分析模块是将脑电设备采集到的脑电信号经过预处理、特征提取、模式分类后完成对刺激目标的识别。

图1 混合系统工作原理Fig.1 Working principle of the hybrid system

1.2 眼动调控设计

有研究表明,人的大脑每天通过感官接受的外部信息中,视觉占比80%以上,故本文应用视觉反馈以增强SSVEP-BCI的性能,实现眼动调控刺激目标的功能。对于实时视觉反馈环节的设计,其关键在于实时同步地采集眼动和脑电数据,并将采集到的眼动数据以视觉提示的形式实时传输到刺激显示界面,作为视觉反馈。其作用有两点,一是实现提示被试者集中注意力并调整视线落点;二是实现眼动调控SSVEP-BCI系统的刺激目标增大。数据的传输可以通过TCP/IP协议进行控制。

TCP/IP传输协议即传输控制/网络协议,能够建立连接通道实现可靠的信息传输,发送数据时产生的时延一般不超过200 ms。通过TCP/IP传输协议控制脑电设备和眼动设备同时开始采集,并将眼动仪采集到的眼动信号发送到脑电采集程序,以视觉反馈的形式在刺激显示屏幕上呈现,其流程如图2所示。

图2 TCP/IP实现流程Fig.2 TCP/IP implementation process

2 实验验证

2.1 范式设计

本实验的范式设计是基于周期运动的振荡棋盘格运动刺激范式[20],其能量集中,频率单一,能有效减少被试者的视觉疲劳。

为验证眼动追踪下的目标动态可调方式对SSVEP-BCI性能的提升,本文设计了T1、C1、C2这3种范式,如图3所示。3种范式均有4个刺激目标分别分布在屏幕左右上下4个位置,并以8.6、10、12、15 Hz的频率进行收缩与扩张运动以诱发SSVEP响应[21]。其中,图3a范式作为测试组T1,有眼动反馈且目标动态可变,即具有实时视觉反馈环节,以眼动调控目标放大,将被试者的视线落点以红点的形式实时呈现在刺激显示界面,由于范式的收缩扩张运动可能会导致被试者眼球随之飘移,使得视线无法始终保持停留在棋盘格内,所以当视线落点在刺激开始前50帧内,进入某一目标刺激范围内超过20帧,且大于视线停留在其余3个目标上的帧数时,则锁定这一棋盘格为目标刺激并将其放大2倍,而其余3个刺激目标保持大小不变并持续单次刺激时长;图3b范式作为控制组C1,无眼动反馈且目标动态可变,即不具备红点作为实时视觉反馈,但棋盘格放大机制同T1组原理相同,即当后台检测到眼动视线时,目标刺激也放大2倍;图3c范式作为控制组C2,无眼动反馈且目标不变,即无实时视觉反馈环节且目标大小在实验过程中保持不变。3种范式除刺激目标大小有所变化外,每个刺激目标的中心位置不变,收缩扩张频率和视觉刺激灰度等均不变。

(a)T1范式

(b)C1范式

(c)C2范式图3 视觉刺激范式Fig.3 Working principle of the hybrid system

刺激范式的设计和呈现由MATLAB环境的Psychtoolbox工具箱实现。实验所使用的显示器尺寸为43.942 cm(17.3英寸),分辨率为1 920×1 080像素,刷新频率为144 Hz。

2.2 实验流程

本实验分为测试组T1和控制组C1、C2。测试组T1是为了验证有眼动反馈目标动态可变的SSVEP-BCI的性能,即以红点表示被试者的视线落点并实时呈现在屏幕上,刺激开始后50帧内,当被试者的视线落点停留在刺激目标范围内超过20帧,则锁定此刺激目标为被试者的注视目标并将其放大2倍,单次刺激时长内保持该放大状态,若不超过20帧则刺激目标不变,此时因达不到实验效果故判定该次刺激无效。控制组C1是无眼动反馈目标动态可变的SSVEP-BCI,即不在屏幕上以提示的形式呈现被试者的视线落点,但当被试者保持注视某一刺激目标时,也锁定其为注视目标并放大2倍,单次刺激时长内保持该放大状态,如若刺激目标不变则判定该次刺激无效。控制组C2是无眼动反馈目标不变的SSVEP-BCI,即在实验过程中刺激目标的大小不变,且屏幕上无表示被试者视线落点的红点。本文通过分析3组实验的脑电响应和目标识别正确率以比较眼动追踪对脑机接口性能的积极影响。

选取6名被试者(S1～S6)进行实验,所有被试者皆身体健康,双眼视力正常或矫正后视力正常,没有精神病史或神经病史,没有光或运动知觉障碍或损伤报告。实验在安静的房间进行,被试者在实验开始前调整眼睛距离屏幕的位置,以60 cm处效果为佳,定位和设置板块如图4a所示,图中人脸圆圈重合为一个,并以八点法校准眼动仪,校准结果如图4b所示,左右眼数据点集中分布在校准点周围为佳。

(a)调整眼睛位置

(b)校准图4 眼动仪的定位设置和校准Fig.4 Position setting and calibration of the eye tracker

每个被试者在实验过程中应保持头部固定,并按照刺激范式T1、C1、C2的顺序分3组依次注视以8.6、10、12、15 Hz运动的4个刺激目标。每个刺激目标进行3组实验,在屏幕上共呈现120次,连续20次为一轮,一轮结束后被试者可休整一定时间。每轮实验的刺激时序如图5所示,开始时有2 s准备时间,每轮实验重复20次,单次刺激的持续时间为3 s,单次刺激完成后有2 s的间隔时间,系统在2 s间隔内进行在线结果识别并将结果展示在屏幕上,然后重复下一次实验。3组实验除了范式不同外,其余实验设置均保持一致。

图5 刺激时序图Fig.5 Stimulus sequence diagram

2.3 信号采集

本实验需采集的信号包括脑电信号和眼动信号。使用奥地利生产的g.USBamp生物信号放大器和g.GAMMAsys有源电极系统,搭配g.GAMMAcap电极帽完成被试者的脑电信号采集,采样率为1 200 Hz。如图6所示,根据国际标准10-20系统布置电极,采用覆盖视觉皮层区域的O1、OZ、O2、PO3、POZ、PO4共6个电极实现脑电信号的采集,参考电极安放在单侧耳垂A1或A2处,地电极安放在前额FPZ处。脑电信号以6×3 600(6表示采集信号的6个通道,3 600表示以1 200 Hz的采样率连续采集3 s数据)。矩阵形式存储为MATLAB数据格式,使用瑞典生产的Tobii Pro X2-30眼动仪完成被试者的眼动数据采集,主要应用瞳孔角膜向量反射技术记录眼球运动,采样率为30 Hz。眼动仪通过USB与电脑相连,并粘贴在刺激显示屏幕正下方。眼动仪的输出数据包括:瞳孔直径(mm)、视线落点、时间戳(μs)、有效性数据(0、1)等,并以结构数组的形式存储为MATLAB数据格式。眼动数据坐标系采用显示区域坐标系(DACS),以屏幕左上角为原点,二维数组标示视线落点,范围缩放为[0,0]～[1,1]。

图6 脑电电极位置安放示意图Fig.6 A schematic diagram of placement of EEG electrodes

2.4 分类方法

脑电信号经过预处理、特征提取和模式分类以识别刺激目标,常用的信号分类方法有典型相关分析(CCA)、支持向量机(SVM)、线性判别分析(LDA)等。CCA是一种利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。它可以通过计算两个随机变量之间的典型相关系数来度量两组随机变量之间的线性相关性。基于CCA算法来识别SSVEP刺激目标是较为流行的方法之一[22],标准CCA使用纯正弦和余弦信号的人工参考模板,其频率与视觉刺激的频率相对应。本文即使用典型相关分析算法对采集到的脑电信号进行分类处理。利用CCA计算脑电信号与不同频率的参考模板信号之间的相关系数,判定相关性最高的参考信号频率对应的刺激单元为被试者的注视目标。

假设有两组随机变量,其中一组随机变量X∈RP×N为单次刺激采集到的EEG数据,P代表采集信号的通道数即6个通道,N代表每个通道采集到的数据个数即3 600个;另一组随机变量Y∈R2Q×N为参考信号,由具有特定刺激频率的谐波频率的正余弦信号组成,Q代表谐波数量,设

(1)

图7 CCA算法原理示意图Fig.7 A schematic diagram of CCA algorithm principle

CCA将多维随机变量X和Y进行线性变换,即投影到一维维度,得到X′=aTX和Y′=bTY,再计算X′和Y′的相关系数

(2)

每个频率fi都对应一个相关系数值ρi,通过比较ρi的大小来预测被试者注视的目标刺激单元。相关系数最大的参考信号频率ftarget对应的刺激单元为注视目标,即有

(3)

3 结果分析

3.1 脑电响应分析

实验共采集数据6×4×3×20×2组(6名被试者×4个刺激单元×3组范式实验×20组单次刺激×2轮重复实验),每组包含6×3 600个数据,采样率1 200 Hz,时长为3 s。使用带通滤波器对信号进行预处理,取OZ通道数据叠加平均后进行傅里叶变换,得到不同刺激频率下的脑电响应频谱如图8所示。

(a)8.6 Hz频谱

(b)10 Hz频谱

(c)12 Hz频谱

(d)15 Hz频谱图8 4种刺激频率下的脑电响应频谱图Fig.8 Spectrogram of EEG responses at four stimulation frequencies

由图8可见,被试者大脑响应中包含了对应刺激频率的脑电信号,其中红色曲线表示测试组T1的频谱图,幅值最高,蓝色曲线表示控制组C1的频谱图,幅值次之,绿色曲线代表控制组C2的频谱图,幅值最低。4个刺激目标对T1、C1、C2组的平均脑电响应幅值分别为1.824、1.379、0.987 μV。故无眼动反馈目标不变的SSVEP-BCI引起的脑电响应幅值低于无眼动反馈目标动态可变的SSVEP-BCI引起的脑电响应幅值,又低于有眼动反馈目标动态可变的SSVEP-BCI引起的脑电响应幅值。即在无眼动反馈的前提下,目标动态可变比目标不变的脑机接口效果更好;在受眼动调控目标动态可变的前提下,具有实时视觉反馈环节的有眼动反馈脑机接口效果更好。

3.2 识别结果分析

CCA算法可直接对多通道脑电信号数据和参考模板信号进行相关性分析,按照不同刺激频率统计测试组T1(Enlarge & Feedback曲线代表T1组)和控制组C1、C2(Enlarge曲线代表C1组,Normal曲线代表C2组)的目标识别正确率。采用横轴为时间窗,总采样时长为3 s,纵轴为平均识别正确率,4种刺激频率下的识别正确率对比如图9所示。

(a)8.6 Hz正确率

(b)10 Hz正确率

(c)12 Hz正确率

(d)15 Hz正确率图9 4种刺激频率下的识别正确率对比图Fig.9 Comparisons of recognition accuracies under four stimulus frequencies

由图9可见,随着时间窗长的增大,3组实验的平均正确率都呈上升趋势,在3 s时间窗长时,T1组的平均正确率最高,正确率值为92.97%,C1组次之,正确率值为88.39%,C2组最低,正确率值为79.48%,折线层次区分明显。在10 Hz的刺激频率下,当时间窗长度为3 s时,T1和C1正确率相近,大于C2。此时T1和C1的正确率接近可能是因为当时间窗长度超过一定阈值时,对平均识别正确率的提升有限,视觉反馈此时没有明显优势。

对3组实验的识别正确率数据做统计显著性分析,为保证统计意义需样本量足够大,每组数据点取120个(4个频率×5个时间点×6个受试者),影响正确率的因素是实验方法,且因T1、C1组数据不满足正态性假定,故采用单因素非参数方差分析,Kruskal-Wallis检验得到3组实验数据具有显著性(χ=33.39,P=5.61×10-8),箱型图如图10a所示,多重比较结果如图10b所示,其中T1组和C1组具有显著性(χ=66.37,P=0.023 8),T1组和C2组具有显著性(χ=108.46,P=2.46×10-8),C1组和C2组具有显著性(χ=73.41,P=0.004 7)。

(a)箱型图

(b)多重分析结果图图10 3组实验的统计显著性分析结果示意图Fig.10 Statistical significance analysis results of three groups of experiments

时间窗长度取1.5 s,6个被试者分别在4个刺激频率下进行测试组T1、控制组C1、控制组C2实验的识别正确率如表1所示。从表中可见,T1组的总平均识别正确率达83.21%,C1组的总平均识别率达77.15%,C2组的总平均识别率达65.13%。若去除SSVEP诱发脑电响应效果差的被试者S5,T1组的总平均识别正确率可达90.19%,C1组的总平均识别正确率可达83.58%,C2组总平均识别正确率为71.98%。分析可知,本文提出的有眼动反馈目标动态可变的眼动追踪/脑机接口混合系统比无眼动反馈目标动态可变的混合系统有优势,又比无眼动反馈目标不变的SSVEP-BCI更具有优势,可达到较高的识别正确率。

表1 T1、C1、C2组在1.5 s时间窗长度下的目标识别正确率Table 1 Table of recognition accuracies of T1,C1 and C2 groups in 1.5 s time window length

4 结 论

针对实验过程中,因屏幕尺寸限制、刺激目标多且面积小而致被试者脑电响应不强、容易产生疲劳、难以将注意力集中在同等大小的刺激目标上等问题,本文提出了一种基于眼动追踪的视觉目标动态可变的SSVEP-BCI系统。该混合系统以眼动追踪技术提供视觉反馈,并对刺激目标大小加以调节,兼具了眼动追踪快速高效和SSVEP平稳高信噪比的优势。实验结果表明,被试者使用有眼动反馈目标动态可变的脑机接口时,其识别正确率和脑电响应幅值均高于使用无眼动反馈目标动态可变的脑机接口,又高于使用无眼动反馈目标不变的脑机接口。对于CCA分类方法,在4种刺激频率下,T1组较C1和C2组能在更短的时间窗内达到90%的识别正确率。对照实验说明,视觉反馈与目标动态可调对脑电响应幅值和识别正确率有影响。推测C1组脑机接口性能优于C2组是由于目标刺激放大后,受试者观察刺激时更加清晰,人眼感知到的收缩扩张运动更加明显,导致性能增强;推测T1组优于C1组是由于眼动反馈的存在有效吸引受试者的目光,从无意识的观察刺激转变为主动调整视线并观察目标刺激,一定程度上提升了受试者的注意力水平,使性能增强。总而言之,实验结果表明了有眼动反馈目标动态可变的混合系统能有效地激发被试者的注意力,具有更好的识别优势,能引起更高的脑电响应,驱动BCI系统更具有优势。

该方向可进一步深入研究,如增加刺激目标数量,使用本文方法进行比对,探索有眼动反馈目标动态可变的脑机接口技术在多目标识别中的优势;改变视觉反馈的提示形式(颜色、形状等),探索视觉反馈对脑机接口技术的积极影响。