面向癫痫EEG自适应识别的迁移径向基神经网络*

2016-12-19 01:12谢丽潇邓赵红史荧中王士同
计算机与生活 2016年12期
关键词:测试数据径向癫痫

谢丽潇,邓赵红,史荧中,王士同

江南大学 数字媒体技术学院,江苏 无锡 214122

面向癫痫EEG自适应识别的迁移径向基神经网络*

谢丽潇,邓赵红+,史荧中,王士同

江南大学 数字媒体技术学院,江苏 无锡 214122

XIE Lixiao,DENG Zhaohong,SHI Yingzhong,et al.Transfer radial basis function neural network for adaptive recognition of epileptic EEG signals.Journal of Frontiers of Computer Science and Technology,2016,10 (12):1729-1736.

脑电图(EEG);径向基神经网络;直推式迁移学习

1 引言

癫痫是由脑部损伤引起的短暂大脑功能障碍,是人类大脑中最常见的疾病之一,对人类健康危害极大[1]。癫痫患者的脑电图(electroencephalogram,EEG)信号中包含了脑内大量的生理和病理信息,因此EEG智能识别对于癫痫检测有着十分重要的意义。目前,多种智能识别方法都被应用于癫痫脑电信号的识别中。其中代表性的方法有以下几种:神经网络方法[2]、决策树算法(decision tree,DT)[3]、朴素贝叶斯法(naïve Bayes,NB)[4]、K近邻算法(K-nearest neighbor,KNN)[5]等。在目前主要的智能识别方法中,径向基神经网络(radial basis function neural network,RBFNN)由于具有良好的容错能力、分类能力、并行处理能力和自学习能力,在实际应用中能够显示出更好的综合分类效果[2]。本文重点探讨基于径向基神经网络的癫痫脑电信号识别。

虽然径向基神经网络和已有的这些基于机器学习技术的智能识别方法都取得一定的效果,但均面临着一个共同的挑战:这些方法获得的分类器的性能都依靠一个前提假设条件,即模型的训练数据和测试数据具有相同的分布,但此假设在实际应用中的许多场景下是无法满足的。例如,在用于训练和测试的癫痫EEG信号中,可能存在不完全相同的分布,这就造成了传统智能方法在此类场景下有效性的明显降低。

在癫痫病识别中,由于病人状态、药物作用、测试时间等多重因素的干扰,使得EEG信号存在着多种不同的数据分布特征,大致可以归纳为如下3种:(1)健康者正常状态下的EEG信号;(2)癫痫病人发病期状态下的EEG信号;(3)癫痫病人发病间歇期的信号[6]。这3种信号的数据分布特征均各自独立,且相互之间存在一定的差异。一般在模型训练时,研究者大多使用大量已知类别的(1)和(2)状态下的信号数据进行分类构建。这样构建得到的分类器在面对(3)信号为测试集的分类任务时[7],分类器的性能必将下降,以训练数据和测试数据具有相同分布为前提的传统智能建模技术将可能不再适用。因而提出具有更好适应性的癫痫脑电信号识别方法非常有意义。

针对上述挑战,本文从迁移学习的角度提出了具有迁移学习能力的基于径向基神经网络的癫痫病脑电信号识别方法。为了使得探讨的癫痫EEG识别方法对目标域的数据具有较松的限制,即不要求给定标记信息,本文具体选择的是直推式迁移学习。进一步将直推式迁移学习与RBFNN模型相结合,提出了具有直推式迁移学习能力的径向基神经网络TRBFNN(transductive RBFNN)。提出的新方法因具备了迁移学习能力而不再局限于训练域和测试域数据分布一致的假设,允许两者之间存在一定的差异性,因而具有较好的场景适应性[8]。

2 相关工作

径向基神经网络是Powell在1985年为解决实多变量插值问题时首次提出的,1988年,Broomhead和Lowe继而将径向基函数(radial basis function,RBF)应用于神经网络设计[9],即RBF神经网络,属于前馈型神经网络,它能够以任意精度逼近任意连续函数,比较适合于解决分类问题。并且迁移学习的引入,更加放宽了对数据分布的要求,使得适用场景更为广泛。本文具体选用的是直推式迁移学习。

2.1 径向基神经网络

RBFNN是一个三层的神经网络,它的神经元结构如图1所示[10]。第一层是输入层,由一些源节点(即感知节点)组成,它们的作用是将网络与外界环境连接起来;第二层是隐层,由隐单元组成,它的作用是从输入空间到隐含特征空间之间进行非线性变换;第三层是输出层,它是为提供网络的响应而专门设计的,该响应提供给应用于输入层的激活模式,从隐含层空间到输出层空间的变换是线性的[9]。

Fig.1 Basic structure for RBFNN图1 径向基神经网络基本结构

这里,x∈Rd为输入向量;wj表示隐含层到输出层的连接权值;cj∈Rd,j=1,2,…,M为隐含层的第j个节点的中心;‖⋅‖表示欧几里得范数;Φ表示径向基函数,在径向基神经网络中常用的径向基函数是高斯函数(Gaussian),因为高斯函数具有表示形式简单,光滑性好以及解析性好等优点[11],便于理论性分析,表示形式为:

图1中,输入层包含n个单元,隐含层m个隐单元,输出层包含一个输出层单元。径向基函数的定义如下:

其中δj为宽度值。

隐含层空间到输出空间的映射是线性的,即网络的输出是隐单元输出的线性加权和。此处的权值wj为可调参数。由此可见,从总体上看,网络由输入到输出的映射是非线性的,而网络输出对可调参数而言却又是线性的。这样网络的权值就可由线性方程直接解出,从而大大加快学习速度并避免局部极小问题[12]。

径向基神经网络的优点在于能够逼近任意的非线性函数,可以处理系统内难以解析的规律性,具有良好的泛化能力,并有很快的学习收敛速度,已成功应用于非线性函数逼近、数据分类、模式识别、图像处理等方面[13]。它需要调节的参数只有3个,即隐含层中心点cj、宽度值δj和连接权值wj,学习过程也较为简单。

径向基神经网络也是前馈神经网络的一种,数据x从输入到输出经过了某种映射Φ,最后得到一个输出y,这种映射关系可以简化为:

这里,pg即式(1)中的连接权值wj表示的向量;xg表示输入向量x经过映射函数Φ映射过后的值。

2.2 直推式迁移学习

近年来,迁移学习引起了广泛的关注和研究,它是运用已有的知识对不同但相关的领域问题进行求解的一种新的机器学习方法。它旨在从一个或多个源任务中提取知识,并将这些知识运用到目标任务中[14]。根据源领域和目标领域样本有无标签以及任务是否相同,可以将迁移学习分为归纳式迁移学习、直推式迁移学习和无监督迁移学习等。直推式迁移学习(transductive transfer learning)最早是由Vapnik提出的[15],它的源领域中有一定量的标注信息,而目标域中只有非常少甚至没有标注信息。它的适用情况为:源领域和目标领域不一致但相关,源任务与目标任务相同[15]。

3 基于径向基神经网络的迁移学习方法

本文引入直推式迁移学习探讨直推式迁移学习径向基神经网络的构建。具体地,基于2.1节径向基神经网络学习方法,引入直推式迁移学习策略,提出直推式迁移学习径向基神经网络训练新的优化目标函数,从而得到具体的直推式迁移学习径向基神经网络学习算法。

3.1 最大均值距离和投影最大均值距离

最大均值距离和投影最大均值距离在直推式迁移学习中显示出了独特的有效性[6]。对于来自不同分布的数据集 Ds={x1,x2,…,xN}和 Dt={z1,z2,…,zM},两个分布之间的距离度量可表示为如下的最大均值距离(maximum mean distance,MMD):

这里,φ(xj)是一个映射函数。根据式(1),将训练域X和测试域Z的输入数据Ds={x1,x2,…,xN}和Dt={z1, z2,…,zM}映射到如下的特征空间。

这里xgi和zgi由式(2)获得,表示原始空间数据在径向基神经网络映射后的空间对应的数据。进一步地,给定投影向量Pg,则Pg映射下的投影最大均值距离(projected maximum mean distance,PMMD)可表示为:

在迁移学习算法中,上述度量通常用来估计两个不同分布的差异。例如,在经典的最大化间隔投影迁移学习方法中,投影最大化均值度量用于实现核方法的迁移学习[14]。

根据径向基神经网络的特点,本文定义如下的投影均值距离来度量不同分布的差异,即径向基神经网络对应的不同分布的差异表示为:

基于径向基神经网络投影最大均值距离,本文将其用来实现该空间的分布差异的度量,从而进一步实现相应的迁移学习。

3.2 直推式迁移学习径向基神经网络的优化目标和参数学习

3.3 直推式迁移学习径向基神经网络学习算法

基于上文提出的直推式迁移学习径向基神经网络的原理和优化过程,下面给出详细的算法描述。

算法1直推式迁移学习径向基神经网络迁移学习算法

阶段1数据处理阶段。

设置神经网络层数M和正则参数τ;利用模糊C均值聚类法求得中心点cj,宽度值δj;针对高斯核函数来构造新特征空间的数据集D˜s={x1,x2,…,xN}和D˜t={z1,z2,…,zM}。

阶段2迁移学习阶段。

设置迁移学习参数λ,利用交叉验证法得到当前迁移学习系统的测试数据集;

分别利用式(13)与(14)计算出β,利用式(9)计算得到pg。

阶段3径向基神经网络模型生成阶段。

根据学习得到的xg和pg得到最终模型,算法终止。

4 实验研究

为了评价本文算法的性能,在EEG信号识别中进行了大量的实验,本文将从两个方面进行实验比较:(1)本文方法与经典的支持向量机(support vector machine,SVM)[16]、TSK模糊系统[17]、径向基神经网络进行性能比较;(2)本文方法与相关的具有迁移能力的回归方法:迁移支持向量机(TSVM)、大间隔直推式迁移学习(LMPROJ)以及文献[15]中基于图论的两个协同正则化迁移算法,进行性能比较。

4.1 数据集

本文采用的EEG数据来源于德国波恩大学,EEG信号测量方式及其完整说明参见文献[16-17(]http: //epileptologie-bonn.de/cms/front_content.php?idcat=193 &lang=3&changelang=3)。EEG信号数据集里有5组数据(分别命名为A到E组),每组数据包含100个样本。A组和B组信号是5个健康志愿者的EEG信号,数组A是志愿者保持睁眼状态下所测得的信号;数组B则是闭眼时的信号。C~E组则是癫痫病患者测量得到的EEG信号,C组是在其发作间歇期测得大脑的海马结构处的EEG信号;数组D则是发病间歇期的大脑致痫区内的EEG信号;E组是癫痫患者发作期间内测得的信号[18-19]。表1给出了5组数据的具体描述。

Table 1 Description of datasets表1 数据集描述

4.2 实验设置

本文构造了4组训练和测试数据分布具有一定差异性的实验集和两组分布无差异的实验集,这6组实验数据集的训练集和测试集分别由伯恩大学的5组EEG信号数据中抽取的部分数据构成。数据集1、2的训练数据集和测试数据集来源于相同的分布,但是抽取的样本不同。实验数据集3~6的训练集和测试集则具有不同的分布。另外每个实验数据集的训练和测试数据集均不含相同样本,互相独立。具体设置如表2所示。本文实验中设计多个对比算法,所有参数设置见表3。

Table 2 Structure of experimental datasets表2 实验数据集的构成

Table 3 Parameter settings表3 参数的设置

4.3 实验结果与分析

本文方法与经典非迁移智能算法以及迁移学习方法的比较结果如表4所示。从表4中可以看出:

Table 4 Results of experiments表4 实验结果

(1)在训练数据集和测试数据集分布相同的情况下,非迁移学习方法和迁移学习方法的效果相差不多,而对于分布具有一定差异性的实验数据集3~6,非迁移学习方法的检测效果之间差别较大,迁移学习方法在总体上要优于非迁移学习方法。

(2)在训练数据集和测试数据集分布具有一定差异的情况下,基于RBFNN构建的分类器识别精度相较于其他非迁移方法有显著的提高,传统非迁移方法的分类效果较差,而具有迁移学习能力的基于RBFNN构建的分类器效果较好,分类精度都达到了90%以上。

(3)基于RBFNN构建的分类器识别精度相较于其他迁移方法没有显著变化,只是略有波动。由于RBFNN需要调节的参数少,比较容易使用,稳定性和容错性也要强于LMPROJ等迁移学习算法。

综上所述,本文提出的基于RBFNN构建的具有迁移学习能力的智能模型在分类精度上,要优越于传统的非迁移学习方法,在多类分类上显示出一定的通用性。并且RBFNN智能模型易学习和训练,稳定性高,相比其他智能算法显示出一定的优越性。

5 结束语

本文针对癫痫检测中的EEG信号进行分析,在所用的训练集和测试集分布不同的情况下,利用RBFNN模型强大的非线性分类能力,并且引入迁移学习方法来应对分布不同带来的差异性,给出了具体的基于迁移学习理论的径向基神经网络EEG信号识别的工作框架。具体地,选用了直推式的迁移学习分类方法,更符合本文的数据要求。然而迁移分类效果的好坏也与TRBFNN算法中参数的选择有关,参数选择的好坏将直接影响到最后的检测精度。因此,本文利用五倍交叉验证来寻找最佳参数,以期达到最好的分类效果。

虽然本文算法显示出了独特的优势,但是依然有一些问题需要进一步研究。例如,目前RBFNN属于前馈神经网络的一种,人工神经网络由于拓扑结构的不同有许多分类,如何提出更加具有普适性的算法,值得进一步深入研究。

[1]Jiang Yizhang,Deng Zhaohong,Wang Shitong,et al.0-order-L2-norm-Takagi-Sugeno-Kang type transfer learning[J].Acta Electronic Sinica,2013,41(5):897-904.

[2]Huang G B,Saratchandran P,Sundararajan N.A generalized growing and pruning RBF(GGAP-RBF)neural network for function approximation[J].IEEE Transactions on Neural Networks,2005,16(1):57-67.

[3]Goker I,Osman I,Ozekes S,et al.Classification of Juvenile myoclonic epilepsy data acquired through scanning electromyography with machine learning algorithms[J].Journal of Medical Systems,2012,36(5):2705-2711.

[4]Quinlan J R.C4.5:programs for machine learning[M].San Mateo,USA:Morgan Kaufmann,1993.

[5]Peterson L.K-nearest neighbor[J].Scholarpedia,2009,4 (2):1883.

[6]Yang Changjian,Deng Zhaohong,Jiang Yizhang,et al. Adaptive recognition of epileptic EEG signals based on 0-order TSK type transfer fuzzy system[J].Application Research of Computers,2015,32(8):2276-2280.

[7]Bruhn J,Röpcke H,Rehberg B,et al.Electroencephalogram approximate entropy correctly classifies the occurrence of burst suppression pattern as increasing anesthetic drug effect[J].Anesthesiology,2000,93(4):981-985.

[8]Pan S J,Yang Q.A survey on transfer learning[J].IEEE Transactions on Knowledge&Data Engineering,2010,22 (10):1345-1359.

[9]Debener S,Ullsperger M,Siegel M,et al.Trial-by-trial coupling of concurrent electroencephalogram and functional magnetic resonance imaging identifies the dynamics of performance monitoring[J].The Journal of Neuroscience,2005, 25(50):11730-11737.

[10]Lockley S W,Evans E E,Scheer F,et al.Short-wavelength sensitivity for the direct effects of light on alertness,vigilance,and the waking electroencephalogram in humans[J]. Sleep,2006,29(2):161-168.

[11]Zhang Yun,Zhou Quan,Sun Caixin,et al.RBF neural network and ANFIS-based short-term load forecasting approach in real-time price environment[J].IEEE Transactions on Power Systems,2008,23(3):853-858.

[12]Li Yahui,Qiang Sheng,Zhuang Xianyi,et al.Robust and adaptive backstepping control for nonlinear systems using RBF neural networks[J].IEEE Transactions on Neural Networks,2004,15(3):693-701.

[13]Lin C L,Wang J F,Chen C Y,et al.Improving the generalization performance of RBF neural networks using a linear regression technique[J].Expert Systems with Applications, 2009,36(10):12049-12053.

[14]Yang Changjian,Deng Zhaohong,Jiang Yizhang,et al. Adaptive recognition of epileptic EEG signals based on transfer learning[J].Journal of Frontiers of Computer Science and Technology,2014,8(3):329-337.

[15]Ren Chuanxian,Dai Daoqing,Huang Kekun,et al.Transfer learning of structured representation for face recognition[J].IEEE Transactions on Image Processing,2014,23(12):5440-5454.

[16]Shalev-Shwartz S,Singer Y,Srebro N,et al.Pegasos:primal estimated sub-gradient solver for SVM[J].Mathematical Programming,2011,127(1):3-30.

[17]Almaraashi M,John R,Coupland S,et al.Time series forecasting using a TSK fuzzy system tuned with simulated annealing[C]//Proceedings of the 2010 IEEE International Conference on Fuzzy Systems,Barcelona,Jul 18-23,2010. Piscataway,USA:IEEE,2010.

[18]Polat K,Günes S,Classification of epileptic form EEG using a hybrid system based on decision tree classifier and fast Fourier transform[J].Applied Mathematics and Computation,2007,187:1017-1026.

[19]Tanaka K,Matsunaga K,Wang H O.Electroencephalogrambased control of an electric wheelchair[J].IEEE Transactions on Robotics,2005,21(4):762-766.

附中文参考文献:

[1]蒋亦樟,邓赵红,王士同.0阶L2型TSK迁移学习模糊系统[J].电子学报,2013,41(5):897-904.

[6]杨昌健,邓赵红,蒋亦樟,等.基于0阶TSK型迁移模糊系统的EEG信号自适应识别[J].计算机应用研究,2015,32 (8):2276-2280.

[14]杨昌健,邓赵红,蒋亦樟,等.基于迁移学习的癫痫EEG信号自适应识别[J].计算机科学与探索,2014,8(3):329-337.

XIE Lixiao was born in 1992.She is an M.S.candidate at School of Digital Media,Jiangnan University.Her research interests include intelligent modeling methods and their applications.

谢丽潇(1992—),女,江苏溧阳人,江南大学数字媒体学院硕士研究生,主要研究领域为智能建模及其应用。

DENG Zhaohong was born in 1982.He is an associate professor at School of Digital Media,Jiangnan University. His research interests include fuzzy modeling and intelligent computation.

邓赵红(1982—),男,安徽蒙城人,江南大学数字媒体学院副教授,主要研究领域为模糊建模,智能计算。

SHI Yingzhong was born in 1970.He is a Ph.D.candidate at School of Digital Media,Jiangnan University.His research interests include intelligent modeling methods and their applications.

史荧中(1970—),男,江南大学数字媒体学院博士研究生,主要研究领域为智能建模及其应用。

WANG Shitong was born in 1964.He is a professor at School of Digital Media,Jiangnan University.His research interests include artificial intelligence,pattern recognition and bioinformatics.

王士同(1964—),男,江苏扬州人,江南大学数字媒体学院教授,主要研究领域为人工智能,模式识别,生物信息。

Transfer Radial Basis Function Neural Network for Adaptive Recognition of Epileptic EEG Signals*

XIE Lixiao,DENG Zhaohong+,SHI Yingzhong,WANG Shitong
School of Digital Media,Jiangnan University,Wuxi,Jiangsu 214122,China
+Corresponding author:E-mail:dengzhaohong@jiangnan.edu.cn

In epileptic electroencephalogram(EEG)signal recognition,traditional intelligent modeling method requires that the training data set and test data sets are subject to the same distribution.But in practical applications,some cases cannot meet this condition,which results in a sharp degeneration in the performance of traditional methods.In order to overcome the above challenge,by the introduction of transfer learning strategies,this paper proposes a transductive radial basis function neural network(TRBFNN)in order to cater for the migration environment of data distribution. The experimental results in epileptic EEG signals recognition show that the proposed TRBFNN has better adaptability for migration scenarios of data distribution and the recognition performance will not be sharp deterioration when there are differences between the distributions of the training data and test data.

electroencephalogram(EEG);radial basis function neural network;transductive transfer learning

10.3778/j.issn.1673-9418.1601059

A

TP391

*The National Natural Science Foundation of China under Grant No.61170122(国家自然科学基金面上项目);the Outstanding Youth Foundation of Jiangsu Province under Grant No.BK20140001(江苏省杰出青年基金项目);the New Century Excellent Talent Foundation from Ministry of Education of China under Grant No.NCET-120882(新世纪优秀人才支持计划项目).

Received 2016-01,Accepted 2016-04.

CNKI网络优先出版:2016-04-19,http://www.cnki.net/kcms/detail/11.5602.TP.20160419.1144.012.html

摘 要:在癫痫脑电图(electroencephalogram,EEG)信号识别中,传统的智能建模方法要求训练数据集和测试数据集均服从相同的分布。但在实际应用中,某些情况并不能满足此条件,进而导致传统方法性能急剧下降。针对上述情况,引入迁移学习策略,提出了适用于数据分布迁移环境的直推式径向基神经网络(transductive radial basis function neural network,TRBFNN)。该方法在癫痫EEG信号识别中的实验结果表明:直推式径向基神经网络具有较好的场景迁移适应性,对训练数据和测试数据存在差异时,识别性能不会出现急剧恶化的现象。

猜你喜欢
测试数据径向癫痫
癫痫中医辨证存在的问题及对策
浅探径向连接体的圆周运动
RN上一类Kirchhoff型方程径向对称正解的存在性
基于PID+前馈的3MN径向锻造机控制系统的研究
一类无穷下级整函数的Julia集的径向分布
测试数据管理系统设计与实现
玩电脑游戏易引发癫痫吗?
基于自适应粒子群优化算法的测试数据扩增方法
空间co-location挖掘模式在学生体能测试数据中的应用
左氧氟沙星致癫痫持续状态1例