基于卡尔曼滤波的极限学习机在线盲均衡算法

杨 凌,程 丽,韩 琴,赵傲男

(兰州大学信息科学与工程学院,甘肃 兰州 730000)

0 引 言

盲均衡技术在文献[1]中首次被提出,与传统的自适应均衡技术不同,在信道特性未知的情况下,其可以利用信号的统计特性,无需发送训练序列便可以恢复原始信号[2-5]。盲均衡最常用的是基于高阶统计量的方法,该方法由于涉及信号高阶统计量的计算,计算复杂度较高,需要大量样本才能实现收敛且收敛速度较慢[6]。

考虑到发送信号之间互不相关的特点,Slock首先提出采用线性预测方法解决盲均衡问题[7],虽然线性滤波器结构简单,但受到其阶数限制的影响,最终结果精度较低。为了提升均衡性能,Ferrari等人和Cavalcante等人采用了非线性结构的预测滤波器(predictive filter,PF),分别提出了基于模糊滤波器和基于神经网络的盲均衡方法[8-9]。文献[10]基于发送序列为二进制信号并且无信道噪声的假设,在预测方法框架下使用多层感知机(multilayer perceptron,MLP)完成了线性信道的在线盲均衡。文献[11]基于预测方法,使用新型的极限学习机(extreme learning machine,ELM)完成了线性和非线性信道下的盲均衡,然而由于采用实数型极限学习机,该方法无法解决对信号发送端进行具有高频谱效率特点的复数正交振幅调制(quadrature amplitude modulation,QAM)的情形。而且,文献[11]中ELM输出权值的计算采用经典的求广义逆矩阵的方法,只能对接收序列进行离线批处理,然而在很多通信场景中,信道可能会随着时间发生变化,该方法无法对发送信号进行实时均衡。

传统的ELM训练算法是对数据进行离线(批量)处理的[12],即在开始训练之前已经得到所有的样本,并且使用这批样本不断进行迭代更新参数,但这种方法在很多在线场景下无法应用。为了解决该问题,文献[13]首次提出ELM的在线训练方法,采用最小二乘(least squares,LS)的方法求解输出权值。作为一种参数估计方法,当回归向量存在多重共线性时,LS的估计方差较大,导致模型的稳定性受到很大影响[14]。为了控制这种影响,文献[15-18]添加正则化项来更新ELM的输出权值以获得其最小范数,其中正则化参数的选取是决定算法性能好坏的关键,然而参数的调整十分困难,较多的优化参数会引起算法的时间复杂度增大。文献[19]通过计算训练数据的均值和方差调整输出权值,这大大增加了计算复杂度。卡尔曼滤波(Kalman filter,KF)作为一种递归线性最小方差的估计方法,可以降低多重共线性带来的影响[20]。采用KF方法实时更新ELM的输出权值,既可避免复杂的正则化参数调整过程,同时又可保证较低的计算复杂度。

为了解决复数QAM信号的实时盲均衡问题,本文在预测方法框架下,构造了基于KF的ELM在线盲均衡算法。该算法用复数型ELM(complex ELM,C-ELM)代替线性PF,并且采用KF方法实时更新C-ELM的输出权值,然后调整均衡后信号幅度变化并纠正相位旋转问题。该算法有效地实现了在接收端对发送信号进行实时均衡。

1 问题描述

1.1 基于预测方法的盲均衡

假设发送端信号s(n)通过以下信道,则

(1)

式中,hi为信道冲激响应系数;Lh为信道冲激响应长度。

那么,受加性噪声干扰的接收端信号x(n)可表示为

(2)

预测误差e(n)表示为

e(n)=x(n)-P(x(n-1))

(3)

式中,x(n-1)=[x(n-1),x(n-2),…]T;P(·)表示PF。

假设线性PF满足以下形式,

(4)

式中,Lp是滤波器阶数。

则预测误差e(n)为

e(n)=s(n)h0+s(n-1)h1+…+b(n)-
(x(n-1)p1+x(n-2)p2+…+x(n-Lp)pLp)

(5)

将式(2)中的x(n-1),x(n-2)等代入式(5),得到

e(n)=s(n)h0+b(n)+s(n-1)[h1-h0p1]-b(n-1)p1+
…-s(n-Lp-Lh+1)hLh-1pLp-b(n-Lp))pLp

(6)

为了实现良好均衡性能,目的是留下式(6)右边的第一项s(n)h0,同时去掉剩下多余部分。显然,式(6)中的剩下多余项无法用线性滤波器完全消除。为了提高精度,增加滤波器的长度是一种可行的方法,但也不能消除噪声的影响,同时还增加了计算复杂度。非线性滤波器是良好的通用函数逼近器,在均衡器的设计中其被广泛使用。

假设PF的非线性映射函数用φNN表示,可将式(6)重写为

e(n)=x(n)-φNN(x(n-1))=s(n)h0+s(n-1)h1+
s(n-2)h2+…+b(n)-φNN(x(n-1),x(n-2),…)

(7)

为达到理想的均衡目的,φNN应满足

φNN(x(n-1),x(n-2),…)=s(n-1)h1+s(n-2)h2+
…+s(n-Lh+1)hLh-1+b(n)

(8)

由于神经网络可以逼近任意复杂的非线性系统,具有很强的鲁棒性,因此使用神经网络作为PF。然而,由于传统的神经网络(如MLP等)常采用梯度下降算法训练,易陷入局部极小,因此很难获得理想的均衡效果。

1.2 ELM

ELM作为一种单隐层前馈神经网络[22],由输入层、隐含层和输出层组成,其网络拓扑如图2所示,层与层之间采取全连接的连接方式。隐含层的输入权值和偏置均随机产生,输出权值的解具有最小训练误差和最小范数特征,这与传统的基于梯度的训练方法相比,具有更高的效率,能够得到接近全局解的最优解[23]。

图2 ELM的拓扑结构Fig.2 Topology structure of ELM

假设输入层、隐含层、输出层节点数目分别为d,l和m。现有N个样本(xi,ti),i=1,2,…,N,其中xi∈Cd为输入,ti∈Cm为期望输出,则ELM输出可表示为隐含层输出的线性组合

(9)

式中,βi=[βi1,βi2,…,βim]∈Cm是隐含层第i个节点连接输出层的权值向量;h(x)=[h1(x),h2(x),…,hl(x)]表示隐含层输出,其中hi(x)=g(wi,bi,x);wi=[w1i,w2i,…,wdi]T∈Cd是输入层连接隐含层第i个节点的权值向量;bi∈C是隐含层第i个节点的偏置;w和b均随机生成;g(·)为隐含层激活函数。

Hβ=T

(10)

式中,

(11)

满足式(10)的最小二乘解为

β=H†T

(12)

式中,H†是隐含层输出矩阵H的Moore-Penrose广义逆矩阵。

通常情况下,ELM的输出层为线性输出层,在面对显著非线性问题时,可在ELM输出层添加一个非线性输出函数freadout(·)以增强非线性映射能力[11],网络最终输出为

y=freadout(Hβ)

(13)

2 算法描述

由于本文处理复数QAM信号,若采用实数型ELM对其实部和虚部分开处理会忽略两者之间的相关性,导致结果精度较低。因此选用C-ELM[24]作为图1中的PF,并且采用KF方法代替广义逆矩阵求解方法在线更新C-ELM的输出权值。

首先构建卡尔曼状态空间模型如下:β(n)为n时刻系统状态向量(对应C-ELM隐含层的输出权值向量),F(n)为状态转移矩阵,q(n)和r(n)分别为动态噪声和测量噪声,并假设为统计独立的均值为零的高斯过程,x(n)为测量值(对应n时刻C-ELM的期望输出),H(n)为测量矩阵(对应n时刻C-ELM隐含层的输出矩阵)。状态方程和测量方程分别为

β(n)=F(n-1)β(n-1)+q(n)

(14)

x(n)=H(n)β(n)+r(n)

(15)

采用KF方法在线计算C-ELM输出权值的过程包括两个基本工作步骤:第一步为时间更新,第二步为测量更新。

假设动态噪声和测量噪声的协方差矩阵分别用Q(n)和R(n)表示,其中Q(n)=E[q(n)qT(n)],R(n)=E[r(n)rT(n)]。输出权值的误差协方差矩阵记为P(n),即P(n)=E[(β(n)-β-(n))(β(n)-β-(n))T]。

时间更新:利用前一时刻C-ELM的输出权值β(n-1)和其误差协方差矩阵P(n-1)分别计算当前时刻C-ELM的输出权值和其误差协方差阵的先验预测值β-(n)和P-(n)。

β-(n)=F(n-1)β(n-1)

(16)

P-(n)=F(n-1)P(n-1)FT(n-1)+Q(n-1)

(17)

测量更新:通过C-ELM的期望输出x(n)对β-(n)和P-(n)进行修正,得到C-ELM的输出权值和其误差协方差阵的后验估计值β(n)和P(n)。

β(n)=β-(n)+K(n)[x(n)-H(n)β-(n)]

(18)

P(n)=[I-K(n)HT(n)]P-(n)

(19)

式中,K(n)为KF增益,计算方式为

K(n)=P-(n)H(n)[R(n)+HT(n)P-(n)H(n)]-1

(20)

当β(0)和P(0)确定后,通过迭代计算的方式实时更新β(n),从而得到C-ELM的输出

y(n)=β(n)H(n)

(21)

那么,预测误差可以表示为

e(n)=x(n)-y(n)

(22)

由式(17)可知,Q(n)的增加会使得P-(n)增大,导致算法预测的不确定性增加。由式(20)可知,随着R(n)的减小,KF增益K(n)增大,来自估计值的噪声水平增大,最终也使P-(n)增大,算法的预测精度下降。因此,算法需要合理设置Q(n)和R(n)的值,通常通过交叉验证确定。

结合式(7)和式(8)可知,理想的预测误差e(n)应为s(n)h0,由于信道系数h0的影响,会存在信号幅度的失真,可通过自动增益控制装置按照式(23)和式(24)调整信号幅度变化。

a(n)=a(n-1)+α·abs[C-abs(e(n)·a(n-1))]

(23)

e(n)=a(n)·e(n)

(24)

式中,abs表示绝对值；a(n)为幅度因子；α为小于1的幅度加权因子；常数C为自定义的电平数。

对于QAM信号,考虑到信道畸变使信号的相位发生变化,经过AGC装置后还需要纠正信号的相位旋转。假设φ(n)为相位调整因子,γ为小于1的加权因子,angle[·]表示相位,按照式(25)和式(26)纠正相位。

φ(n)=φ(n-1)-γ·angle[e(n)·ejφ(n-1)]

(25)

e(n)=e(n)·ejφ(n)

(26)

由上述推导得到基于KF训练的ELM在线盲均衡算法,简称为C-ELM-KF-PF,算法实施步骤如下所示。

算法1 C-ELM-KF-PF算法步骤1 初始化:随机产生C-ELM输入层和隐含层连接权值w、隐含层神经元偏置b;初始化β(0)=[1,0,…,0],P(0)=I,a(0)=0,φ(0)=0;设F(n)恒为单位阵I,q(n)和r(n)的标准差分别设为1e-10和10,α,γ的值均为0.001。步骤2 Forn=1,2,…步骤2.1根据式(11)得到隐含层输出矩阵H步骤2.2根据式(16)和式(17)分别计算β-(n)和P-(n)步骤2.3根据式(20)计算K(n),再由式(18)和式(19)计算β(n)和P(n)步骤2.4根据式(21)计算C-ELM网络的输出y(n)步骤2.5根据式(22)得到预测误差e(n)步骤2.6根据式(23)和式(24)调整e(n)的幅度,再由式(25)和式(26)纠正其相位迭代直到网络收敛为止 End

3 实验仿真

本节针对QAM信号,设计了4组仿真实验,验证本文提出的C-ELM-KF-PF算法的性能。第1组实验研究C-ELM网络的参数设置对本文算法收敛性能的影响。为了进一步说明本文算法的优越性,第2组实验仿真了基于线性预测器和基于MLP预测器的在线盲均衡算法,用本文算法与其作比较。第3组实验仿真本文算法对动态时变信道的实时均衡性能。第4组实验仿真本文算法对方形和十字形QAM信号的均衡性能。

计算机仿真中,复数QAM信号被作为发送端信号s(n),添加高斯白噪声。采用均方误差(mean squared error,MSE)进行性能比较,MSE被定义为

(27)

式中,L为发送端信号序列长度。

3.1 C-ELM参数对C-ELM-KF-PF算法性能影响

为了分析C-ELM参数对本文算法收敛性能的影响,仿真过程围绕隐层节点个数l,隐含层复数激活函数g(·)类型和输出层输出函数freadout(·)类型三方面进行。发送信号为16QAM信号,信道模型采用文献[25]中的五阶Volterra级数卫星信道。

s(n-k)s*(n-m)s(n-t)

(28)

式中,hl,hi,j,k和hi,j,k,m,t分别为Volterra信道的一阶、三阶和五阶核系数;N为记忆深度。

表1和表2给出了当复数激活函数为arctan函数,输出层取线性输出函数时,隐层节点个数l对算法收敛性能的影响。表1是不同接收机信噪比(signal to noise ratio,SNR)下,隐含层节点个数l对算法收敛时MSE的影响。可以看出,当l超过5后,进一步提高隐含层节点数目无法提升算法的收敛精度。表2是SNR取35 dB的情况下,l对算法收敛速率的影响,可见随着l的增大,算法收敛速率保持不变,说明l的变化对算法收敛速率无影响。

表1 不同SNR下隐含层节点数对算法稳态MSE的影响Table 1 Effect of hidden nodes number on steady MSE under different SNRs

表2 隐含层节点个数对算法收敛速率的影响 Table 2 Effect of hidden nodes number on convergence speed

表3和表4给出了在l=5,取线性输出函数的条件下,SNR大小和激活函数类型对算法收敛时MSE和收敛速率的影响。从表3可发现,当SNR取任意值时,不同的复数激活函数对稳态MSE值影响不大,这说明本文算法的收敛精度对激活函数类型不敏感。然后,从表4可观察到,在SNR=35 dB条件下,当g(·)为sin函数时,算法收敛速率较慢,而当g(·)为arctan和tanh函数时,算法收敛速率较快。

表3 不同SNR下隐含层激活函数g(·)对算法稳态MSE值的影响Table 3 Effect of hidden layer activation function g(·) on steady MSE under different SNRs

表4 隐含层激活函数g(·)对算法收敛速率的影响Table 4 Effect of hidden layer activation function g(·) on convergence speed

在SNR=35 dB,隐层节点数l=5,g(·)取arctan函数的条件下,输出层输出函数freadout(·)类型对本文算法收敛时MSE和收敛速率的影响分别如表5和表6所示。

表5 输出层输出函数freadout(·)对算法稳态MSE值的影响Table 5 Effect of readout function freadout(·) on steady MSE

表6 输出层输出函数freadout(·)对算法收敛速率的影响Table 6 Effect of readout function freadout(·) on convergence speed

仿真中输出函数有两种类型:第一,freadout(y)=y,满足线性关系。第二,freadout(y)=f(y)+jf(y),其中f(y)=y+κsin(πy),κ=0.4,满足非线性关系。从表5可以看出,SNR>15 dB时,非线性输出函数会使算法收敛精度更高。由表6可以看出,算法在两种输出函数下收敛时所需迭代次数几乎一致。因此,输出函数类型会影响算法的收敛精度,但不会影响算法的收敛速率。

3.2 与其他在线盲均衡算法的性能对比

为了验证本文算法的优越性,本组实验在16QAM信号通过式(28)所示的信道下,同时仿真了基于线性预测器的在线盲均衡算法(记为Linear-PF),基于MLP预测器的在线盲均衡算法(记为MLP-PF),以及本文的C-ELM-KF-PF算法。其中,C-ELM的隐层节点数lC-ELM设置为5,隐含层复数激活函数g(·)为arctan函数,输出层采用第3.1节提到的非线性输出函数;MLP的隐层节点数lMLP=15,输出层设置与C-ELM相同;线性预测器的阶数LP=15。

图3(a)给出了不同SNR下各算法的稳态MSE,图3(b)给出了接收机SNR=35 dB时,各算法的收敛性能。由图3(a)可以发现,当接收机SNR超过15 dB后,本文提出的C-ELM-KF-PF算法显著提高了收敛精度。比如,在接收机SNR=35 dB的情况下,本文算法的稳态MSE只有MLP-PF和Linear-PF算法的1/10和1/1 000。由图3(b)可观察到,C-ELM-KF-PF算法不仅稳态误差更小,而且收敛速率是其余两种算法的两倍多。因此,在3种算法中,本文提出的C-ELM-KF-PF算法的收敛速率最快,且其稳态误差最小,体现了较强的鲁棒性。

图3 3种算法的均衡性能比较Fig.3 Equalization performance comparisons of three algorithms

表7给出了各算法更新一次的运算量。由于C-ELM-KF-PF算法中的式(16)～式(20)包含大量的复数乘法运算,所以计算复杂度较高。但是,由于实际均衡过程中仅使用较少的隐层节点(lELM=5)。因此,其总的运算量与MLP-PF算法(lMLP=15)相当。虽然Linear-PF算法(LP=15)的复数乘法运算量最少,大约为本文算法的1/3,但其均衡性能远低于本文算法。

表7 C-ELM-KF-PF算法、MLP-PF算法与Linear-PF算法的运算量比较Table 7 Calculations comparison of C-ELM-KF-PF,MLP-PF and Linear-PF algorithm

3.3 实时均衡性能

为仿真当信道发生变化时C-ELM-KF-PF算法的实时均衡性能,本节设置如下实验。

设发送信号为16QAM信号,通过式(28)所示的Volterra信道,接收机SNR=35 dB,C-ELM隐含层节点数为5,隐含层激活函数g(·)为arctan函数,输出层分别使用第3.1节的线性和非线性输出函数。当算法进行到10 000次迭代时改变信道的核系数,从而完成信道的切换。图4所示出了C-ELM-KF-PF算法实时均衡的收敛性能。

图4 C-ELM-KF-PF算法的实时均衡性能分析Fig.4 Real-time equalization performance of C-ELM-KF-PF

由图4可以看到,无论采用线性还是非线性输出函数,算法的收敛速率是一致的。当完成信道切换之后,算法第二次均衡达到收敛时所需时间不到第一次的一半,便能达到较低的稳态误差。这表明C-ELM-KF-PF算法对于动态时变信道能较快跟踪其变化,具有良好的实时均衡能力。

3.4 方形和十字形QAM信号的均衡

图5和图6是接收机SNR=35 dB,C-ELM的隐含层节点数为5,隐含层激活函数g(·)为arctan函数,输出层采用第3.1节的线性和非线性输出函数时,方形的16QAM和十字形的32QAM信号通过式(28)所示的卫星信道时本文算法的均衡过程。比较图5(c)、图5(d)和图6(c)、图6(d)可以看出,采用非线性输出函数使得QAM信号的星座图更加集中。由图5和图6可以看出,无论对于方形QAM信号,还是十字形QAM信号,本文提出的基于KF的ELM在线盲均衡算法均具有较好的均衡效果。

图5 16QAM信号的均衡过程Fig.5 Equalization process for 16QAM signal

图6 32QAM信号的均衡过程Fig.6 Equalization process for 32QAM signal

4 结 论

本文针对复数QAM信号,在预测方法的盲均衡框架下,提出了一种新的在线盲均衡算法。该算法用C-ELM替代传统的线性PF,并采用KF方法实时更新C-ELM的输出权值,最后通过AGC装置调整信号幅度变化并引入相位调整因子纠正相位旋转。实验结果表明,本文算法在C-ELM隐含层节点数仅为5时就能获得较好的均衡效果,与其他在线盲均衡算法相比,在计算代价相当的情况下,本文算法具有较强的鲁棒性,收敛时的MSE最小,收敛速率最快。当信道发生变化时,本文算法能快速地实时进行均衡。此外,无论是对方形还是十字形的QAM信号,本文算法均呈现出良好的均衡效果。