基于弹性小世界回声状态网络的非线性时间序列预测

任条娟 钟陈健 刘半藤,2 郑启航

1(常州大学信息科学与工程学院 江苏 常州 213164)2(浙江树人大学信息科技学院 浙江 杭州 310015)

0 引 言

目前，时间序列预测在医学[1]、工业[2]、金融[3]等领域有着广泛需求，而大量的时间序列呈现不稳定非线性特征，对非线性时间序列的预测长期都是时间序列分析领域的难题之一[4]。非线性时间序列预测方法主要分为两类：一类通过回归分析[5-6]，构建回归模型，该方法适合持续时间较长、变化较为缓慢的序列的预测；另一类是通过机器学习方法[7-9]。文献[7-8]分别用深度神经网络和RBF神经网络对非线性时间序列进行预测能够取得较好的预测效果，但是它们在训练过程中，需要的样本过多，网络结构复杂庞大，导致计算复杂性过大。回声状态网络预测方法(ESN)作为一种基于储备池计算的神经网路，结构简单，只需采用一个随机大规模的稀疏连接的储备池即可保证模型对非线性数据的处理能力，通过样本输出进行反馈学习，实时修正预测模型，被广泛用于非线性时间序列的应用中[10-12]，而ESN储备池网络的随机性使得模型训练无目的性、收敛速度慢，无法满足非线性时间序列准确有效的预测需求[13-14]。因此本文用小世界网络替代随机网络作为储备池来构建非线性时间序列预测模型，小世界网络同时具备随机网络和规则性，提高了模型适应性和收敛速度。

以小世界网络作为储备池的ESN模型，在计算输出权值时，易受储备池规模的影响。当储备池规模过大时存在共线性问题，且容易引入噪声，影响模型的泛化性；当储备池规模过小时存在欠拟合现象，无法体现其强大的非线性处理能力。为了解决该问题，文献[15]引入一种信息论结合ESN的方法，通过信息论计算剪枝概率，实现输出的选择与压缩，剔除噪声干扰，从而提高泛化性。另外，Ridge回归法[16-17]和Lasso回归法[18-19]等正则化方法，通过在计算输出权值时添加惩罚项，分别解决了共线性问题和噪声干扰问题。

因此，为提高非线性时间序列的预测精度，本文提出了一种基于弹性小世界回声状态网络的非线性时间序列预测模型(ESWESN)，用小世界网络替代随机网络作为储备池来构建非线性时间序列预测模型，提高模型的适应性和非线性映射能力；并且在计算输出权值时，提出一种基于弹性惩罚的权值计算模型，综合Ridge回归和Lasso回归两者的优点，解决共线性问题并合理缩减储备池规模，提高模型求解稳定性和预测精度。

1 模型设计

1.1 小世界回声状态网络

回声状态网络由输入层、储备池和输出层构成，其中储备池是一种网络结构，实现输入输出的非线性映射，传统ESN采用随机网络作为储备池，产生网络节点连接不确定问题，导致模型训练存在盲目性，影响模型的非线性预测能力，增大系统开销。因此，本文采用小世界网络代替随机网络作为储备池。

小世界网络是能够反映真实世界的网络结构，介于随机网络和规则网络之间，同时具备两者的优点，既有较短特征路径长度又有较高聚合系数。这种特殊的网络结构使得信息在网络中传递速度极快，并具有较大的灵活性，改变几个连接就可以剧烈地改变整个网络的性能[20-21]。目前，小世界网络结构常用模型包括WS模型和NW模型，由于WS模型构造算法中的随机化过程有可能破坏网络的连通性，造成信息在网络中的传递中断，而NW模型能够有效地避免网络中孤立节点的产生，更适合作为回声状态网络的储备池以保证模型的非线性映射能力，降低计算复杂度[22]。其拓扑结构如图1所示。

图1 小世界回声状态网络结构

小世界回声状态网络的状态方程为：

x(t)=f(Winu(t)+Wxx(t-1))

(1)

输出方程为：

y(t)=xT(t)Wout

(2)

式中：u(t)∈RL、x(t)∈RM和y(t)∈R分别表示储备池t时刻的输入变量、状态变量和输出变量；激活函数f通常取双曲正切tanh函数；Win∈RM×L、Wx∈RM×M和Wout∈RM分别为输入权值矩阵、储备池内部权值矩阵和输出权值矩阵。其中Win和Wx在网络训练前随机产生，在训练过程中不再改变，输出权值Wout可通过线性回归计算得到，常用的方法有伪逆法、Ridge回归法和Lasso回归法[23-25]等。通常情况下，由训练时收集状态变量x(t)产生的小世界网络内部状态矩阵X是高维带噪声的，伪逆法求解高维线性回归时易出现共线性问题；Ridge回归法通过添加l2范数解决共线性问题，但无法缩减模型，泛化性能差；Lasso回归为了剔除噪声干扰，通过添加l1范数过度压缩模型规模，预测精度降低。

1.2 基于弹性惩罚的输出权值计算模型

针对上述问题，本文提出了一种基于弹性惩罚的输出权值计算模型，综合了Lasso和Ridge回归方法形成凸组合函数，其目标函数为：

(3)

令α=λ1/(λ1+λ2)，λ=λ1+λ2，得到目标函数如下：

(4)

上述模型的求解方法可转化为Lasso回归方法求解，对于给定的样本数据(X,Y)和(λ1,λ2)，定义一个增广数据集(X*,Y*)，其中:

(5)

(6)

可得：

(7)

(8)

(9)

因此，本文算法的训练和计算过程如下：

步骤一初始化模型参数，设置储备池规模为250，谱半径为0.9，小世界加边概率为0.05。

步骤二按上述参数设置构建NW小世界网络模型，将其作为储备池，得到小世界回声状态网络预测模型。

步骤三利用训练数据集计算并收集状态变量x(t)，获得储备池内部状态矩阵X和输出变量Y。

2 仿真实验

为了验证本方法的有效性，用Narma、MackeyGlass和Lorenz混沌时间序列进行测试。

1) Narma系统，其混沌动力学公式为:

y(t+1)=0.7u(t-τ)+0.1+(1-y(t))y(t)

(10)

式中：u(t-τ)为随机序列，取τ=2，y(0)=0，迭代依次求出1 500个时刻进行仿真测试。通过归一化、相空间重构处理后进行仿真测试。实验取时间序列的前1 300个时刻训练模型，后200个时刻用于预测。

2) MackeyGlass系统，其混沌动力学公式为:

(11)

取a=0.2，b=0.1，c=10，τ=17，x(0)=1.2，t(0)=0，系统呈现出混沌特性。利用四阶龙格库塔算法对MackeyGlass系统求得1 500个时刻进行仿真测试。通过归一化、相空间重构处理后进行仿真测试。实验取时间序列的前1 300个时刻训练模型，后200个时刻用于预测。

3) Lorenz系统，其混沌动力学公式为:

(12)

取a=10，b=28，c=8/3，x(0)=12，y(0)=2，z(0)=9，系统呈现出混沌特性。利用四阶龙格库塔算法对Lorenz系统求得1 500个时刻，通过归一化、相空间重构处理后进行仿真测试，取x轴时间序列的前1 300个时刻训练模型，后200个时刻用于预测。

用ESWESN模型分别对上述三种混沌时间序列进行预测，预测效果分别如图2-图4所示。

图2 Narma预测曲线和目标曲线

图3 MackeyGlass预测曲线和目标曲线

图4 Lorenz的预测曲线和目标曲线

进一步分析ESWESN模型在不同储备池维度下时间序列预测能力，通过重复实验(20次)，计算与目标序列的均方根误差(RMSE)和对称平均绝对百分率误差(SMAPE)。

均方根误差用来衡量观测值同真值之间的偏差，其计算公式定义为：

(13)

对称平均绝对百分率误差用来衡量时间序列拟合的准确度，其计算公式定义为：

(14)

设置不同储备池规模大小，将计算结果与ESN模型、SWESN模型、基于Ridge回归的SWESN模型(RSWESN)、基于Lasso回归的SWESN模型(LSWESN)进行比较，结果如表1-表3和图5-图10所示。

表1 Narma时间序列预测结果比较

表2 MackeyGlass时间序列预测结果比较

续表2

表3 Lorenz时间序列预测结果比较

图5 Narma时间序列RMSE比较

图6 Narma时间序列SMAPE比较

图7 MackeyGlass时间序列RMSE比较

图8 MackeyGlass时间序列SMAPE比较

图9 Lorenz时间序列RMSE比较

图10 Lorenz时间序列SMAPE比较

可以看出，ESWESN模型预测精度均高于ESN模型及其改进模型。本文方法克服了ESN模型和SWESN模型的过拟合问题，自适应地压缩输出权值规模，去除冗余特征，提高模型预测精度。由图5可见，对Narma时间序列预测中，当储备池维度超过250时，ESN模型和SWESN模型出现过拟合，误差开始增大；由图7和图9可见，对MackeyGlass和Lorenz时间序列进行预测，当储备池维度超过350时，ESN模型和SWESN模型出现过拟合，误差开始增大。本文方法克服了RSWESN模型不压缩权值规模和LSWESN模型过度压缩权值规模分别导致当储备池输维度较大和较小时预测模型适应度差的问题。由图5可见，当储备池维度超过200时，RSWESN模型的预测精度相对较低，当储备池维度在100和150时，LSWESN模型的预测精度相对较低。综上所述，本文方法的ESWESN模型自适应压缩输出权值规模，选择出对预测效果影响最大的输出权值规模子集，优化储备池网络，剔除噪声干扰，提高了模型对时间序列预测的准确性、稳定性和可靠性。

3 结 语

本文提出一种弹性小世界回声状态网络预测模型。用小世界网络替代随机网络作为储备池来构建非线性时间序列预测模型，提高模型的适应性和非线性映射能力，降低了模型开销；在计算模型的输出权值时，提出一种基于弹性惩罚的权值计算模型，提高了求解的数值稳定性和准确性。将ESWESN模型分别对三组不同类型的混沌时间序列进行仿真实验，将预测结果与其他四种模型进行对比，结果表明本文方法具有良好的稳定性，取得了更好的预测效果。