基于ε-不敏感准则和结构风险的鲁棒径向基函数神经网络学习

桑庆兵 邓赵红 王士同 吴小俊

①(江南大学物联网工程学院 无锡 214122)

②(江南大学数字媒体学院 无锡 214122)

1 引言

在目前的建模方法中，径向基函数神经网络(Radius-Basis-Function Neural-Network, RBF-NN)建模是有效的方法之一[1−3]。经典的RBF-NN模型训练主要是基于最小平方误差准则的。该类训练算法存在的一个明显不足是：对于小样本数据集或存在噪声的数据集，训练容易过拟合，所得RBF-NN泛化能力较差[1,3]。因而，针对此问题探讨鲁棒的RBFNN训练新算法是一个很有意义的工作。

最经典的一类RBF-NN训练学习算法是基于梯度下降学习策略的。该类算法的缺点是由于学习步长选择的不合理或者由于基于经验风险陷入局部极值或过拟合而使受训网络的泛化性降低[1,3]。关于RBF-NN训练学习的最新重要研究进展是极速学习训练方法[4−10]，文献[4,11]指出输入层权值和隐层阈值任意选取的包含N个隐结点的单隐层前馈网络(SLFN)能够以任意小的误差逼近N个不同的观测值。基于以上理论，文献[4]针对单隐层神经网络提出了极速学习机(Extreme Learning Machine, ELM)算法，并进一步提出了各种改进的极速学习算法。ELM算法与常规的梯度下降学习算法相比，简单快速，在获得小的训练误差的同时，能获得较好的泛化能力。但是，针对小样本数据集和噪声，ELM算法依然鲁棒性较差，容易导致过拟合问题。

针对经典学习方法对小样本数据集和噪声数据容易过拟合而使得受训RBF-NN泛化能力较差的问题，本文通过引入e-不敏感学习度量[2,12−16]和结构风险项[2,13,15]来构造新的目标函数，并把提出的新目标函数求解转化为经典的二次规划问题。……