孙 峰,龚晓玲,张炳杰,柳毓松,王延江
(中国石油大学(华东), 山东 青岛 266580)
人工神经网络是一种模仿人脑神经元的结构和信息传递过程所建立的数学模型,具有学习、记忆等功能.近三十年来神经网络得到迅速的发展并在模式识别等领域有着广泛的应用,尤其在未来智能化城市发展中会起到关键作用.其中,应用最广泛的就是采用了反向传播(back propagation)学习算法[1]的前馈神经网络,这种网络也称为BP神经网络,自1986年被提出之后,至今仍在神经网络中占据重要地位.该网络在训练时信息从前向后逐层传播,而网络中的权重则通过误差反向传播来调整.这种算法结构简单且能够以任意精度逼近任意非线性函数[2-3],但也存在一些缺陷:由于网络收敛速度慢,导致训练花费时间过长;由于采用梯度下降法易陷入局部极小值;易过拟合训练使其泛化能力变差等.
为了加快网络的训练速度,黄广斌等提出了一种针对单隐层前馈神经网络的快速构建与学习算法[4],因其快速特性而称之为超限学习机(extreme learning machine, ELM).ELM算法的整个学习过程一次完成,使得网络训练大大简化,运算速度几十倍甚至几千倍于BP算法[5-6],ELM在许多领域都取得了突出成果[7-9].虽然网络训练效果很好,但ELM相对于传统的神经网络,需要更多的隐层节点才能达到同样的训练精度[10].由于使用大量隐层节点,计算工作量会大大增加,特别是样本超高维时,测试速度明显变慢;过多的隐层节点也会使网……