替代与级联性深度网络与应用研究

2014-03-13 05:33:40李森林邓小武
电脑与电信 2014年8期

李森林 邓小武

(怀化学院,湖南 怀化 418008)

替代与级联性深度网络与应用研究

李森林 邓小武

(怀化学院,湖南 怀化 418008)

神经网络应用中80%~90%采用BP反馈网络,但BP反馈网络存在非约束性、非线性特征,优化模型参数多,计算时间长难收敛,而且优化结果泛化能力不强。2006年深度学习的提出,使神经网络再次成为研究热点。本文提出了一种替代与级联性反馈网络。实验证明替代性反馈神经网络在运算速度、纬度减少、收敛性等方面有一定的提高。

深度网络;替代行;收敛速度

1.引言

二十年前,反向传播BP(Back-Propagation)网络,因其良好的非线性映射能力和柔软的网络结构,在模式识别、图像处理、数据预测等各个领域被广泛应用,并且它的理论发展也日趋成熟。文献[1]-[4]给出了BP网络的相关理论:BP网络通过学习和存贮大量的输入-输出间的映射关系,使用最速下降法不断调整网络的权值和阈值,找出最优参数。BP网络系统参数较多,计算复杂度高,具有收敛速度慢、易陷入局部极小等缺陷,以致出现了许多改进的BP算法[5]。通过分析,文中提出了一种替代级联性反馈网络,进行编程实验,验证了改进算法的有效性。

2.标准BP神经网络

BP网络学习工作原理是,如果网络作出错误的判决,则通过网络的学习使得网络减少下次犯同样错误的可能性。即先给定一个训练集,根据这个训练集学习出一个模型,然后通过成本函数最小准则调整模型参数,并测试这个函数训练得好不好(即此函数是否足够拟合训练集数据)。……

登录APP查看全文