融合混沌与模拟退火PSO的BP神经网络模型研究

胡水源 陈以

摘  要：考虑到BP神经网络模型和PSO粒子群优化算法存在有的收敛速度慢及陷入局部最优的问题，给出了基于融合混沌（Chaos）模型和模拟退火（SA）算法而设计的PSO-BP神经网络模型。将混沌模型和SA算法的优点进行融合并对PSO算法加以改进，防止PSO算法因“早熟”而处于局部最优，从而得出BP神经网络模型的权值与阈值集合。实例验证结果表明，CSAPSO-BP神经网络模型的收敛性高于PSO-BP神经网络模型与SAPSO-BP神经网络模型，其平均绝对百分比误差分别比后两者低25.23%和14.19%。

关键词：混沌模型；模拟退火粒子群；CSAPSO-BP神经网络；动态平均适应度权重

中图分类号：TP391；F812.42    文献标识码：A    文章编号：2096-4706（2023）08-0083-05

Abstract： Considering the problems of slow convergence speed and falling into local optimization of the BP neural network model and Particle Swarm Optimization （PSO） algorithm， a PSO-BP neural network model designed based on the fusion of Chaos （C） model and Simulated Annealing （SA） algorithm is proposed. The advantages of the Chaos model and the SA algorithm are fused and the PSO algorithm is improved to prevent the PSO algorithm from being local optimization due to “precociousness”， so as to obtain the weight and threshold set of the BP neural network model. The results of actual case verification show that the convergence of the CSAPSO-BP neural network model is higher than that of the PSO-BP neural network model and the SAPSO-BP neural network model， and the average absolute error ratio is 25.23% and 14.19% lower than the latter two respectively.

Keywords： Chaos model; simulated annealing particle swarm; CSAPSO-BP neural network; dynamic average fitness weight

0  引  言

神经网络因其具有强大的识别非线性系统的能力而被广泛用于预测系统中，其神经网络的权值和阈值对模型性能影响最大。而智能优化算法是指在满足一定条件下，在解空间内进行全局优化和高效寻优的一种优化方法。

文献[1]采用PSO（Particle Swarm Optimization）算法优化BP神经网络模型的阈值和初始权值对爆破振动速度峰值进行预测，研究表明BP神经网络处理非线性关系的问题具有较好的性能，PSO算法提高了模型的预测精度。文献[2]采用PSO算法优化BP神经网络模型的阈值和初始权值对斜轧穿孔管型进行预测，实验结果表明PSO算法提高了模型的预测性能。

文献[3]将混沌算法引入到PSO算法，利用混沌序列逆映射原始全局最优解至原始解空间，研究结果表明该方法对于传统的BP算法和PSO算法具有较好的性能。文献[4]采用混沌（Chaos， C）模型当中的Logistic映射模型对PSO算法的权重系数加以改进，从而增强了粒子群的全局搜索能力。使用修正后的PSO算法，优化了BP神经网络模型的权值和阈值对风速数据进行预测，通过与BP神经网络算法、PSO-BP算法的预测结果加以对比，结果表明改进的PSO-BP算法的模型效果优于其他模型。文献[5]引入Singer混沌映射動态调整PSO算法的权重系数，使得权重系数的变化范围为[0，1]，研究表明混沌动态权重算法优化BP神经网络模型优于BP神经网络模型与PSO-BP神经网络模型。文献[6]借助混沌算法的遍历性与随机性，在混沌动态权重改进的基础上，通过混沌思想对PSO算法迭代后的最优粒子进行局部混沌迭代，将混沌迭代与PSO算法交替进行，研究表明这两种算法的交替进行提高预测模型的精度。文献[7]采用混沌模型对PSO算法当中部分适应度最差的粒子进行混沌化，再进行粒子适应度值计算直到达到标准，实验结果表明其模型效果优于原BP神经网络模型和PSO-BP神经网络模型。文献[8]采用模拟退火（Simulated Annealing， SA）算法对PSO算法当中较大适应度的粒子进行部分粒子接受操作，并进行退温操作，后续重复迭代。实验结果SAPSO算法在收敛速度和预测效果上优于原PSO算法。文献[9]采用SA算法对PSO算法的粒子初始位置进行随机扰动，使其产生新的粒子位置，并重复进行，不断更新粒子的全局最优位置。文献[10]利用SA算法对PSO算法当前全局最佳粒子进行处理，并以一定概率更新全局最优解的位置与适应度值，研究结果表明此种方法使得离散PSO算法的局部搜索能力和整体性能得到提高。上述文献都能较好的提高PSO算法的性能，但是模型仍然存在“早熟”、收敛速度慢的问题。

针对以上改进的方法，本文改进结构如图1所示。引入基于平均适应度的动态惯性权重对标准PSO算法进行优化，并采用混沌模型与SA算法进行改进，弥补了PSO算法因后期全局搜索能力不足的缺点。将改进的PSO对BP神经网络模型的权值与阈值进行优化，最后采用某地区的税收进行实例验证，研究结果表明CSAPSO-BP神经网络模型的税收预测结果优于PSO-BP神经网络模型和SA-BP神经网络模型。

2.3  混沌模拟退火PSO算法优化步骤

BP神经网络模型是基于梯度下降法来对权值和阈值进行更新，会陷入局部最优解，使得模型的预测精度降低。CSAPSO-BP神经网络模型训练流程图如图3所示。模型采用混沌模型与SA算法对PSO算法进行改进，对BP神经网络模型的权值和阈值进行求解，CSAPSO-BP神经网络模型有效地提高了模型预测精度与收敛速度。

3  仿真与实例分析

3.1  仿真实验

本文采用非线性函数作为模型基准函数进行仿真测试，设定粒子数为20，迭代100次，模拟退火温度1 000，降温操作速度0.98，CSAPSO-BP神经网络隐含层为10，输出层为100。选取的非线性函数测试公式为：

式中：X1和X2为自变量，范围为[1，100]。

将X1和X2的取值[1，100]代入基准函数得到1 000个函数值进行仿真。通过CSAPSO-BP神经网络进行模型训练，规定误差值小于0.000 001，总共1 130个权值与阈值。再将X1和X2的取值[1，100]进行代入模型得到函数预测值。算法模型收敛过程如图4所示。

由图4可知，改进的混沌模拟退火粒子群算法的收敛速度快于模拟退火粒子群算法与基本粒子群算法，在最小均方误差上也低于其他粒子群算法。混沌模拟退火粒子群算法最佳迭代次数为8，验证性能为0.000 191 97，模型效果如图5所示。

3.2  实例验证

为了更加全面地验证改进的混沌模拟退火粒子群算法的性能，对于BP神经网络模型的初始连接权值与阈值选择的问题。本文从国家统计局、国家税务总局和地区税务局获得公开数据，取某地区5年税收数据作为研究对象。将原始数据进行归一化处理，使用2017年1月到2019年12月的每月数据（共36个月）作为训练样本，2020年1月到2022年3月的每月数据（共27个月）作为测试样本，进行模型训练预测，部分数据如表1所示。

为了验证CSAPSO-BP神经网络模型的收敛性与准确性，设定其结构为：输入层节点为4，隐含层节点为10，输出层节点为1，总共61个权值与阈值。分别选取基本粒子群法和模拟退火粒子群算法进行对比，部分参数选择如表2所示。

模型预测结果对比如图6所示：PSO-BP神经网络模型和SAPSO-BP神经网络模型在预测曲线上偏离真实值较远，CSAPSO-BP神经网络模型接近真实曲线，CSAPSO-BP神经网络模型的预测效果优于PSO-BP神经网络模型和SAPSO-BP神经网络模型。

由表3和图7分析可得，CSAPSO-BP神经网络模型对税收的预测结果误差低于PSO-BP神经网络模型和SAPSO-BP神经网络模型，预测精度较高。且在收敛速度上也优于其他两种模型，表明改进的算法模型能有效地提高收敛速度。

表4结果分析在MAPE、MSE和MAE上都也相对低于PSO-BP神经网络模型和SAPSO-BP神经网络模型。在MAPE上，CSAPSO-BP神经网络模型比SAPSO-BP神经网络模型低14.19%，比PSO-BP神经网络模型低25.23%，CSAPSO-BP神经网络模型的预测结果更靠近真实值。CSAPSO-BP神经网络模型的其他评价指标都低于SAPSO-BP神经网络模型，SAPSO-BP神经网络模型的评价指标也都低于PSO-BP神经网络模型，表明了混沌模型对于PSO的局部搜索寻优具有一定的有效性，因此SA算法也有助于改善PSO的全局搜索寻优特性。

4  结  论

在混沌理论的基础上，利用混沌模型求解局部最优解的新领域搜索空间，进一步提升其局部最优解能力。同时利用SA算法在PSO全局最优解区间进行降温操作，获取全局最优解，提高模型全局最优解能力。并利用PSO-BP神经网络模型和SA-BP神经网络模型，开展了仿真对比实验。对比结果表明，CSAPSO-BP神经网络模型收敛速度快、收敛精度也较高。在某地区税收数据上进行实例验证分析。实例证明，CSAPSO算法的收敛速度与精度均优于其他模型。

参考文献：

[1] 范勇，裴勇，杨广栋，等.基于改进PSO-BP神经网络的爆破振动速度峰值预测 [J].振动与冲击，2022，41（16）：194-203+302.

[2] 王清华，加世滢，胡建华，等.基于GRA的PSO-BP神经网络斜轧穿孔管形预测 [J].锻压技术，2022，47（8）：88-94.

[3] 吴炬卓，陈书原，牛海清，等.混沌粒子群优化小波神经网络在电能质量扰动信号分类中的应用 [J].电器与能效管理技术，2022（2）：68-73.

[4] 段新会，李文鑫.基于改进粒子群优化神经网络的超短期风速预测 [J].自动化与仪表，2021，36（3）：76-80.

[5] 李强，车文龙.基于改进粒子群优化神经网络的电机故障诊断 [J].电气传动，2020，50（1）：103-108.

[6] 成枢，马卫骄，高秀明，等.CPSO-BP组合优化模型的滑坡位移预测 [J].测绘科学，2019，44（10）：65-71.

[7] 李升健，黃灿英，陈艳.基于改进PSO-BP网络的配电网故障选线与测距 [J].沈阳工业大学学报，2019，41（1）：6-11.

[8] 甘地.一种新的基于正弦自适应权重的模拟退火粒子群优化算法 [J].科技创新与应用，2022，12（5）：11-14.

[9] 吴金文，王玉鹏，周海波.基于模拟退火耦合粒子群算法优化BP神经网络的机床主轴热误差补偿研究 [J].机床与液压，2019，47（11）：92-95.

[10] 张荣光，胡晓辉，宗永胜.基于改进离散粒子群优化的连续属性离散化 [J].计算机工程与应用，2017，53（18）：108-114+235.

[11] DONG X，WANG Y D，WANG Z. Intelligent Meta-Model Construction and Global Stochastic Sensitivity Analysis Based on PSO-CNN [J].Structures，2022，43：1516-1529.

[12] WANG Z P，TIAN J C，FENG K P. Optimal Allocation of Regional Water Resources Based on Simulated Annealing Particle Swarm Optimization Algorithm [J].Energy Reports，2022，8：9119-9126.

[13] JING W Q，ZHEN M，GUAN H J，et al. A Prediction Model for Building Energy Consumption in a Shopping Mall Based on Chaos Theory [J].Energy Reports，2022，8：5305-5312.

[14] SHANG Y，MIAO L J，SHAN Y P，et al. A Hybrid Ultra-Short-Term and Short-Term Wind Speed Forecasting Method Based on CEEMDAN and GA-BPNN [J].Weather and Forecasting，2022，37（4）：415-428.

作者簡介：胡水源（1998—），男，汉族，湖北武汉人，硕士研究生在读，研究方向：机器学习与智能信息处理；通讯作者：陈以（1963—），男，汉族，广西玉林人，教授，硕士研究生导师，硕士，研究方向：智能控制、计算机应用技术。