基于MECA算法的BP网络研究

摘要：本文利用思维进化克隆算法（Mind Evolution Colon Algorithm 以下简称MECA）来设计BP网络。该算法將思维进化算法和生物克隆机制结合，采用实数编码和自适应技术，既保留了思维进化算法的全局搜索特性，又能在很大程度上避免未成熟收敛。该算法应用于训练XOR问题，实验结果显示该算法在设计神经网络时优于BP算法和GA，网络训练的质量和效率都有很大提高。

关键词：MECA 亲和性 BP

中图分类号：TP183 文献标识码：A 文章编号：1007-9416（2016）10-0139-02

Abstract：This paper designs BP neural network with mind evoluntion clone algorithm （MECA） . The algorithm combines mind evolution algorithm and biology clone mechanism ， introduces real number coding and adaptation technology . It not only reserves the entire search character of mind evolution algorithm ， but also avoids premature in much degree . We applied it in training XOR problem . The experiment result showed that it was superior to BP and GA in designing neural network . The quality and efficiency of the network training were enhanced greatly .

Key Words：MECA； appetence； BP

1 引言

人工神经网络是对生物神经系统的模拟，由大量非线性处理单元通过密集连接而构成的一个并行信息处理系统。其信息处理功能是由网络单元的激活特性、网络拓扑结构、连接权值和神经元的阈值所决定。神经网络按其结构可分为前向神经网络和反馈神经网络，神经网络在拓扑结构固定时，其学习归结为连接权的变化。事先给定一个收敛判据，当训练误差小于此值时学习结束。在前向神经网络的学习中，主要有两种： 一是采用误差逆传播（Error Back-propagation）算法（简称BP算法）。BP算法把网络输出出现的误差归结为各连接权的“过错”，通过把输出层的误差逐层向输入层逆向传播以“分摊”给各层单元，从而获得各层单元的参考误差以便调整相应的连接权。这种方法采用逐步增减式的探测方法获得网络的权值，本质上属于梯度下降算法，因而不可避免其本身的固有不足：训练时间过长、局部极小点易逃离、误差函数必须可导、不一定收敛、训练结果依赖于探测过程等。

为了避免BP算法存在的缺陷，可用遗传算法GA来优化神经网络。GA采用全局随机搜索方法，能在复杂的、不可导的向量空间中快速收敛，在这点上它优于BP算法。但GA仍然存在许多不足：（1）初始群体是随机生成的，算法在解群分布不均匀时易于出现未成熟收敛，陷入局部极优；（2）采用二进制编码，当神经网络的规模稍大时，染色体的长度就可能很长，从而影响GA训练的精度和效率；（3）当GA快速收敛到最优解时，无法精确确定最优解的位置，微调能力较差，会引起网络的局部振荡。

本文采用MECA来设计BP网络，避免了BP算法和GA训练网络时的不足。第二节描述了MECA，第三节根据BP网络的特点，与MECA相结合构造了抗体—抗体、抗体—抗原的亲和性函数。最后用XOR问题测试该算法并与BP算法和GA相比较，实验结果显示该算法在设计神经网络时优于BP算法和GA，网络训练的质量和效率都有很大提高。

2 MECA

MECA由图1所示的6个阶段主要组成。抗原、抗体、抗原和抗体之间的亲和性对应于优化问题的目标函数、优化解、解与目标函数的匹配程度。图1中Gen代表克隆选择算法（迭代）的代次。根据优化问题，设定目标函数和各种约束作为算法的抗原，采用随机的方法产生抗体， 从包含最优解的数据库中随机选择产生M个初始抗体；计算抗原和抗体之间的亲和力函数值。按抗体-抗原亲和力函数值对M个个体从大到小排序，对每个亲和力最高的个体，以其为中心半径点，在一定的半径个体中随机选择k-1个个体，形成一个子群体（子群体大小为k）。同时对N个亲和力函数最高的个体进行相同的操作，产生N个子群体。之后进行克隆变异、克隆重组和克隆选择操作。如此重复迭代，直至满足终止条件。

3 神经网络亲和性函数的构造

在设计BP网络时，假设其输入Xi （包括输入节点数及输入值）和输出Oj （包括输出节点数及输出值）是已知的，三层BP网络如图2所示。

Xi（i=0，1，2……n）为网络输入，Oj（j=0，1，2……m）为网络输出。输入层与隐层之间的输出权值为Wij，隐层与输出层之间的权值为Vij。神经元的隐层节点i的输出表达式为

其中 一般为，a，b，d为常数，其饱和值为a和a+b。首先从样本集中取一个样本（Xk，Ok），将Xk输入网络，计算相应得实际输出Ok理想输出Yk的差，则网络中关于第k个样本的误差测度：

神经网络的学习过程实质上是在权值空间中搜索最优权值集合的过程，采用实数编码将神经网络的各个权值按一定的顺序级联为一个长串，则表达式为图3所示。

串中每一个基因代表了某一特定的连接权值和阈值，形式vij的基因表示隐层Hi节点到输出节点Oi的连接权值，oi和hi表示神经元的偏置阈值；形式wij的基因表示输入层Xi节点到隐层Hj节点连接权值。这样网络与抗体就构成了一个一一映射，而包含多个抗体的群体就对应着多个网络。

为了评价抗体群中各抗体的质量，必须建立抗体-抗体，抗体-抗原的亲和性函数。对神经网络来使用网络实际输出与期望值之间的均方误差来构造抗体-抗原亲和性函数：

其中yj为输入第j个训练样本的期望值，oj为相应得输出值，n为训练集合的大小。抗体-抗体的亲和性函数用Manhattan距离计算：

MECA算法就是要在该初始抗体群中通过各种操作算子，训练出网络误差测度最小的个体。随着训练的进行，网络输出误差逐渐减少，当误差小于某一预定阈值时，训练结束。这时解群中亲和性最好的抗体即为网络训练的最终结果。

MECA选择算法的训练步骤如下：

步骤1：抗原识别。确定神经网络的结构，输入层、隐层以及输出层节点数；步骤2：产生初始抗体。采用区间[-1，1]中的均匀分布产生初始权值，并按上节所述方法进行编码；步骤3：计算亲和力。分别计算抗原-抗体及抗体-抗体之间的亲和力；步骤4：构建子群体。选出N个亲和力最高的个体，并排序。对每个亲和力最高的个体，在剩余的个体中随机选择k-1个个体，形成一个子群体（子群体大小为k）。依次对N个亲和力最高的个体进行相同的操作，产生N个子群体；步骤5：重新计算各子群体中各个体亲和力；步骤6：根据克隆算子，用克隆、克隆变异、克隆重组以及克隆选择下产生新群体；步骤7：终止条件。重复执行步骤5至步骤6，直到终止条件（收敛判据） 满足为止。终止条件满足后，优化过程结束，选择最佳个体作为算法得结果。在本文中，采用了限定迭代次数以及在连续几次（如n次） 迭代中的最好解都无法改善则停止计算的混合形式的终止条件。

4 实验与结论

笔者用XOR问题对BP算法、GA和MECA的性能进行测试。 XOR问题被广泛应用于评价一个前馈网络的优劣，其本质就是映射问题：（0，0） →0，（1，0） →1，（0，1） →1，（1，1）→0，用一个2—2—1 的神经网络来模拟它。对XOR问题网络进行权值训练时，输入层2个节点，隐层2个节点，输出层1个节点。规定网络误差e≤0.001时算法收敛。重复运行了100次，每次迭代300代后，试验结果显示三种算法都达到收敛。实验结果如表1所示。

由表1可知，用MECA算法训练神经网络，收敛速度和质量明显优于BP和GA算法，收敛速度和精度又进一步提高，由于MECA算法采用抗体—抗体浓度调整机制，在一定程度提高了算法的自适应的局部寻优能力。

參考文献

[1]李孝安，张晓缋.神经网络与神经计算机导论[M].西北工业大学出版社，1995.

[2]靳蕃.神经计算智能基础[M].成都：西南交通大学出版社，2001.

[3]张立明.人工神经网络的模型及其应用[M].上海：复旦大学出版社，1993.

[4]蔡自兴，徐佑元.人工智能及其应用[M].清华大学出版社，1996.

[5]石纯一，黄昌宁.人工智能原理[M].清华大学出版社，1993.

[6]莫宏伟.人工免疫系统原理与应用[M].哈尔滨：哈尔滨工业大学出版社，2002.

[7]莫宏伟，王科俊，金鸿章.计算智能的融合应用研究[J].自动化技术及应，2002（1）：12-16.

[8]宫新保，周希朗.基于免疫聚类和遗传算法的RBF网络设计方法[J].应用科学学报，2004（01）：81-84.

收稿日期：2016-09-09

作者简介：李晓敏（1983—），女，山西大同人，硕士研究生，毕业于华北电力大学（北京），讲师，研究方向：科研与教学工作。