基于改进的基因表达式编程自动优化CNN

龚道庆，彭昱忠,2+，邓楚燕，袁 程，曹爱清，李红亚

(1.南宁师范大学 计算机与信息工程学院，广西 南宁 530299； 2.复旦大学 计算机科学技术学院，上海 200433；3.广西民族大学 预科教育学院，广西 南宁 530006；4.许昌电气职业学院 信息工程系，河南 许昌 461000)

0 引 言

卷积神经网络(convolutional neural networks，CNN)具有良好的特征提取能力和泛化能力，在图像分类、自然语言处理和模式识别[1-3]等领域被广泛应用。Lecun等提出了基于梯度学习的卷积神经网络LetNet-5模型并将其应用于手写数字识别，该模型的成功应用引起了学术界的广泛关注；Krizhevsky等提出了AlexNet模型，它与LetNet-5模型相似，但其具有更多的网络层数，该模型在较大数据集Image Net[4]图像分类任务中获得最佳效果；随着AlexNet取得成功，科研人员在其基础上又提出了其它的完善方法，例如由微软研究院的何凯明等在文献[5]中提出的残差网络(residual neural network，ResNet)，通过使用Residual Unit成功训练152层卷积网络，在ILSCRC2015年比赛中以3.75%的top-5错误率，获得比赛冠军。另外，ResNet、NIN、GoogleNet、VGGNet、ZFNet、DenseNet、DPN和SENet也同样是具有代表性的模型。

卷积神经网络设计，大多需要经验丰富的专家来完成。网络优化本质上是一个受金钱、计算能力和时间约束的迭代过程，这将耗费大量人力物力资源。一些精确的优化算法(如基于梯度搜索算法)在解决神经网络优化问题时是无效的[6]。因此，研究人员提出了各种基于启发式计算范式的网络优化算法，如，随机搜索[7]、基于贝叶斯优化[8]、树状网络的Parzen估计量[9]、基于序贯模型的全局优化[10]、扩展拓扑的神经进化[11]、进化的无监督深度学习[12]等。

近年来，进化算法在神经网络优化问题上被证明为最具竞争力的方法[6]。……