基于改进遗传算法的深度神经网络优化研究*

李 静，莫思敏

(太原科技大学经济与管理学院,山西 太原 030024)

1 引言

人工神经网络ANN(Artificial Neural Network)在人工智能和机器学习领域有着很重要的地位，自1943年提出以来便成为活跃的研究领域[1]。随着大数据时代的到来，深度学习技术不断发展，各种深度神经网络被提出以解决各种问题。然而，神经网络的性能受其结构、超参数影响很大，设计出合理的神经网络结构较为困难，也正因如此，神经网络在很多问题上的应用受到了限制。

近年来，很多专家学者针对神经结构搜索NAS(Neural Architecture Search)进行了一系列研究，旨在设计出一种可以自动搜索出性能最佳的网络结构的技术，这种技术可以根据特定的样本集自动搜索出最优的网络结构。神经结构搜索技术甚至能够搜索出之前人类专家从未发现的网络结构，在某些任务上甚至可能比人类专家水平还要高。

Elsken等人[2]概述了该领域现有研究成果，并从3个维度对它们进行了分类：搜索空间、搜索策略和性能评估策略。搜索策略是指在搜索空间中找到最优网络结构的方法。演化优化作为一种通用的优化方法，已经成功地应用在很多领域中。一些研究表明，针对给定任务，使用演化算法演化神经网络结构参数和超参数往往能够发现有效的神经网络结构。近年来，对神经网络结构优化的研究中出现了很多针对演化算法的研究。Luo等人[3]提出基于连续优化的简单有效的自动神经结构设计方法，解决了在离散空间中搜索神经网络结构效率低下的问题。……