基于遗传算法的神经网络等价模型构建①

鲜开军 丁新虎 朱城超 朱钟华 徐东伟③

(*中国人民解放军61478 部队 乌鲁木齐830001)

(**浙江工业大学网络空间安全研究院 杭州310023)

0 引言

近年来,深度学习的研究成果已经成功应用在图像识别[1]、语音识别[2]和自然语言处理[3]等诸多领域,具有巨大的发展潜力和社会价值。作为深度学习的重要组成部分,神经网络模型结构在很大程度上决定着深度学习的性能表现[4]。例如,卷积神经网络(convolutional neural network,CNN)从提出到现在,已经涌现出了许多经典的网络模型[5],如AlexNet[6]、VGGNet[7]、GoogLeNet[8]、ResNet[9]、DenseNet[10]等,这些网络模型成功地应用在了许多领域,尤其是在图像识别领域[11]。作为深度学习领域中另一类重要的模型,循环神经网络(recurrent neural network,RNN)擅长处理时间序列数据,基于RNN 而提出的长短期记忆网络(long short-term memory,LSTM)[12]和门控循环单元(gated recurrent unit,GRU)[13]等变体结构,在文本、音频和视频等领域也取得了较好的效果[14]。

神经网络模型的结构对于模型来说非常重要,因此获取神经网络模型结构并对其进行分析具有重要意义。但是当得到一个黑盒模型时,其模型结构无法得知,而构建等价模型可以模拟出一个等价模型来帮助分析黑盒模型。因此等价模型构建具有实际意义。

遗传算法[15](genetic algorithm,GA)是模拟达尔文生物进化论的自然选择和遗传学机理的计算模型,是一种通过模拟自然进化过程搜索最优解的方法[16]。该算法无需准确描述问题的全部特征,且具有较强的通用性和鲁棒性,能较快适应问题和环境的变化,在对较为复杂的组合优化问题求解时,通常能较快地获得较好的优化结果。……