基于混合激活函数的改进卷积神经网络算法

刘国柱,赵鹏程,于 超,王晓甜

(青岛科技大学 信息科学技术学院,山东 青岛266061)

卷积神经网络是一种典型的多层前馈人工神经网络。激活函数则是人工神经网络模型中不可缺少的重要组成部分。通常在大多数人工神经网络中所使用的激活函数多为Sigmoid、Ramp(ReLU)、Tanh等单调、非周期性的非线性函数。并且在多层卷积神经网络中,通常都会使用同一种激活函数,而几乎不会同时使用多种激活函数。大多数人并不认可Sinusoid函数作为神经网络中激活函数的能力,因为它并不单调。而早 在1987 年,LAPEDES 与FARBER 首 先 成 功地建立了使用Sinusoid函数作为激活函数的具有一个隐藏层的神经网络[1]。他们将此解释为广义的傅里叶分解。最近的一个研究工作中,GASHLER 和ASH MORE 在深度神经网络中使用了Sinusoid,Linear和ReLU 函数作为激活函数用于预测时间序列数据[2]。ALEXANDER、MAXIMILIAN 和ALEXANDER 在简单进化网络(evolving parsimonious networks)中使用了混合激活函数[3]。而在卷积神经网络中使用Sinusoid函数作为激活函数进行图像分类任务以及在卷积神经网络中使用混合激活函数的有关工作尚缺乏。

本研究将Sinusoid(Sin)函数作为激活函数引入到多层卷积神经网络中,建立了一个使用混合激活函数的多层卷积神经网络模型,并在图像分类任务中对其收敛速度和识别效果进行了研究。另外,也将该模型同其他研究者所使用的一些图像分类算法在分类效果上进行了对比。

1 模型建立

提出一个使用混合激活函数的卷积神经网络模型。作为对照,在保持神经网络的基础结构不变的情况下,分别将每个神经网络中各单元所使用的激活函数替换为其他4种激活函数中的同一种函数,建立其他4个神经网络模型。……