基于改进sigmoid激活函数的深度神经网络训练算法研究

黄 毅, 段修生, 孙世宇,郎 巍

(1.军械工程学院 电子与光学工程系,石家庄 050003;2.77156部队,四川 乐山 614000)

基于改进sigmoid激活函数的深度神经网络训练算法研究

黄 毅1, 段修生1, 孙世宇1,郎 巍2

(1.军械工程学院 电子与光学工程系,石家庄 050003;2.77156部队,四川 乐山 614000)

针对深度神经网络训练过程中残差随着其传播深度越来越小而使底层网络无法得到有效训练的问题,通过分析传统sigmoid激活函数应用于深度神经网络的局限性，提出双参数sigmoid激活函数;个参数保证激活函数的输入集中坐标原点两侧，避免了激活函数进入饱和区，一个参数抑制残差衰减的速度，双参数结合有效地增强了深度神经网络的训练;用DBN对MNIST数据集进行数字分类实验，实验表明双参数 sigmoid激活函数能够直接应用于无预训练深度神经网络，而且提高了sigmoid激活函数在有预训练深度神经网络中的训练效果。

深度神经网络；残差衰减；sigmoid激活函数

0 引言

深度神经网络自被提出以来，已被广泛应用于图像识别、语音识别、自然语义理解等领域。但是，与浅层神经网络(包含1个隐层)相比，深度神经网络的训练要难得多，其主要原因是梯度下降算法中残差会随着传播深度越来越小，使得底层网络由于残差过小而无法得到有效的训练。目前，解决该问题方法主要有两种：一是采用预训练算法等更好的权阵初始化方法；二是更好地激活函数。

本文通过分析传统sigmoid激活函数在深度神经网络训练中的局限性，提出双参数sigmoid激活函数，提高sigmoid激活函数应用于深度神经网络的性能。……