基于CNN的图像分类中激活函数的研究

张琴

（福州职业技术学院信息技术工程系，福州 350108）

0 引言

2012年Hinton教授小组在ImageNet视觉识别竞赛[1]中通过卷积神经网络（CNN）将错误率从原来的25%降到了16%之后，CNN的应用越来越广泛，主要包括计算机视觉、自然语言处理、语音识别等领域[2]。激活函数作为CNN中的一个重要模块，不仅为卷积神经网络提供了学习复杂分布所必需的非线性，而且可以有效抑制残差衰减并提高收敛速度，这也是CNN取得成功的关键[3]。研究者对CNN的研究工作高度重视，但其中存在一些困难和问题仍然没有很好的解决方法。例如，在网络结构设计和模型训练方面尚未形成通用的理论，需要依靠经验并花费大量时间进行调试，不断探索优化算法和最佳的参数；反向传播算法中存在“梯度消失”、“神经元坏死”等现象，导致模型无法进行有效的训练。本文通过分析各种常用激活函数的优缺点，结合激活函数在训练过程中的作用，给出激活函数在设计时需要考虑的要点，据此设计出了一种新的非线性非饱和的激活函数SReLU，该函数兼具Softplus函数和ReLU函数的优点，具有较强的表达能力和稀疏能力[4]，且收敛速度快，识别率高。

1 常见的激活函数及特征

1.1 饱和非线性激活函数

Sigmoid函数及其导数的图像如图1所示，从函数图像可以看出该函数能够把输入的连续实值变换为0和1之间的输出，即输出恒为正值，不是以零为中心的，这个特性会导致后面网络层的输入也不以零为中心，从而影响收敛速度。x为0附近的值时，激活函数对信号增益效果明显，但是当|x|的取值越来越大时，σ'(x)越来越小，容易导致梯度消失。……