卷积神经网络模型发展及应用

严春满，王 铖

西北师范大学物理与电子工程学院，兰州730070

卷积神经网络（convolutional neural network，CNN）在计算机视觉[1-5]、自然语言处理[6-7]等领域已被广泛应用。在卷积神经网络兴起之前，主要依靠人工针对特定的问题设计算法，比如采用Sobel、LoG（Laplacian of Gaussian）、Canny、Prewitt 等[8-11]算子进行边缘检测，采用Harris、DoG（difference of Gaussian）、FAST（features from accelerated segment test）、SIFT（scale invariant feature transform）等[12-15]用于角点等特征检测，并且采用传统分类器如K近域、支持向量机、稀疏分类器等[16-18]进行分类。特征提取和分类器的设计是图片分类等任务的关键，对分类结果的好坏有着最为直接的影响。卷积神经网络可以自动地从训练样本中学习特征并且分类，解决了人工特征设计的局限性。神经网络的思想起源于1943年McCulloch和Pitts 提出的神经元模型[19]，简称MCP 神经元模型。它是利用计算机来模拟人的神经元反应的过程，具有开创性意义。此模型将神经元反应简化为三个过程：输入信号线性加权、求和、非线性激活。1958 年到1969 年为神经网络模型发展的第一阶段，称为第一代神经网络模型。在1958 年Rosenblatt 第一次在MCP 模型上增加学习功能并应用于机器学习，发明了感知器算法[20]，该算法使用MCP 模型能够采用梯度下降法从训练样本中自动学习并更新权值，并能对输入的多维数据进行二分类，其理论与实践的效果引起了神经网络研究的第一次浪潮。1969年美国数学家及人工智能先驱Minsky 在其著作中证明感知器本质上是一种线性模型[21]，只能处理线性分类问题，最简单的异或问题都无法正确分类，因此神经网络的研究也陷入了近二十年的停滞。1986 年到1988 年是神经网络模型发展的第二阶段，称为第二代神经网络模型。……