卷积神经网络算法的比较探究

蒋承知+于起+叶文强+甘凇元

摘 要 机器学习的兴起使得计算机在处理庞大数据时多了一种强有力的手段，尤其计算机在识别大数据量图像时与计算机视觉技术相结合，使得图像识别等人工智能运用更加快速。深度学习发展和延伸了传统机器学习，使得计算机能像人类大脑一样用通过感受视取图像特征。卷积神经网络改善了传统神经网络的功能，通过权值共享技术减少网络训练参数的数量，采用下采样技术避免了传统神经网络易于过拟合等缺点，因此卷积神经网络在人脸识别，语音识别等领域有了广泛的运用。随着技术的发展，卷积神经网络也衍生出了许多性能优良的网络结构框架。本文主要探究R-CNN和Fast-R-CNN进行图像识别上的性能分析。

【关键词】深度学习 卷积神经网络 权值共享 下采样 R-CNN Fast-R-CNN

1 绪论

随着电子信息技术的快速发展，芯片的设计与生产进入了纳米时代，计算机的计算能力与计算速度得到了空前的提高，但是人们的需求是无限的，要求计算机能更加任性化的服务于我们的生活，这也就要求计算机本身能像人一样识别与感知周围的环境，并对复杂的环境做出正确的判断。而图片信息是我们周围环境最直观的，最容易获取的信息，要求计算机能对为的环境做出识别与判断也就要求计算机能够智能的识别图像信息。深度学习是机器学习中的一个新的研究领域。通过深度学习的方法构建深度网络来抽取目标特征进而识别周围的环境。卷积神经网络对图像的处理具有平移，旋转，扭曲不变的优良特性。在处理图像是更加快捷和便利。卷积神经网络使得计算机在感知识别周围环境的能力有了巨大的提升，使得计算机更加智能。卷积神经网络拥有强大的特征提取能力，使得其在图像分类识别，目标跟踪等领域有着强大的运用。

1.1 国内外研究现状

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向传导神经网络输出误差进行训练神经网络。通过BP算法，神经网络能够从大量训练数据中的学习到相关统计信息，学习到的数据统计信息能够反映关于输入-输出数据模型的函数映射关系。

自2006年以来，Geoffery Hinton教授提出深度信念网络。从此深度学习在学术界持续升温。深度学习不仅改变着传统的机器学习方法，也影响着我们对人类感知的理解，迄今已在语音识别和图像理解等应用领域引起了突破性的变革。各种相关的算法和模型都取得了重要的突破，使得深度学习在图像分类，语音识别，自然语言处理等领域有广泛的运用。

2013年百度成立百度深度学习研究院以来我国的人工智能领域取得了长足的进步。在人工智能专家吴恩达的带领下，百度陆续推出一系列人工智能产品，无人驾驶技术，DuerOS语音交互计算平台，人脸识别技术，美乐医等优秀产品。此外Imagenet图像识别大赛中也诞生了一系列经典的神经网络结构，VGG，Fast-R-CNN，SPP-net等等，可以说人工智能技术在近几年得到了空前的发展。

2 深度学习概述

深度学习是机器学习的一个新方向，通过学习样本数据内在规律和深层特征深度，深度学习神经网络能够像人一样有分析和学的能力，尤其在文字处理，图像识别，语音等领域更加突出。能够自主学习一些新的东西。目前深度学习使用的典型技术是通过特征表达和分类器来进行目标识别等任务的。并在语音识别、图像处理、机器翻译等领域取得很多成果。

深度学习不同于以往的浅层学习，浅层学习模型值包含一个隐藏层，或者不存在隐藏层，深度学习则是由很多隐藏层组成的，上一层的输出作为下一层的输入，实验对输入信息进行分级表达。目前深度学习框架主要包含三种深度学习框架，如图1、2、3所示。

3 卷积神经网络

卷积神经网络的结构层次比传统的神经网络复杂，卷积神经网络包含大量的隐藏层，相邻的卷积核或者下采样核采用局部感受野全链接，神经元权值共享的规则，因此卷积神经网络训练参数的数量远比传统神经网络少，卷积神经网络在训练和前向测试的复杂度大幅度降低，同时也减少了神经网络训练参数过拟合的几率。卷积神经网络主要有两部分，分别是卷积核和下采样核。卷积核主要对上一层的图像进行卷积运算，提取图像特征，下采样核则是对上层的数据进行将为处理，减少神经网络的复杂度。

卷积神经网络中每一个神经元的输入与前一层的局部感受野相连，提取局部感受野的特征，比如图像的轮廓，颜色等特征，而这些特征不仅包括传统人类能理解的特征，也包括神经网络自身能够识别的特征，卷积核全职共享，因此这些特征提取与图像的位置无关。

图4是经典的LeNet5卷积神经网络架构，LeNet5架构中卷积核和下采样核交替出现，下采样核及时的将卷积核生成的特征向量进行降维，减少神经网络的运算量。LeNet5算法在1962年幼Hubel等人提出，在识别手写数字mnist中有极高的准确率。

4 R-CNN、Fast-R-CNN对比分析

卷积神经网络在对图像进行识别具有平移，旋转，扭曲不变的优良特性，并且能够实现高准确率识别图像，但是在现实生活运用中往往需要神经网络标记出目标的相对位置，这是传统卷积神经网络不具备的功能。因此在前人传统卷积神经网路基础上对卷积神经网络进行改进，产生了具有对图像中目标进行识别和定位的卷积神经网络R-CNN，Fast-R-CNN等改良算法。

4.1 R-CNN

R-CNN为Region Convoluntional Neural Network的缩写即对图像进行局部区域的卷积处理，其核心思想主要是利用候选区图像对物体探测中位置信息进行精确处理和利用监督式预训练和区域特殊化的微调方法，代替了传统的非监督式预训练和监督式微调。

在CNN中，全连接层输入是固定大小的，因此R-CNN用计算机视觉算法将每一张图片分割成1000-2000张的候选区图片后，要将这些候选区图片进行变换，生成固定大小的候选图片，在训练提取特征时一般采用经过预训练的模型参数进行finetuning，為了增加训练样本，模型在也将生成的候选框以及标定的标签作为训练样本进行训练。R-CNN采用SVMs分类器对特征向量进行分类，在训练SVMs时将候选框经过卷积神经网络提取的特征和SVM标定结果输入到SVMs分类器训练分类器模型。而在测试时将图像全部候选框经过卷积神经网络提取的特征输入到SVMs分类器中，得到每一类的评分结果。但是R-CNN在处理一张图片是要处理需要对一张图片1000-2000个候选区图像进行前向运算，保存所有后选取图片的特征值，要求计算硬件有大量的存储空间，同时处理每一张图片的时间也会增加。由于训练集庞大，本文采用hard negative mining method方法提高存储的利用率。

R-CNN的体现出了极大的优势，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN计算的时间成本很大，达不到实时的计算效果，R-CNN在对候选区进行处理时会使得图像失真，部分信息丢失。

4.2 Fast-R-CNN

Fast-R-CNN则是再次改进的一种基于卷积神经网络目标跟踪定位算法。相比于R-CNN，Fast-R-CNN从单输入变为双输入，在全连接层后有了两个输出，引入了Rol层。

Fast-R-CNN在运行的时候同样会生成大量的候选区，同时将原始的图片用卷积神经网络进行特征提取，将原始图片提取的特征与生成的候选区坐标送入Rol层为每一个候选区生成一个固定大小的特征向量。最后将Rol生成的特征向量全连接层产生最终的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于计算K+1分类的损失，K为第K个目标，1为背景；Regression LOSS计算候选区的四个角的坐标。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在计算候选区是仍存在瓶颈，这也是限制Fast-R-CNN速度的因素。

5 实验测试

对于本文提出的卷积神经网络识别图像定位图像目标算法R-CNN，Fast-R-CNN，在本章给出实验结果。实验平台为基于Linux系统的debian8下运行caffe进行训练，采用显卡K620进行实验。

训练模型初始化参数在是服从高斯随机分布，R-CNN采用的网络结构如图7所示，Fast-R-CNN的网络结构如图8所示。

本次实现的训练样本为录制实验室视频数据，将视频数据转换成帧图片，对每张图片数据进行裁剪，裁剪后图像大小在256*256，共有500张，再将裁剪后的图片进行旋转，平移，扭曲，镜像，加噪声等处理，最后生成144万张样本图片，其中136.8万张图片作为训练样本，7.2万张作为测试样本。

6 总结

在目标识别定位领域，卷积神经网络具有强大的图像处理能力，对图像的识别定位具有很高度平移，旋转，扭曲不变形的优良性能。卷积神经网络架构R-CNN和Fast-R-CNN都有强大的图像处理能力。Fast-R-CNN在识别准确率上比R-CNN高。R-CNN算法复杂，对一张图片需要进行1000-2000次的卷积运算，特征重复提取。因此在训练和前向测试时，R-CNN用的时间长，不能很好的适用于处理实时图片数据，尤其视频数据。R-CNN在对每个候选区进行特征提取之后需要将提取的特征向量存入内存，降低训练测试时间的同时也需要耗费大量内存。因此从各方面分析可知，Fast-R-CNN性能优于R-CNN。

参考文献

[1]谢宝剑.基于卷积神经网络图像分类方法研究[D].合肥工业大学，2015.

[2]郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014（02）：175-184.

[3]陈先昌.基于卷积神经网络的深度学习算法与运用研究[D].杭州：浙江工商大学，2006（04）：603-617.

[4]李彦冬，郝宗波，雷航等.卷积神经网络研究综述[J].计算机应用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.

作者單位

东北大学信息科学与工程学院 辽宁省沈阳市 110819