基于注意力机制的卷积神经网络在图像分类中的应用

陈耀文 谭晓玲

（重庆三峡学院，重庆 404130）

1 概述

图像分类指的是根据某种算法判定输入的图像的类别，一般的图像分类步骤包括：图像预处理、图像特征提取和图像类别判定。卷积神经网络（Convolutional neural network，CNN）模仿了生物的视知觉机制，解决了传统人工提取特征的繁琐工程，实现了从数据中自动地提取特征。在ImageNet 2012 竞赛上，AlexNet[1]远超传统机器学习方法，使用8 个卷积网络层达到了15.3%的TOP-5 图像分类错误率。而随着对CNN 在图像分类领域研究的深入，研究者发现CNN 的特征提取能力可以随着网络的深度和宽度而增加。VGGNet[2]探索了更深地网络，设计了可以重复堆叠的卷积网络模块，通过堆叠这些网络模块构建网络，并提出多层网络模型中特征的等级会随着堆叠层的深度变的更加丰富。InceptionNet[3]探索的更宽的网络，提出了分支设计，在一个网络层使用多种卷积核提取多层次特征，使网络具有更强的表达能力，同时多分支叠加的大通道输出相比无分支在计算消耗上更少。ResNet[4]引入的残差结构解决了网络加深导致的网络退化问题，使得深度网络在学习不到新特征时可以通过残差结构实现恒等映射，保证网络性能不会变差，并且残差结构对各层之间的微小差异更加敏感，特征学习能力更强。

然而，在实际任务中，受限于计算能力，常常无法构建足够深和足够宽的网络去处理和记忆全部的信息，而需要对信息进行选择，因此，研究者尝试将注意力机制引入到CNN 中。注意力机制是当前深度学习领域比较流行的一个概念，其模仿人的视觉注意力模式，每次只关注与当前任务最相关的源域信息，使得信息的索取更为高效。……