基于AlexNet的注意力机制网络研究

◆任楚岚 孙佳楠 张阳

基于AlexNet的注意力机制网络研究

◆任楚岚1孙佳楠1张阳2

（1.沈阳化工大学计算机科学与技术学院 辽宁 110142；2.辽宁中医药大学附属医院 辽宁 110032）

本文采用引入人类视觉系统的注意力机制对AlexNet网络模型进行改进，通过融入注意力机制对AlexNet注意力机制网络进行研究，并通过CIFAR-10数据集进行实验对比验证。实验对比结果表明，AlexNet注意力机制网络模型比传统AlexNet网络模型具有更好的分类效果，其分类准确率提升了2%。

深度学习；注意力机制；卷积神经网络

自2006年起，深度学习因其强大的自动提取特征能力、复杂模型构建能力和图像处理能力出现在了人们的视野之中。它是一种使用多层复杂结构或由多重非线性变换构成的多个处理层进行数据处理的方法[1]。近年来，深度学习方法由于其在数据分析处理上的特点已经被广泛应用于各种领域，尤其是在语音识别[2-3]、图像识别[4-5]等领域已经取得了突破性进展。

深度学习作为机器学习中一种较好的方法，是机器学习的重要组成部分。它主要在于建立一个模拟人类脑部进行分析学习的神经网络，用以模仿人脑的机制来解释和分析数据，例如图像，文本和声音等。本文将选用AlexNet网络模型对已有数据进行基础训练，并融入了注意力学习机制，通过对原有模型的改进，提高其准确率。

1 基本概念

1.1 卷积神经网络

随着深度学习技术的快速发展，特别是卷积神经网络（convolutional neural network，CNN）技术在图像处理和自然语言处理等领域取得了显著成效，越来越多的领域都开始尝试使用卷积神经网络技术来解决问题。……