基于Swin Transformer的交通信号灯图像分类算法

张绪德，李康

（凯里学院，贵州凯里，556011）

0 引言

随着人工智能科学的发展，智慧交通逐渐影响人们的日常出行。信号灯是智慧交通的重要组成部分，基于交通信号灯的图像分类识别是进行研究的基础[1-2]。图像分类采用的算法主要有基于CNN 网络模型[3]，CNN 网络模型是由简单神经网络发展改进而来，相比于神经网络主要采用卷积层和池化层替代全连接层结构，卷积层能够有效地将图像中的各种特征提取出并生成特征图[4]，但CNN 模型学习全局特征能力不强，为更好实现对信号灯图像分类可采用基于自注意机制的深度神经网络Transformer，Transformer 模型具有多头自注意力机制，可以通过此机制进行特征提取，使用自注意力机制相比于CNN 模型能学习到全局特征，可以减少对外部信息的依赖，能更好的捕获数据或特征内部的相关性，从而提取更强有力的特征。

1 Swin Transformer 算法模型

■1.1 Transformer 算法模型

Transformer 模型最早是Google 在论文Attention is All you need[5]中提出，模型起初是用在进行自然语言处理，由于模型表现出强大能力，科学工作者尝试将Transformer 应用于CV 领域中进行处理计算机视觉相关的任务，Vision Transformer 的提出首次将Transformer模型架构用于处理图像中的相关信息，并且取得很不错的效果[6]，在目标检测领域随着DETR 模型出现首次应用Transformer 模型[7], DETR 模型进行检测时采用卷积神经网络基础上增加Transformer 模型的编码器和解码器。针对Vision Transformer 存在计算参数量大提出一种滑动窗口自注意力机制，在局部窗口进行自注意力机制有效降低参数量，同时采用卷积神经网络思想采用层次化构建方式堆叠Transformer 模型，Swin Transformer 模型得到迅速发展。……