用于高光谱图像分类的轻量级空间注意力网络

郭南南

（山东科技大学计算机科学与工程学院，山东青岛 266590）

0 引言

高光谱图像（Hyperspectral Image，HSI）包含丰富的空间信息与反映地物各种特征的光谱信息，因此高光谱图像被广泛用于地质勘探［1］、目标检测［2］和景观分类［3］。高光谱图像分类旨在根据每个像素空间光谱信息自动为其分配特定的语义标签，这是遥感图像处理中的重要课题［4］。尽管大量波段提供了地物详细的空间特征，但是波段之间，尤其是相邻波段之间通常存在紧密的相关性将导致信息冗余［5］。因此，本文针对该问题，提出一种新的降维算法用于高光谱数据的预处理。

深度学习（Deep Learning，DL）［6］方法可自动学习图像中的深层特征与高度抽象的语义特征，已被广泛应用于HSI 分类。基于深度学习的分类方法大体可分为基于光谱信息的分类方法与基于光谱空间信息的分类方法。基于光谱信息的分类方法仅提取HSI 光谱特征，通常包括基于深度信念网络（DBN）［7］的方法、基于自动编码器（SAE）［8］的方法与基于1D-CNN［9］等，这些方法往往使用一维特征向量作为输入，忽略了HSI 空间结构信息。文献［10］将五层CNN 应用于HSI 分类，并提出1D-CNN 网络以提取频谱特征。基于深度学习使用光谱空间特征的分类方法比单独使用光谱特征的方法获得的结果更好，例如ResNet［11］、3D-CNN［12］和DenseNet［13］、全卷积神经网络（FCN）［14］等；文献［14］提出一种基于FCN 的高光谱分类深度学习框架，使用反卷积网络增强高光谱特征，提高分类精度；文献［15］提出混合3D-CNN 与2D-CNN 的网络，但是网络包含大量训练参数，计算复杂。

现有网络模型通常需大量样本进行训练，同时训练参数较多，需仔细调整超参数以避免过度拟合。因此，本文设计一个用于高光谱图像分类的轻量级空间注意力网络（LSANet），在保证高分类精度的同时可减少参数数量与计算时间。LSANet中的空间卷积块具有轻量且高效的特征提取性能，可以捕获具有判别性的光谱空间特征。为优化特征提取识别能力，采用注意力机制细化特征图，增强网络空间特征表示能力，可提高有限样本分类性能。

1 原理与方法

本文提出一种轻量级空间注意力网络（LSANet）高光谱图像分类框架，相关流程如图1 所示。它由3 部分组成：降维、特征提取与分类。首先，利用分割核主成分分析（Segmentation Kernel Principal Component Analysis，SKPCA）对原始高光谱图像进行降维并获得有益于分类的光谱空间特征；然后，通过光谱空间卷积块（Spectral Space Convolution，SSC-block）对降维后的高光谱图像进行特征提取；最后，引入循环交叉注意力机制（Recurrent Criss-Cross Attention，RCC）抑制不重要的特征，增强可判别的特征。将输出的特征图进行全局平均池化，然后馈入全连接（Full Conection，FC）层，并使用Softmax 激活函数进一步预测样本类别。

Fig.1 Scheme of the proposed classification method based on LSANet图1 轻量级空间注意力网络的高光谱图像分类方法

1.1 分割核主成分分析

考虑到高光谱图像的相邻波段通常具有很强的相关性并包含冗余信息。因此，设计SKPCA 对高光谱图像进行降维。首先，将高光谱图像X的波段划分为K个相邻波段子集。第k（k∈{1,2,…,K}）个子集Sk为：

X={X1,…,XM}表示包含M 个波段。核主成分分析（Kernel Principal Component Analysis，KPCA）［16］在提高像素光谱可分性和降低光谱维数方面是一种非常有效的算法。因此，将KPCA 应用于每个相邻子集，如式（2）所示。

n表示主成分数目。然后，将不同波段子集的核主成分进行堆叠，如式（3）所示。

Yi表示降维后高光谱数据。对相邻波段的每个子集而不是原始高光谱数据执行KPCA，可保留有关光谱差异中更重要的光谱信息。

1.2 光谱空间卷积块

具有大量训练参数的网络可能容易过度拟合。为了解决该问题，设计轻量级光谱空间卷积块（SSC-block），其灵感来自ShuffleNetV2［17］中的结构。该卷积块详细信息如图2 所示。在SSC-Block 中，先将输入特征图在通道维度分左右两个分支，右分支使用空洞率为3 和6 的空洞卷积［18］，卷积核大小1×1（简称AConv），在空间中分别接收简单的短距离特征和复杂的远距离空间信息特征，同时使用卷积核大小为3×3 的深度可分离卷积［19］（简称DWConv）减少参数和计算量。在每个卷积层上引入批处理归一化（BN）［20］和ReLU 激活，使网络收敛规范化，提高训练效率，改善了网络过拟合现象。两个分支用concat操作进行合并，再经通道混洗操作从而实现更轻便、高效的光谱空间特征提取。在深度学习中，浅层网络可能无法显著提高网络分类效果，深层网络可以更好地学习判别性特征，提高分类精度，因此在网络中依次使用3 个SSC-block。

1.3 空间注意力机制（SAM）

为了使用轻量级计算和内存并加强空间特征，在网络中引入交叉注意机制（CCA）［21］对特征图依赖进行建模，主要通过计算目标特征像素点与特征图中其它所有点之间的相互关系，并利用其对目标像素点特征进行加权，以获得更加有效的目标特征。在交叉注意力机制中，在给定的局部特征映射H∈RC×W×H上使用两个1×1 卷积，分别生成两个特征图Q和K，其中{Q,K}∈RC'×W×H，C为通道数。在特征映射Q和K上使用密集操作，生成注意映射A∈R(H+W-H)×W×H。亲和操作定义为：

其中，di,u∈D是特征图Qu与Ωi,u，i=[1,…,|Ωu|]的相关性程度，D∈R(H+W-H)×W×H；Qu表示第u个位置特征映射；Ωu是从与位置u在同行或同列的特征图中提取特征向量的集合。在D 上使用Softmax 获得注意映射A。在特征图H 上使用1×1 的卷积，生成生成特征映射V∈RC×W×H。然后，通过聚合操作收集上下文信息。

Fig.2 Spectral-spatial convolution block图2 光谱空间卷积块

2 实验与讨论

2.1 实验数据

Indian Pines 图像中地物分布更加密集，并且一个图像块可能包含更多的地物类型。因此实验使用高光谱遥感数据集Indian Pines。

Indian Pines 数据集中图像空间分辨率为20m，在高光谱图像分类之前去除20 个失真波段，剩余200 个波段，光谱范围为400～2 500nm，大小为145×145 个像素，共包含16种地物。Indian Pines 假彩色图、地面真值图和类别图如图3（彩图扫OSID 码可见）所示。

2.2 参数设置

本文方法利用基于Python 语言的Keras 和TensorFlow深度学习框架实现。实验以随机选取的训练和测试样本重复20 次结果的均值作为精度，使用小批量随机梯度下降算法优化网络。损失函数使用交叉熵损失，在实验中将学习率设为0.001，批次大小设置为64。实验中每个类别随机选取总样本数的10%作为训练样本，剩余样本用作测试集。本文采用3 个广泛使用的定量指标评估HSI 分类性能，即总体准确度（OA）、平均精度（AA）和Kappa 系数。

Fig.3 Indian Pines data set图3 Indian Pines 数据集

2.3 实验结果与分析

为了有效验证本文提出的高光谱分类方法，将LSANet与当前最流行的深度学习网络分类方法和传统机器学习分类方法进行对比，包括SVM［22］方法、1D-CNN 方法、SAE方法、FCNN 方法、3D-CNN 方法。在使用SVM 方法进行高光谱图像分类时，本文使用径向基核函数。图4 展示了不同方法视觉分类效果。如图4 所示，由于仅利用光谱信息，因此SVM 和1D-CNN 显示出“椒盐现象”，不能取得令人满意的分类性能；SAE 和FCNN 方法可以在分类结果中表现出较好的视觉效果，但导致建筑物附近某些区域被错误分类；由于忽略了丰富的结构信息，FCNN 也呈现出嘈杂的分类结果；相比之下，本文LSANet 方法不仅可以在边界区域实现更为精确的分类，而且分类图包含较少的噪声。训练和测试样本数量及不同方法分类精度如表1 所示，可以看出，就OA、AA 和Kappa 系数而言，本文LSANet 方法优于其他比较方法。

Fig.4 Indian Pines image classification results obtained by different methods图4 不同方法的Indian Pines 图像分类结果

Table 1 Classification accuracies（Indian Pines）of difference method表1 IndianP 图像的不同方法上各类别精度

3 结语

本文提出了一种新颖的轻量级空间注意力网络（LSANet），可用于高光谱图像分类。网络中光谱空间卷积块可捕获更丰富的光谱空间特征。循环交叉注意力机制增强了有效的空间特征，使网络更注意地物结构和边缘，提高了分类性能。在高光谱数据集上进行实验，结果证明该方法有效。但是，该方法的缺点是注意力机制仅考虑像素级别特征，忽略了通道方向特征，这是为构建更有效的光谱空间注意力机制需解决的问题。