基于元学习的高光谱鲁棒性学习

廖启明,张桂烽,张国云,石乘仲,周晨明,李新平,赵 林

(湖南理工学院 信息科学与工程学院,湖南 岳阳 414000)

高光谱遥感技术可以获取空间信息和几乎连续的光谱信息。高光谱图像(Hyperspectral Image,HSI)相较于RGB图像的主要优势在于其高光谱的光谱维度,通常包括数百个光谱波段。当前,HSI数据的分析和处理已成为遥感和目标分类的研究重点。例如,在地形探测、环境保护、气候预测和特定资源识别等领域中。这些领域的相关应用中,HSI分类是至关重要的。

近年来,深度学习在各种分类任务中取得了巨大成功[1-4]。然而,有监督的深度学习算法性能往往取决于具有高质量标签的样本数据。在现实情况中,样本标签通常需要手动标记和人工检查,以确保每个样本对应标签的准确性[5]。这种手动标记的方式容易出错,成本高昂,特别是当样本数量非常大时,要确保样本标记完全正确几乎不可能。因此,在分类问题的深度学习算法训练中,不可避免地面临着标记样本不足或标签有误的问题。

在很多高光谱的应用场景中,对数据的标记通常需要人工完成。由于所需标注的样本数量巨大,故不可能逐个反复检查和纠正每个标记样本标签的正确性。从而导致这些任务面临标签噪声的问题,也就是所得到的标记数据集不可避免地存在或多或少的标签噪声。因此,如何利用这些有偏的训练数据进行有效学习是一个重要且有意义的课题。

在高光谱图像分类任务中,尤其需要重视标签噪声的问题,其主要原因为:标记样本数据需要大量人力对地物目标进行充分调查,且需要领域专家对这些场景具有相应的先验知识。对于一些特定的场景,如海洋、湿地等人类不容易到达的区域,若要确定这类场景中样本的真实标签就只能通过视觉解译,这就不可避免会产生大量错误标注的标签。其次,高光谱图像中的地物边缘信息往往异常复杂,特别在多类地物边界处,往往容易因邻近混淆而产生标签噪声。

目前,针对图像分类任务中标签噪声数据会严重降低分类模型泛化性能的问题,许多研究人员提出了缓解图像分类中噪声问题的新思路。例如,Xiao等[6]首先采用概率图模型建模标签噪声,再利用有限数量的干净数据和大量可用的噪声数据来训练卷积神经网络。Han等[7]使用自学习框架来改善标签噪声的数据集的质量。Pelletier等[8]评估了噪声对HSI分类性能的影响,结果表明现实中的地物混淆对分类器的影响更大。为了缓解遥感中的标签噪声问题,Hou等[9]提出了一种半监督学习方案,同时利用标记和未标记像素进行信息补偿。从先验信息引导的相邻像素之间的结构关系进一步增强了其对标签噪声的鲁棒性。Li等[10]使用互补学习策略进行带有标签噪声的HSI分类。Tu等[11]引入了光谱角和局部离群因子来检测噪声样本。进一步,他们还提出了一种基于密度峰值聚类的噪声检测方法[12]。Hu等[13]提出了一种称为纠正最大化训练的训练策略,用于净化噪声并训练模型。然而,上述这些方法通常需在分类模块之前添加额外的检测噪声样本模块,并在此基础上移除疑似标签噪声的样本。这种情况不但需要增加额外的计算开销,还会导致训练样本的数量大量减少,特别是对于具有高比例标签噪声的数据集。

为此,本文提出了一种基于元学习的自适应元加权网络框架以解决高光谱图像分类中的标签噪声问题。该方法首先利用噪声数据集通过基础分类网络与元权重网络生成加权损失反向传播更新基础分类网络得到虚拟分类网络。随后,引入专家人工标注小规模的置信样本集作为验证集输入虚拟分类网络得到交叉熵损失更新元权重网络,最后再次利用噪声数据集对基础分类网络进行更新。在2个常用的高光谱数据集上对提出的框架进行了评估,结果表明其具有较好的鲁棒性和抗噪性。

1 元学习模型框架

1.1 自适应加权

基于元学习的自适应加权网络框架主要由基础分类网络f(w)、元权重网络g(θ)和虚拟分类网络f(w(θ))3部分组成。其中基础分类网络可以为任意的HSI分类网络。元权重网络g(θ)为只有1个隐藏层且包含100个节点的多层感知器(Multi-Layer Perceptron,MLP)。元权重网络g(θ)可以在无超参数条件下学习网络参数,自适应地为样本分配权重,从而抑制标签噪声样本对分类器训练的影响。元权重网络生成的权重和基础分类网络计算得到的交叉熵损失共同组成了加权损失,该损失通过对基础分类网络的参数w求偏导得到虚拟分类网络的参数w(θ),如图1所示。

图1 虚拟分类网络

需要指出的是,元权重网络g(θ)的训练依赖于虚拟分类网络,该虚拟网络需要利用少量专家标注的置信样本构成的验证集作为输入,在无人工干预的环境下学习分类损失到样本权重的映射关系。

1.2 自适应加权与模型训练

为了抑制噪声样本的影响,所提出的元学习样本重加权优化框架采用样本加权的学习策略,通过赋予标签噪声样本的较低的权重,以提高基础分类网络的鲁棒性。所提元学习框架中,基础分类器和元权重网络的模型参数学习采用迭代更新的方式,主要步骤如图2所示。

图2 元学习加权框架中网络参数迭代更新示意图

∇L(f(xi,wt),yi)|wt。

(1)

从式(1)可以看出,虚拟分类网络f(w(θ))中嵌套了元权重网络。因此,将标签准确可信的验证集输入到虚拟分类网络中,通过分类损失反向传播可以实现元权重网络的更新。在该过程中,仅需要专家标注小型额外验证集,元权重网络就可以通过对验证集样本的训练,学习到合理地为样本分配权重。元权重网络的参数更新为:

(2)

在加权网络参数的反向梯度传播更新后,下一步就需要迭代更新基础分类网络的参数w。基础分类网络的更新依赖于更新后的加权网络参数g(θt+1)对样本进行重新分配权重,形成加权损失函数反向更新基础分类网络,基础分类网络的更新为:

∇L(f(xi,wt),yi)|wt。

(3)

为了应对标签噪声问题,提出了一种自适应的元学习样本重加权优化框架,该框架采用样本加权的学习策略,通过赋予标签噪声样本的较低的权重,以提高网络的鲁棒性,图2展示了该元学习优化框架的结构。

2 实验结果分析

2.1 实验数据集

本文的自适应加权框架在3个广泛使用的高光谱图像数据集Salinas(SA)、Botswana(BOT)和University of Pavia(UP)上进行评估。SA包含512×217像素,波长范围为0.4～2.5 μm的204个光谱通道,标记的像素被设计成16个类别。BOT包含1 476×256像素,波长范围为400～2 500 nm的145个光谱通道以及14个类别。此外,在UP数据集上做了分类结果可视化。在SA、BOT进行的实验分别使用整个数据集的1%、5%作为训练集,并在训练集中,篡改每个类别中10%～30%的样本标签构造错误标签样本。

2.2 实验参数设置

在实验中,使用最常见的2DCNN器在元学习加权框架中训练。为了验证网络的鲁棒性,保证实验数据的真实性,实验重复10次,取平均值。

在本实验中,选择截取块大小值设置为7,这意味着高光谱数据集中的每个样本点都截取周围7×7的图像作为样本点的输入数据。使用Adam优化器,权重衰减因子为5e×10-4,训练轮次epoch为100,批次大小为128。初始学习率为0.001,并随着批次的增加逐渐降低。

在高光谱图像分类任务中,评估方法的选择对于比较不同方法的性能非常重要。因为选择不同的评估方法可能会导致结果差异很大。因此,为了更全面地评估所提出的元学习自适应加权框架和其他不同方法的表现,选择了总体准确率(OA)、平均准确率(AA)和Kappa系数(Kappa)3个指标作为评估方法。

OA表示正确分类的样本的百分比,其定义为:

(4)

式中:TP表示真阳性;FP表示假阳性;TN表示真阴性;FN表示假阴性。

AA表示每类分类精度的平均值,其定义为:

(5)

Kappa表示模型得到的分类图与真实图像之间的一致性,其定义为:

(6)

式中,pe表示分类的正确率,其计算公式为:

(7)

为了保证结果的可靠性,实验随机选择训练样本并重复10次实验。这样可以降低随机因素对结果的影响,提高实验结果的可靠性。

2.3 不同噪声环境下的实验结果

在本部分实验中,验证了所提出的优化框架在SA和BOT数据集上的性能。具体而言,在SA和BOT数据集中,根据每类样本的比例,分别选取了1%和5%的样本作为训练集。

图3展示了使用元学习自适应加权框架在UP数据集上训练的权重网络学习到的样本的损失-权重曲线。该数据集含有10%的标签噪声,并且使用了该框架进行训练。从图3可以明显看出,权重网络为标签噪声样本赋予了更低的权重,这表明该框架可以有效地抑制标签噪声样本对网络训练的影响。

图3 元权重网络样本损失与权重的关系曲线

如图4所示,UP数据集和网络的分类图。(a)RGB图片;(b)ground-truth;(c)类标签;(d)～(k)由基础网络(第2行)和优化框架(第3行)在不同数量的标签噪声下得到的分类图。(d)和(h)中的标签噪声比为0%,(e)和(i)中的标签噪声比为10%,(f)和(j)中的标签噪声比为20%,(g)和(k)中的标签噪声比为30%。从图中可以对比基础卷积网络和优化框架对噪声UP数据集的分类结果。可以看出(h)～(k)中将Meadows误分为其他类样本明显少于(d)～(g),随着噪声增加,可以发现所提出的框架明显减少了错误分类的情况,提高模型的鲁棒性。

(a) (b) (c)

如表1所示,在BOT数据集和SA数据集的不同噪声环境下,基本分类网络和元学习加权框架的OA、AA和Kappa得分。可以看出,在噪声环境下,本文所提出的在元学习加权框架的基础分类器在各项指标上的性能明显优于只使用基本分类器的情况。其中,当噪声比较高时,元学习加权框架的性能优势更加显著。此外,随着噪声比的增加,单一使用基础分类网络的各项指标都呈现出明显的下降趋势,而在元学习加权框架下训练得到的网络各项指标并未出现骤降的趋势,对标签噪声呈现出良好的鲁棒性。相对于基础分类网络,所提出的框架OA精度提高了0.47%到5.85%不等,这表明所提出的框架能够有效地缓解标签噪声的影响,从而进一步提高模型的鲁棒性能。

表1 基础分类网络(BASE)与元学习加权框架(META)在不同噪声比的标签噪声环境下的分类性能 %

3 结语

本文揭示了从带有标签噪声的高光谱数据集中学习到具有鲁棒性的神经网络模型的可能性。提出了一种基于元学习的加权框架,可适用于众多基础分类网络模型的训练。实验结果表明,在高光谱数据集包含标签噪声的情况,该框架下分类性能指标较之基础分类网络得到一定的提升。特别是在高标签噪声比的环境下,所提出的框架仍然能有效提高分类网络的鲁棒性。