基于深度学习的农业大棚遥感提取方法研究

石文西，雷雨田，汪月婷，袁 媛*，陈静波

(1.南京邮电大学 地理与生物信息学院，江苏 南京 210023；2.中国科学院空天信息创新研究院，北京 100094)

0 引言

农业塑料大棚是一种新兴的保护地栽培设施，根据我国《土地管理法》规定，大棚用地被规划为农用地中的生产设施用地，其土地利用属性极大地区别于建设用地。然而，近年来假借发展设施农业之名，擅自或者变相改变农业用途，在耕地甚至基本农田上建设“大棚房”，在“大棚房”内违法违规建设“私家庄园”等，严重冲击了耕地红线，对土地资源和粮食安全造成了极大危害。因此，及时、准确地识别和监测农业大棚的位置以及空间分布，成为自然资源管理部门开展耕地“非农化”整治工作的重点。

由于农业大棚在外观上具有一定隐蔽性，难以进行人工测定和快速监测，因此，国内外许多学者将遥感技术应用于大棚和地膜农田的检测提取，利用不同空间分辨率的光学遥感影像进行大范围的大棚监测[1-4]。当前，主流的大棚识别方法普遍遵循传统的遥感图像分类流程：先提取并筛选合适的图像特征，再训练机器学习分类器将特征映射为地物类型。常用于进行大棚识别的光谱特征包括各波段均值、标准差和比率等。此外，由于纹理特征能为区分具有相似光谱、不同空间结构的地物提供有效信息，使用塑料大棚的纹理特征来弥补光谱特征的局限性也成为部分研究的重点。例如，Agueera等人[5]提出一种从不同窗口大小和不同灰度量化的全色图像中提取纹理特征来提高大棚像素级分类的方法。吴锦玉等人[6]提出一种联合归一化植被指数特征(Normalized Difference Vegetation Index,NDVI)，PSI等光谱特征和LBP纹理特征的大棚识别方法，其总体精度达到96.3%。总体来看，现有大棚识别方法所采用的特征类型单一且没有针对大棚的特殊性质进行优化和改进，难以充分表达大棚与其他相似地物的差异性。

近年来，卷积神经网络(Convolutional Neural Network，CNN)凭借其泛化能力以及共享参数的优势，被应用于各种图像分类任务，使用深度学习进行目标检测[7-10]也逐渐被人们熟知。2015年，He等人[11]设计了残差神经网络(Residual Neural Network，ResNet)模型，提出了残差模块的概念，并利用残差模块克服了由于网络深度增加所导致的梯度消失问题。戴玉超等人[12]提出一种基于深度残差网络的自上而下的多光波段遥感图像显著目标检测网络。孟佳佳等人[13]将深度残差卷积神经网络作为一种分类器，输入待分类的像元及其领域像元，通过残差网络的算法模型实现高光谱遥感数据的分类。

CNN需要使用大规模标记样本进行训练才能取得优异性能。在大棚识别的实际过程中，大棚的标记样本往往需要通过人工目视解译获取，费时、费力且样本数据量太少，很难达到深度学习方法对数据量的要求，难以发挥深度学习的优势。为了解决农业场景中很难获得大规模数据集的问题，许多学者将迁移学习应用在农业场景识别问题中[14-17]，应用深度特征网络参数迁移并微调训练模型的少数几层就可以获得性能良好的模型。Chew等人[16]采用VGG16结构的ImageNet数据集进行预训练并迁移到粮食作物识别中。鲁恒等人[17]将DCNN特征训练过程中得到的特征提取方法迁移到耕地提取中，其模型总体精度达到了91.1%。然而，目前迁移学习技术在大棚识别中的有效性尚缺乏研究。

本文提出以Sentinel-2高分辨率遥感影像为数据源，综合利用CNN和迁移学习技术，构建一种基于深度学习的高精度大棚识别方法。

1 数据材料

1.1 数据集的获取与制作

本文以北京市大兴区作为研究区域，该地区大棚分布广泛、土地覆盖类型多样且典型。选取北京市大兴区2017—2019年8—10月份共9期Sentinel-2高分辨率遥感图像用于制作影像数据集，对下载后的图像进行预处理，包括辐射定标、大气校正等，生成10 m分辨率的多光谱数据。数据预处理完成后，人工标记5类典型地物的样本，包括大棚、耕地、林地、建设用地和水体。标记完成后，以样本点为中心将遥感图像裁剪为224 pixel×224 pixel×3通道的小图块，裁剪尺寸符合ResNet的输入图像要求。该数据集共包含1 750张图像(每类350张)，其中1 000张(每类200张)作为训练集训练网络，250张(每类50张)作为调整训练模型参数的验证集，剩余500张(每类100张)作为测试集。部分数据示例如图1所示。

(a) 水体

1.2 数据增强

本文采用图像数据增强技术[18]增加了训练样本的多样性，通过对训练图像做一系列随机改变，产生相似但又不相同的训练样本，可以降低模型对于某些属性的依赖，减少过拟合，以提升模型的泛化能力。采用的数据增强方案包括随机裁剪、随机旋转、颜色增强和水平翻转，示例如图2所示。扩充后数据训练集共5 000张图像(每类1 000张)，验证集采用源数据集验证集进行模型训练，测试集采用源数据集测试集(500张)进行模型测试。

(a) 原始图像

2 研究方法

2.1 基于CNN的大棚空间特征提取

本文将CNN模型用于遥感图像的识别和分类。与传统方法人工选取光谱特征、纹理、形状等参数相比，CNN可以逐层提取图像高级抽象的特征属性，极大地减少建模工作量和识别时间。CNN前面的网络层可以实现浅层可视化特征的自动提取(如边缘、颜色和形状等)，但是随着层数的增加，CNN的强特征提取能力开始增强，最后可形成抽象的高级表示组合特征。

本文采用ResNet34模型进行大棚图像特征的提取和识别，通过ResNet34提取的大棚图像特征如图3所示。

(a) Layer1

2.2 基于ResNet的大棚识别

基于ResNet34网络构建大棚识别模型，同时使用交叉熵(Cross-Entropy Method)[19]损失函数作为训练的损失函数，用于衡量神经网络的预测值和实际值差异。使用的ResNet34残差结构如图4所示，整个ResNet34网络采用了5层卷积层、1层最大池化层、1层平均池化层、1层全连接层和1层Softmax层。

图4 ResNet34网络结构Fig.4 ResNet34 network structure

ResNet34使用的残差结构如图5所示，由2层3×3卷积层组成该结构的主分支，右侧的连接线为捷径分支。捷径分支上的输出矩阵需要与主分支上的输出矩阵大小相同，当遇上残差结构输入输出尺寸不一致时，需要将步长调整为2来解决。

图5 ResNet34残差结构Fig.5 ResNet34 residual structure

2.3 基于迁移学习的CNN大棚识别

迁移学习就是将从其他任务中获得的知识应用在新的分类任务中，充分利用已有知识来解决其他相关问题，从而提高解决问题的效率[20]。迁移学习主要用于解决小样本问题和个性化问题，需要考虑源域和目标域之间是否可迁移，即是否存在某些联系。本文使用的基于模型的迁移学习技术，将基于ImageNet数据集[21]的ResNet预训练模型作为迁移学习的知识模型，通过任务相关样本对迁移后的模型参数进行微调，使模型中包含的图像信息迁移至本文关注的大棚识别问题。ImageNet数据集中有1 400多万张图片，涵盖2万多个类别，其中也包括许多地物类型[22]。基于ImageNet的预训练网络已经学习了相关图像丰富的空间结构特征和形态相关性，将其迁移到本文的模型中有利于节约模型训练的时间以及提高大棚识别的准确度。本文迁移学习的具体过程如图6所示。

图6 使用ImageNet数据集迁移学习过程Fig.6 Process of transfer learning by using ImageNet data set

3 实验

3.1 评价指标

本次研究设置了3组实验，根据图像的预测结果分别得到5类地物分类结果混淆矩阵，并计算模型的总体精度和Kappa系数作为评价指标。此外，针对大棚地物的识别结果，引入了准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1-Score四个指标，定义如下：

(1)

(2)

(3)

(4)

式中，TP表示识别为正的正例个数；TN表示识别为负的负例个数；FP表示识别为正的负例个数；FN表示识别为负的正例样本。

本实验还将绘制出3种方法下模型训练时的验证集损失率曲线，通过该曲线确定模型迭代的次数，同时结合验证集每次迭代的准确率结果曲线，对实验结果进行探究。

3.2 评价方法

3.2.1 基于传统特征的支持向量机方法

对比实验基于传统光谱和纹理特征方法对5类用地进行识别分类。提取图像的NDVI[23]、归一化建筑指数特征(Normalized Difference Built-up Index，NDBI)[24]、归一化水体指数特征(Normalized Difference Water Index，NDWI)[25]以及灰度共生矩阵(Gray Level Co-occurrence Matrix,GLCM)[26]纹理对比度特征，将其与影像的原始光谱波段合成，构成待分类的特征集合。选择支持向量机(Support Vector Machine,SVM)方法进行监督分类[27]。其中，3类归一化光谱指数的计算公式如下：

(5)

(6)

(7)

式中，B3，B4，B8，B11分别表示Sentinel-2影像的绿光、红光、红外及短波红外波段。选取这3种指数是为了从光谱上突出大棚和植被、建筑物以及水域的区别，使用GLCM提取纹理特征是为了避免将大棚与普通农作物混淆。

3.2.2 无迁移的CNN分类方法

首先依据ResNet34网络结构搭建模型，采用Adam优化器[28]优化网络中的所有可训练参数，学习率设为0.000 1，经过一系列试验发现，该值下模型准确率最高。为了评价本研究中数据扩增带来的精度增益，分别使用扩增前和扩增后的数据集对模型进行训练，记录每次迭代的验证集损失率和准确率，使用预测集(共500张)对模型进行评估，得到数据扩增前后预测集上的混淆矩阵和相关评价指标。

3.2.3 基于CNN的迁移学习方法

采用基于ImageNet数据集ResNet34预训练模型进行迁移学习，观察其准确率的改变。导入ResNet模型预训练权重，重新赋值全连接层的节点输入，在训练和验证过程中通过不同函数来控制执行不同的批量标准化层，防止验证时网络层值不采用训练好的权重而发生变动影响模型质量。使用迁移学习后，使用预测集对模型进行评估，得到迁移学习结合数据扩增的预测集上的混淆矩阵和相关评价指标。

3.3 实验结果与讨论

3.3.1 模型整体精度评价

采用基于传统的SVM方法、基于ResNet34的优化模型结合原数据集方法、基于ResNet34的优化模型结合扩增数据集方法以及基于迁移学习的ResNet34优化模型结合扩增数据集方法的预测集混淆矩阵如图7所示，4种方法模型的总体精度和Kappa系数如表1所示。

(a) SVM分类结果混淆矩阵

由表1可以看出，基于SVM方法的分类结果总体精度是75.13%，Kappa系数是0.684 2；基于ResNet34的3种方法的分类结果总体精度均达到了96%以上，Kappa系数均达到0.95以上，说明在大棚等地物类型检测分类上，ResNet的方法明显优于传统的基于光谱和纹理特征的SVM方法。同时，使用了数据增强的模型也比未使用的准确率提高了0.8%，Kappa系数增加了0.01，说明数据增强对模型性能提升有促进作用，通过增强图像样本，可以减少网络模型对图片中某些属性的依赖，缓解训练阶段可能出现的过拟合状况，从而提高模型的泛化能力[29]。使用迁移学习后，准确率提高了1.6%，Kappa系数提高约0.01，具体的优势分析可以从100次迭代下模型损失的变化曲线和准确率变化曲线中得到，如图8和图9所示。

图8 模型损失值变化曲线Fig.8 Change curve of model loss value

图9 模型准确率变化曲线Fig.9 Change curve of model accuracy

由图8和图9可以看出，相较于使用原数据集的模型，2种使用了扩增后数据集的模型损失值和准确率都有较为明显的改善，验证集损失值分别达到了0.086和0.065，验证集准确率分别达到了97.4%和98.2%。使用了迁移学习的蓝色曲线收敛速度最快，在第30次迭代左右趋于收敛，表明迁移学习对加速网络收敛有明显的促进作用。原因在于，迁移学习方式下，网络的前端各层均已获得良好的训练，模型的权重参数已接近最优解，同时在微调阶段采用了较小的学习率，保证模型不跳过最优解，减小了模型的震荡，得到了较高的准确率。

3.3.2 大棚识别精度评价

根据混淆矩阵计算得到针对大棚识别精度的4个指标结果如表2所示。使用逐像素切割分类方法对大棚测试集数据进行4种模型的预测识别，识别结果对比如图10所示。

表2 不同模型针对大棚识别的性能对比

由表2可以看出，在针对大棚识别的不同模型性能对比中，对比SVM方法，基于ResNet的大棚检测准确率提高了约8%，精确率、召回率和加权F1指标均提升约8%～10%。根据混淆矩阵分析发现，SVM方法出现的错分主要是大棚与建设用地、与耕地之间，这是由于大棚的光谱特征与植被相似性高，在纹理特征上又与居民地较难区分。同时，光谱亮度差异作为传统方法中区分不同地物的分类标准之一，容易产生“椒盐现象”，从而影响分类结果精度。

迁移学习方式下大棚识别的性能最优，准确率对比无迁移学习模型提高了1.6个百分点，加权F1指标也有所提升。说明本文迁移学习模型结合数据增强技术方法对大棚的识别效果显著优于其他3种方法，对大棚与其他用地的错分情况也有显著改善。

4 结束语

本文基于北京市Sentinel-2高分辨率影像，采用目视标记和数据增强技术制作样本集并输入深度迁移学习模型中进行大棚的识别分类。为进行对比，共进行了3组试验，分别为基于传统光谱和纹理特征的SVM分类、基于ResNet34优化模型分类和基于迁移学习的ResNet分类。研究表明:① 相对于传统的监督分类方法和传统CNN方法，基于迁移学习的分类提高了分类精度，减弱了椒盐噪声的影响，加快了损失率的下降速度。② 采用数据增强技术，增加了数据量的同时提高了深度学习的泛化能力鲁棒性。③ 利用迁移学习，少量的标注类别实现端到端的高分辨率影像分类，为解决训练深度卷积神经网络需要百万数据集的问题提供可行途径。针对农业大棚的遥感提取，在后续的学习研究中将结合文献和实验，增加一些人工特征解决特殊性问题，并应用更多的深度学习方法来验证改进该算法。