基于深度学习的多源遥感信息冬小麦提取研究

于立民 杨晶晶 杨 越 垢元培

（1.河北省地质矿产勘查开发局第二地质大队（河北省矿山环境修复治理技术中心），河北 唐山 063000；2.唐山市文化旅游投资集团有限公司，河北 唐山 063000）

冬小麦为我国的主要粮食作物之一，其播种面积占我国粮食播种面积的1/5，因而冬小麦是农作物研究的主要对象。作物的种植面积关系到国家的粮食安全，收获前及时、准确地监测作物种植面积对后期田间作物管理、粮食安全和灾害评估等具有重要意义。

国内外学者从遥感数据源、分类方法等角度进行了大量的深入研究。从数据源来看，冬小麦提取研究多基于中低分辨率的数据源，如Landsat-8、Sentinel-2等。高分辨率遥感影像包括更多的纹理、更饱满的颜色信息[1]，有潜力得到更加精细的冬小麦提取结果。从作物种植信息识别提取的方法分析，主要有单时相法、多时相法2类。单时相法通常适用于种植结构单一地区的作物识别，多时相法是根据作物的物候差异信息的变化规律进行作物识别，可提高作物的识别精度。但目前基于多源遥感影像（GF2+GF7、ZY1和无人机影像）的冬小麦提取研究较少见，而且将多源遥感影像与物候信息相结合的冬小麦提取研究更少见。因此，该文提出了一种融合物候差异和多源遥感信息的深度学习冬小麦提取方法，利用冬小麦物候特征变化规律，精准地提取冬小麦种植区。

1 研究区概况及数据获取

1.1 研究区概况

研究区选择了唐山市丰润区的典型冬小麦种植区。研究区属暖温带半湿润的季风型大陆性气候区，季节四季分明，年平均气温10.8℃。冬小麦大多情况于10月份播种，次年6月份收割。根据丰润区北高南低的地势特征，将区域划分为北部山区、中间山区与平原交界、南部平原3个部分。综合地貌特征，选取丰润区北部泉河头镇与姜家营乡交界处、中部七树庄镇与丰润镇交界处、南部李钊庄镇部分区域以及欢喜庄乡部分区域共4个区域作为该文试验的研究区。

1.2 数据获取与预处理

1.2.1 卫星遥感数据获取及预处理

该文使用ZY1、GF2+GF7卫星遥感影像数据。采用的ZY1高分辨率影像拍摄时间为2023年2月，包括RGB 3个波段，空间分辨率为2m。GF2+GF7高分辨率影像拍摄时间为2023年3月底和5月底，包括RGB 3个波段，空间分辨率为1m。覆盖了冬小麦3个典型生长季。利用ENVI软件对卫星影像进行处理，处理包括正射校正、影像融合和影像镶嵌等。最终得到返青期的ZY1、抽穗期的GF2+GF7以及成熟期的GF2影像数据。

1.2.2 无人机数据获取及预处理

使用四旋翼精灵4无人机对试验区进行航摄。航摄面积为70km2。试验安排在冬小麦返青期（2023年2月）、抽穗期（2023年4月）和 成熟期（2023年6月）。设计飞行高度为150m，旁向重叠度为70%，航向重叠度为80%。无人机航线设计运用无人机管家软件，影像地面分辨率为0.05m。将获取的航摄影像检查无误后导入大疆智图中进行处理，选择软件中的农田场景进行DOM生产，最后通过Arc GIS10.2、ENVI5.3等软件中进行影像拼接、匀色和图像裁剪等工作。

2 研究方法

选取丰润区北部山区、山区与平原交界区以及平原地区中4个区域作为研究区，这些趋于区域能够充分反映丰润区整体的地貌特征。选择区域1、区域2和区域3作为训练数据，构建融合物候差异和多源遥感影像信息样本库，根据不同物候期影像中冬小麦的光谱信息、纹理特征以及分布密度等特性，基于MSFCNN模型，进行3个物候期的冬小麦种植区提取。将区域2作为测试数据，并比较3个物候期冬小麦提取结果。将3个时相提取结果不一致的区域叠加到无人机影像上，利用冬小麦在3个物候期的“青-绿-黄”视觉颜色变化特征进行人工校核样本，并对样本进行更新和优化，重新流程化训练分类模型，通过不断地改进深度学习模型和精度评估，最后得到满意结果，并对区域4的无人机航飞影像和卫星影像提取结果进行对比和分析。

2.1 基于物候差异信息的样本库构建

农作物物候期是农作物的生物学特性受到外界的气象条件影响所表现出来的作物形态特征反应[2]。冬小麦在不同的生育期具有不同的影像反演特征。2—3月进入返青期的冬小麦叶片变为青绿色，长势比较稀疏，接着开始茁壮成长，叶片逐渐发绿。4月中下旬进入抽穗期时，冬小麦茎和叶等器官逐渐发育，叶片逐渐变密，小麦的叶绿素逐渐积累，颜色变深，呈现为强植被。然后小麦的茎和叶逐渐变黄，6月上旬进入最后的成熟期，颜色变为金黄色。

基于深度学习的地物识别是根据计算机通过对影像样本库进行大量的表征学习，获得目标地物的内在特征，并根据独有的特征进行提取，从而实现目标地物识别。构建样本库是深度学习目标地物自动化提取的关键基础，样本库的质量直接关系到目标地物提取的精确性。该文根据物候差异和影像特征信息进行样本库构建，能够为地理人工智能提取提供新思路。根据先鸟瞰全图、后精确细致的原则进行样本标记。对冬小麦在返青期无人机影像上的颜色、纹理、形状和空间分布特征进行研判，利用目视解译方法来快速标记冬小麦。然后根据冬小麦在这3个物候期的“青-绿-黄”颜色变化规律进行细致的人工校核（如图1所示），进一步精准获取冬小麦样本数据。为保证冬小麦种植区提取的正确性，该文抽取部分冬小麦样本在实地进行调查验证，提高了调查地面样本点的效率。共采集了区域内冬小麦样本数据900个，非冬小麦样本数据100个。将非冬小麦统一归为其他类别。利用Python工具勾绘冬小麦样本，分别对区域1、区域2和区域3内返青期、抽穗期和成熟期的影像进行裁剪，形成冬小麦样本标签与影像一一相对应、尺寸为512×512像素的标签栅格文件，构建冬小麦栅格数据集。在制作的冬小麦数据集中，原始影像包括R、G、B（红、绿、蓝）波段，标记影像为单通道的灰度影像，标记影像分为2个类别，红色代表冬小麦数据，黑色代表其他（如图2所示），两者图像均为TIF格式。

图1 样本标注

图2 样本标签

2.2 构建深度学习模型

深度学习模型的构建是一个对参数不断调整优化和循环训练的过程，通过对所构建的样本数据库不断地迭代训练，计算机将根据影像特征构建深度学习影像识别函数，不断地计算和调整该模型函数之间的关系，实现较高精度的深度学习提取模型。对于后期调整增加变化的训练样本数据库，计算机能够以迁移学习的方式对已有的该深度学习模型进行继续训练，从而达到高精度提取[3]。

在该文研究中，遥感数据源均为高分辨率，并且分辨率尺寸不同，分别为2m、1m和0.05m。针对冬小麦在不同数据源中的多尺度分布特征，在卷积神经网络模型基础上，结合多尺度影像特征，构建MSFCNN深度学习模型，进行多源遥感信息的冬小麦种植区提取。该模型采用编码-解码模式，利用编码模式，通过将膨胀卷积设置成不同膨胀率，逐步提取影像不同层次的特征。利用解码模式，使用反卷积操作进行特征影像的上采样，将解码器中的深层特征和编码器中的浅层特征通过跳跃连接关联到一起，从而更好地分割目标的细节特征。模型的核心部分如公式（1）所示。该模型卷积层使用步长和大小都以1为单元的卷积核，卷积层的类别数量与卷积核数量相同，通过核心函数将类别数通道特征图转换为类别数通道的概率图，从而得到每个像素的概率类别向量，最终得到相应的分类结果。不仅可在较大程度上减少网络参数，还能大幅增强网络模型的非线性能力，使模型的学习能力更强。

2.3 精度评价指标

采用平均交并比（Mean intersection over union，MIoU）、平均像素精度（Mean pixel accuracy，MPA）、斑块漏检率（PMR）和面积精度（AA）作为评判冬小麦模型构建的指标。该试验为使冬小麦作物更容易表达，将地物分为2类，其中0代表背景，2代表冬小麦。

3 试验与结果分析

试验环境为Intel（R）Core（TM）i9-9900k CPU处理器，GPU加速库采用CONDA 11.0，NVIDIA GeForce RTX2080显卡，深度学习框架使用Pytorch。该研究将构建的返青期样本数据集、抽穗期栅格数据集和成熟期栅格数据集分别输入处理，将深度学习模型的初始率设置为0.0001，批处理大小设置为4，采用“categorical__crossentropy”损失函数，训练迭代次数设置为1000次。然后训练深度学习模型，最后用训练好的模型对区域4中的无人机影像和高分二号卫星影像分别进行影像分类验证。不同物候期冬小麦分类精度见表1，提取分类结果如图3所示。

表1 不同物候期分类精度

图3 不同物候期冬小麦提取结果局部图

返青期冬小麦模型的平均像素精度为82.37，斑块漏检率为0.035，面积精度为0.84，农作物大部分为冬小麦，少量为冬油菜，并且占的面积较小，整体上提取效果较好，长势稀疏的个别地块提取效果不明显，会出现漏提的现象。抽穗期冬小麦模型的平均像素精度为80.31，斑块漏检率为0.039，面积精度为0.81，此时叶绿素达到最高值，颜色纹理更饱满。但是早玉米、土豆作物随之成长起来，另外地块旁边有成片的树木，阴影等因素会对冬小麦识别造成干扰，容易形成混合像元，冬小麦斑块漏检率相对较大，无人机影像局部提取效果比卫星影像局部提取效果更好。成熟期冬小麦模型的平均像素精度为83.22，斑块漏检率为0.030，面积精度为0.83，此时冬小麦特征比较明显，在无人机影像上颜色特征比较一致，呈现黄色调，与其他地物形成鲜明对比，整体提取效果比较好，冬小麦斑块漏检率相对比较小。从图3可看出，无人机影像分辨率为0.05，分辨率越高，冬小麦的提取越细致，纹理越清晰。卫星影像提取的冬小麦大面积的区域连在一起，适合大面积作物种植提取。

4 结论

该文利用MSFCNN模型进行冬小麦信息提取，可以解决多源影像中冬小麦栅格标签的分辨率不同、尺度不同的问题。仅利用单一时相的影像特征难以准确区分作物类型，因此利用作物生长过程因物候差异信息表现出的变化特征，可实现冬小麦种植区的精准提取。无人机影像利用其丰富的细节特征和鲜明的光谱特征，不仅使冬小麦样本采集更精确，还提高了获取样本的效率。与卫星影像相结合，将冬小麦不同的物候期空间分布细节特征完整呈现出来。但该文研究中仍然存在需要改进的地方。

首先，当在影像上采集冬小麦样本时，利用的是传统的目视解译方式对影像进行标记，在标记过程中需要大量的时间和人力，因此需要研究更便捷的标记方法，进一步提高样本标记的效率。

其次，在冬小麦自动识别提取过程中，由于将地类只分出一种农作物，即冬小麦，没有细致研究其他同期的农作物分类，在冬小麦覆盖面积比较少的情况下，其他同物候期的农作物会对冬小麦提取造成干扰，特别容易产生错分和漏分，对冬小麦提取结果造成影响。今后需要加以改进，对相同物候期的其他农作物进行分类，提高冬小麦的可分离性，为后续冬小麦多时序影像精细化自动提取分类提供试验基础。