基于深度学习的小麦倒伏自动分类方法研究

臧贺藏，王从胜，赵巧丽，赵 晴，张 杰，李国强，郑国清

（1.河南省农业科学院 农业经济与信息研究所，河南 郑州 450002；2.农业农村部黄淮海智慧农业技术重点实验室，河南 郑州 450002；3.河南师范大学 计算机与信息工程学院，河南 新乡 453007）

小麦是世界上重要的粮食作物，占世界膳食热量20%[1-2]。2021年全球小麦播种面积为2.23亿hm2，产量为7.76 亿t[3]。河南省作为全国小麦主产区，小麦播种面积和总产均占全国1/4 左右，肩负着保障国家粮食安全重任[4]。然而，在小麦生育中后期，由于台风天气偏多，暴风雨时有发生，容易发生局部或大面积倒伏现象，为小麦产量形成带来了许多不确定性[5]。倒伏是制约小麦产量的主要因素，尤其灌浆期倒伏对产量影响较大，严重时可造成50%以上减产[6-10]。因此，快速准确地检测小麦倒伏信息有助于损失鉴定及良种选育。

在实际生产中，针对小麦倒伏程度不同、倒伏区域不均匀等特点，传统小麦倒伏区域的获取方式主要采用人工测量法，该方法效率低、费时费力，测量结果主观且不可靠[11-13]。随着遥感技术的快速发展，利用无人机遥感监测小麦长势并预测产量已成为确保粮食安全的重要手段[14-17]，在田块级小麦灾情快速监测方面已解决许多实际问题。刘良云等[18]通过利用遥感监测倒伏小麦和正常小麦的冠层光谱反射率的差别进行分类。赵静等[19]基于无人机遥感平台获取的小麦倒伏可见光图像，采用最大似然法和随机森林法获取小麦倒伏信息。杨浩等[20]通过对比分析倒伏小麦与正常小麦雷达极化特征的差异提出了利用雷达极化指数监测小麦倒伏的方法。董锦绘等[21]利用无人机遥感平台获取小麦倒伏图像，使用最大似然法提取小麦倒伏面积的整体效果高于最小距离法、神经网络法和支持向量机法。以上这些研究主要采用传统的机器学习方法识别小麦倒伏，存在特征筛选方法较为单一、模型泛化性能较弱的问题，导致倒伏区域预测精度低；而深度学习作为当前语义分割的主流技术，可以实现小麦倒伏区域的精准提取。

随着人工智能技术的快速发展，机器学习算法已开始运用于作物倒伏提取领域。ZHAO 等[22]提出基于U-Net 结构的水稻倒伏分割方法，建立了水稻倒伏样本数据集。ZHANG 等[23]采用3 种传统机器学习算法和3 种神经网络进行小麦倒伏检测，并进行不同算法对比。YANG 等[24]将边缘计算与EDANet 结合，以较快地估测水稻倒伏面积。YANG等[25]采用2种神经网络架构FCN-AlexNet和SegNet，建立了图像语义分割模型，估测了水稻倒伏面积。MARDANISAMANI 等[26]提出了一种深度卷积神经网络架构，用于油菜和小麦育种试验地倒伏图像的分类；使用迁移学习技术训练该网络，并与10 个DCNN 倒伏模型进行对比，得出神经网络架构在参数较少情况下效果明显。为了使网络在简单样本学习达到平稳后，偏向于困难样本的学习，针对现有小麦倒伏区域统计费时费力、倒伏分类方法较为单一、模型预测精度低的问题，采用深度学习模型U-Net、PSPNet、DeepLabv3+、ACSNet 自动提取小麦倒伏区域并比较其效果，为无人机遥感评估小麦受灾面积及损失提供支撑。

1 材料和方法

1.1 研究区概况

研究区位于河南现代农业研究开发基地的小麦区域试验试验地，如图1 所示。试验采用完全随机区组设计，播种日期为2019 年10 月9 日，种植密度195万株/hm2，共有82个小麦品种，每个小区冬小麦新品种种植6行，重复3次，小区面积12 m2。试验田管理措施高于普通大田。

图1 研究区位置Fig.1 Location of study area

1.2 数据采集

2020 年5 月上旬，研究区遇到大风、暴雨等异常天气，造成小麦倒伏。2020 年5 月14 日，基于无人机遥感平台获取小麦灌浆期可见光倒伏图像，无人机型号为大疆精灵4 Pro，最大飞行时间约30 min，搭载2 000 万像素的CMOS 传感器，图像分辨率为5 472 像素×3 078 像素。数据采集于当天10：00，无人机飞行高度30 m，飞行速度3 m/s，航向重叠度与旁向重叠度均为80%，共规划5条航线，获得原始图像700张。

1.3 数据集构建和标注

本研究筛选出无人机姿态平稳、拍摄清晰无遮挡、含倒伏小麦区域的700张原始图像，每张图像分辨率为5 472 像素×3 078 像素。700 张原始图像经过水平翻转、旋转、随机裁剪、亮度调整进行数据增强和图像去噪，共获得25 000 张图像。利用Labelme 将小麦倒伏区域标注为前景，其他区域标注为背景。按照8∶1∶1 的比例将数据集分为训练集、验证集和测试集。为了方便网络训练，将原始图像统一裁剪为512像素×512像素。

1.4 深度学习模型

深度学习模型的基本原理是通过卷积层、池化层和全连接层组成，对输入数据进行自动特征提取和分类[27]。卷积层是基础层，用于提取图像的局部特征。池化层一般放在卷积层后面，用于优化特征图的空间比例。全连接层是最后一层，用于将卷积层和池化层提取的特征进行分类。本研究共选择了4 种最先进的深度学习模型：U-Net、PSPNet、DeepLabv3+和ACSNet。所有模型都使用迁移学习方法进行了预训练，图2 展示了图像采集、图像处理、模型选择和模型性能示意图。

图2 不同深度学习模型识别小麦倒伏的框架Fig.2 Framework for identification of wheat lodging using different deep learning models

U-Net[28]是最常见的全卷积神经网络模型，其出色的性能和简单的结构已成为目前主流的语义分割模型之一，具有良好的分割性能及较少的算力需求，但由于其网络结构过于简单，存在一些限制。PSPNet[29]基于卷积神经网络，通过多个卷积层进行特征提取，能够有效地利用全局上下文信息，并适应不同尺度的目标。其核心思想是通过金字塔池化操作捕获不同感受野的特征信息。DeepLabv3+[30]是一种用于语义分割任务的深度学习模型，在DeepLabv3 的基础上引入了全卷积网络和空洞卷积等技术来提高语义分割的性能。核心思想是通过融合多尺度特征来捕获丰富的上下文信息，并使用空洞卷积进行更有效的特征提取。采用编码器-解码器结构，其中编码器负责提取图像特征，解码器则将特征映射恢复到原始图像大小，从而生成像素级别的预测结果。ACSNet[31]是基于自适应上下文选择的编码器-解码器结构，由局部上下文注意模块、全局上下文模块和自适应选择模块组成。

1.5 模型训练

试验采用Pytorch1.10 深度学习框架，CUDA11.2。所有试验都使用Linux Ubuntu18.04 LTS操作系统，Intel® Core™i7-8700 CPU@3.70GHZ 处理器。将训练集和验证集分为多个批次，遍历所有批次后完成一次迭代。优化器选择SGD，设置初始学习率为0.001，随着迭代次数提升降低学习率至0.000 1。

1.6 评价指标

采用精准率（Pre）、召回率（Rec）、Dice相关系数（DSC）和IoU（Intersection over Union）指数作为评价指标，以上指标取值在0～1，值越大，表明评估效果越好。本研究使用参数量、计算量（FLOPs）、模型大小及耗时评估模型性能。

评价指标计算公式如下：

其中，TP代表真阳性，FP代表假阳性，FN代表假阴性，TN代表真阴性。

2 结果与分析

2.1 不同深度学习模型识别小麦倒伏的定量分析

由表1 可以看出，ACSNet 的分割效果较好，Pre、Rec、DSC 和IoU 分别为87.5%、91.7%、87.0%、88.6%。而U-Net、PSPNet和DeepLabv3+在4项评价指标上识别准确率较低。与U-Net[5]、PSPNet 和DeepLabv3+相比，ACSNet 在Pre 上分别提高13.9、4.1、2.9 百分点。由于严重倒伏区域占比较大，加上人工标注误差，导致评价指标偏低。表2 展示了4种分割模型参数量、计算量、模型大小及耗时的对比，U-Net 参数量、计算量、模型大小和耗时较多，PSPNet参数量、计算量、模型大小及耗时最少，但分割精准率低；ACSNet 比U-Net、DeepLabv3+计算量低，但分割精准率高。因此，ACSNet 可以使网络在训练过程中解决均衡难易度和正负样本不均衡问题。

表1 不同深度学习模型识别小麦倒伏评价指标比较Tab.1 Comparison of evaluating indicators for identifying wheat lodging using different deep learning models %

表2 不同深度学习模型参数量、计算量、模型大小及耗时对比Tab.2 Comparison of parameter quantity，calculation amount，model size and time consumption of different deep learning models

2.2 不同深度学习模型识别小麦倒伏的定性分析

由于原始采集的图像较大，在网络输入图像时，统一把尺寸调整为512 像素×512 像素，标注图像和预测图像的尺寸均为512 像素×512 像素。由图3可以看出，预测图中白色判断为倒伏，黑色判断为不倒伏。在小麦倒伏分割任务中，存在倒伏区域统计难度大、模型预测精度低等问题，U-Net、PSPNet 和DeepLabv3+的验证结果较差，ACSNet 网络模型综合考虑了倒伏小麦图像特点和倒伏区域数据分布特性，可以有效解决上述问题。ACSNet网络模型实现小麦倒伏区域的精准提取，尤其在小样本数据集下有效提高模型的泛化能力。

图3 不同深度学习模型识别小麦倒伏结果定性比较Fig.3 Qualitative comparison of experimental results of identifying wheat lodging using different deep learning models

2.3 不同深度学习模型识别小麦倒伏结果分析

随机选取10张小麦倒伏图像，将训练好的模型在实际获取的倒伏图像上进行自动分类，表3 列出了部分测试倒伏图像的识别结果。ACSNet 对小麦倒伏预测结果与真实结果接近，识别的相对误差为4.5%，与U-Net、PSPNet、DeepLabv3+比较，分别降低了10.2、2.9、2.3 百分点，说明ACSNet 总体预测误差均较小，预测小麦倒伏比例结果更可靠。

表3 不同深度学习模型小麦倒伏比例识别验证Tab.3 Verification for identification of wheat lodging ratio using different deep learning models

3 结论与讨论

在田间条件下进行大规模小麦倒伏区域分类时，采用深度学习和图像处理方法可以显著减少人工统计的工作量。在主观性方面，深度学习方法解决了个体主观性差异引起的表型误差问题，因此，深度学习方法在小麦倒伏检测中具有重要意义。在背景复杂的农业生产中，小麦倒伏图像由于表型特征差异，可变的光照条件，图像捕获过程中无人机的不同角度、不同飞行高度以及不同时序的地貌特征差异可能会影响图像分割的准确性[32-34]。在实际小麦倒伏中，面临的主要挑战是在生长中后期小麦倒伏通常比较密集，小区倒伏区域互相遮挡，从而导致分割存在误差。因此，基于深度学习的图像分割方法在小麦倒伏图像分割中表现出优异的性能。

由于无人机飞行速度缓慢，虽然光照、角度等因素可能导致图像外观发生变化，但重复数据可以帮助模型更好地学习和适应这些变化，在一定程度上同样具备训练价值，并提高模型的鲁棒性。针对现有小麦倒伏区域统计费时费力、倒伏分类方法较为单一、模型预测精度低的问题，本研究提出了基于面向困难样本挖掘的小麦倒伏自动分类方法，评估了4 个深度学习模型用于小麦倒伏识别的效果，其中所选模型都可以实现对小麦倒伏区域自动分类。ACSNet模型是性能最好的模型，其预测精准率为87.5%，DSC 为87.0%，而PSPNet 和Deeplabv3+的倒伏预测精准率分别为83.4%和84.6%。ACSNet比U-Net、DeepLabv3+计算量低，但分割精准率高。在测试过程中，ACSNet 识别的相对误差仅为4.5%。因此，ACSNet模型能够精准高效地完成小麦倒伏自动化分类，具有较高的准确性和适用性，可满足麦田环境下高通量作业需求，为灾后确定受灾面积及勘定损失提供重要依据。

但本研究仍存在一些不足，相关的理论工作需进一步改进完善。在今后的研究工作中，基于无人机遥感平台获取小麦倒伏图像，逐步剖析构建的网络结构，优化小麦倒伏检测模型，以便获得更好的小麦倒伏检测性能。