基于YOLO v5和多源数据集的水稻主要害虫识别方法

梁 勇 邱荣洲 李志鹏 陈世雄 张 钟 赵 健

(1.福建省农业科学院数字农业研究所, 福州 350003； 2.福建省农业科学院植物保护研究所， 福州 350013)

0 引言

水稻害虫的准确预测对保证水稻高产、减少经济损失具有十分重要的作用[1]。传统的水稻害虫测报工作主要由人工完成，害虫识别与计数效率低。随着计算机视觉技术的发展，机器学习和深度学习被应用到农业害虫的自动识别领域中。

传统机器学习主要基于计算机视觉进行害虫纹理、颜色、形状等特征提取，使用支持向量机(Support vector machine，SVM)[2-3]、K最近邻(K-nearest neighbor，KNN)[4]和AdaBoost算法(Adaptive boosting，AdaBoost)[5]等算法检测目标害虫。EBRAHIMI等[6]应用SVM算法识别温室草莓蓟马，识别结果的平均错误率小于2.25%。VAKILIAN等[7]提出了一种基于人工神经网络的甜菜夜蛾识别方法，识别结果的平均准确率为90%。YAO等[8]研发了一款水稻害虫手持拍摄设备，并利用AdaBoost等算法对稻田飞虱进行识别与自动计数，识别检测率为85.2%。上述基于机器学习的农业害虫检测技术需要经过复杂的虫害图像特征设计，然而野外环境中，水稻害虫拍摄的背景复杂多变，拍摄受光线影响大，人工方式难以将水稻害虫颜色和形状特征从相似的水稻叶片和其它非目标昆虫等复杂背景中选取出来，因此利用机器学习方法难以满足水稻害虫全自动监测的需求。

深度学习可以自动逐层提取特征，有自己的特征生成器，识别速度和精确率优于机器学习，对复杂背景下的目标检测有很大的优势[9]。LIU等[10]应用8层卷积神经网络(Convolutional neural network，CNN)，实现了对水稻12种害虫的准确分类。TAN等[11]比较了深度学习和机器学习算法对Plant Village数据集中番茄叶片病害的识别效果，结果表明，深度学习算法识别的精确率、召回率、F1值等指标都优于机器学习算法。KASINATHAN等[12]进行了机器学习算法和CNN算法在IP102数据集上的害虫检测精度对比，CNN算法的检测精度高于机器学习算法。目前常用的深度学习目标检测网络有Faster RCNN算法(Faster region with convolutional neural network)[13]、单步多框检测器(Single shot multibox detector，SSD)[14]和YOLO算法(You only look once)[15]等。孙钰等[16]使用改进的Faster RCNN算法能自动化地统计诱捕器中的红脂大小蠹数量。余小东等[17]提出了一种基于残差网络(ResNet 50)的改进算法，实现农作物病虫害等级分类，准确率为91.51%。YOLO算法是基于回归的目标检测方法，能够同时分类和检测一幅图像。上述研究的病虫害训练数据集图像主要是从室内或者野外田间拍摄获得，室内图像是将害虫放在室内试验条件下拍摄。室内收集的病虫害图像可以有效消除外界光线的影响，简化图像处理，但与真实自然光下采集的图像有很大的不同[18]。野外田间图像包括使用手机、相机等拍摄设备对野外植物叶片上的害虫进行拍摄，或者使用田间安装的虫情监测设备自动获取害虫图像[19-20]。

由于自然环境下采集的病虫害图像背景多样，且采集设备不同，已有模型主要是在特定的采集背景和拍摄设备下训练出来的，对不同采集背景、不同采集设备图像的识别效果有待研究。因此，本研究从监测设备、三角形诱捕器、虫情测报灯3种不同采集背景中拍摄稻纵卷叶螟和二化螟成虫图像，提出一种基于YOLO v5算法的野外稻纵卷叶螟和二化螟成虫识别方法，构建3种不同采集背景的水稻稻纵卷叶螟和二化螟成虫图像数据集，将不同采集背景、不同设备的训练模型对野外三角形诱捕器和监测设备虫害图像的检测性能进行对比，建立最优的识别与计数模型，并对比稻纵卷叶螟图像不同训练数据量的模型识别结果，实现对稻纵卷叶螟和二化螟成虫图像的自动识别与计数。

1 数据获取

1.1 害虫样本采集

本研究应用自主研制的水稻害虫监测设备、三角形诱捕器、佳多虫情测报灯采集稻纵卷叶螟和二化螟，分别使用图像传感器、Sony RX100型数码相机、小米M5手机等多种设备拍摄图像。水稻害虫诱集与拍摄装置包括太阳能供电组件、诱捕罩、拍摄单元、害虫清理单元、集虫容器等部件，系统结构如图1所示。监测设备放置地点为福建省三明市洋溪镇(26°17′58″N，117°44′10″E)和三明市尤溪县(26°9′56″N，118°2′53″E)，图像采集时间为2020年4—10月。

图1 水稻害虫诱集与拍摄装置示意图Fig.1 Schematic of trap and camera device for rice pest1.太阳能板 2.镜头盖 3.收集容器 4.控制箱 5、6.透气孔 7.诱捕罩 8.立柱 9.托板

利用不同拍摄设备获取2种水稻害虫，表1为不同设备获取的害虫图像数量。监测设备采用性信息素引诱，昆虫性信息素为北京中捷四方有限公司生产。害虫原始图像由嵌入监测设备里的图像传感器采集，由4G无线网络自动上传到服务器。原始图像分辨率为1 800像素×1 350像素，为提高上传效率，将其压缩为900像素×675像素，图像传感器四周附有LED补光灯。每天12:00采集1次，每次采集后，害虫清理单元清理掉前次拍摄后的害虫，保证每幅图的虫数为清理前24 h的虫数总量。三角形诱捕器所用粘板和性信息素为北京中捷四方有限公司生产，每隔3 d更换一次粘板，更换时对粘板上的害虫进行拍摄，1个月更换一次诱芯。室内采集的水稻害虫为福建省莆田市仙游县、福州市闽侯县两地虫情测报灯所诱捕，以白色底板作为辅助背景拍摄。图2为不同拍摄设备获取的水稻害虫图像。室内白板背景下拍摄的图像背景单一，光照均匀，拍摄背景为三角形诱捕器时，背景中含有水稻叶片和其它非目标昆虫，监测设备拍摄的图像分为稻纵卷叶螟和二化螟成虫图像。

表1 不同采样场景获取图像的数量Tab.1 Number of images captured in different sampling scenes 幅

图2 不同设备采集到的昆虫图像Fig.2 Collected insect images by different devices

1.2 监测设备系统设计

水稻害虫监测设备通过置于诱捕罩内部的诱芯吸引害虫，害虫靠近诱芯时，发现不是真正的雌蛾后垂直向上飞到诱捕罩顶部，从而将害虫诱捕进收集容器内。经过特定时长后摄像头对拍摄面板进行拍摄，且摄像头的镜头朝向拍摄面板的中心位置，整个拍摄面板均可以被拍摄下来，识别控制终端接收摄像头拍摄的害虫图像信息，收到图像信息后发送到云端，与云端内部存储的害虫信息进行匹配，从而分析害虫的种类及数量，具体流程图如图3所示。

2 基于卷积神经网络的图像处理和分类

2.1 试验平台与参数设置

神经网络模型结构采用YOLO v5算法中的YOLO v5s，其结构见图4。模型训练采用的操作系统为Ubuntu 18.04，训练和测试框架为Pytorch，服务器平台配置为：Intel Xeon CPU E5-2665 0 @ 2.40 GHz处理器，32 GB运行内存，11 GB GeForce RTX2080Ti 显卡，使用CUDA 10.2版本并行计算框架配合CUDNN 8.2版本的深度神经网络应用程序编程接口(API)。输入图像尺寸调整为640像素×640像素，批量大小设置为64，训练步数为500，学习率为0.01，动量设为0.937，采用随机梯度下降(SGD)优化，权重衰减为0.000 5。

图4 YOLO v5s算法结构Fig.4 Structure of YOLO v5s algorithm

2.2 数据集建立

本研究自建水稻害虫数据集，为保证样本多样性，设置了监测设备、三角形诱捕器、虫情测报灯3种诱捕拍摄方式，并经农业专家标注确认。由于深度神经网络模型的训练需要大量的图像来提取有效的特征，为了提高水稻目标害虫检测模型的泛化能力和鲁棒性，同时避免模型过拟合，对训练集进行了数据增强。采用左右翻转、增加图像对比度、上下翻转的方式对训练集进行扩充，不同处理方式得到的图像如图5所示。将采集的原始图像长边使用固定值800像素，另一边根据原始图像尺寸进行压缩，再进行边界框标注。本文使用样本标注软件TF Label Tool，标注稻纵卷叶螟、二化螟目标边界框。标注包括边界框坐标和类别两类信息，以txt文本格式进行存储。

图5 水稻害虫图像数据增强效果Fig.5 Data augmentation of rice pest images

根据图像来源和图像标注类别，将数据集分为6类，如表2所示。数据集A1+A2、B1+B2分别为监测设备、三角形诱捕器获取的原始图像随机排列，分别选取原始图像100幅到验证集和测试集，余下扩增到800幅。数据集A3、B3分别为从室内拍摄的稻纵卷叶螟和二化螟的图像中随机选取1 000幅图像。数据集A1+A2+A3为从数据集A1+A2中随机选取500幅图像，再从数据集A3中选取500幅图像，随机排列。数据集B1+B2+B3为从数据集B1+B2中随机选取500幅图像，再从数据集B3中随机选取500幅图像，随机排列。训练集、验证集、测试集图像比例为8∶1∶1。

表2 不同数据集构成Tab.2 Composition of dataset

室内白板背景下拍摄的稻纵卷叶螟的不同训练数据量与训练集如表3所示。首先将室内拍摄的5 828幅稻纵卷叶螟原始图像通过图像扩充到6 000幅，随机排列图像，其中图像总量按比例1∶2∶3分为数据集A3_1000、A3_2000和A3_3000。数据集A3_4000由数据集A3_1000和A3_3000组成，数据集A3_5000由数据集A3_2000和A3_3000组成，数据集A3_6000由数据集A3_1000和A3_5000组成。训练集、验证集、测试集图像比例为8∶1∶1。

表3 室内白板背景下拍摄的稻纵卷叶螟数据集分布Tab.3 Dataset distribution of C. medinalis photographed by indoor whiteboard

2.3 模型的测试和评估

为了进一步验证模型的有效性，需要在各种实际条件下检测算法的效率，本研究以不同采样场景、不同设备采集图像构建的多源数据集和稻纵卷叶螟训练数据量为控制变量。为了评价本研究提出的水稻害虫检测模型的有效性，选择精确率(Precision，P)、召回率(Recall，R)、F1值(F1 score)和平均精度(Average precision，AP)作为评价指标。

3 结果与分析

3.1 不同训练模型对水稻害虫的识别结果

为了进一步测试模型对水稻害虫的识别能力，对诱捕器和监测设备采集的害虫图像进行目标检测。通过训练集构建了6个识别模型，其中3个稻纵卷叶螟模型，3个二化螟模型，分别为基于室内白板背景图像集的YOLO v5s_A3和YOLO v5s_B3、基于诱捕器和监测设备图像集的YOLO v5s_A1+A2和YOLO v5s_B1+B2，基于室内白板背景、诱捕器和监测设备图像集的YOLO v5s_A1+A2+A3和YOLO v5s_B1+B2+B3。分别对测试数据集A1+A2和B1+B2进行检测验证，精确率、召回率、F1值如表4所示，检测结果见图6。在实际测试中，YOLO v5s_A3模型对野外监测设备和三角形诱捕器下采集的害虫图像的识别精确率较低，会将其它昆虫识别为稻纵卷叶螟成虫。YOLO v5s_B3模型的召回率较低，二化螟成虫的漏检较多。YOLO v5s_A1+A2+A3模型的F1值比YOLO v5s_A1+A2模型略高，达到94.87%，召回率为98.30%。针对二化螟构建的3个模型，YOLO v5s_B1+B2模型的F1值较高，达到95.87%，召回率为98.48%。

表4 不同模型识别结果对比Tab.4 Comparison of identification results by different models

图6 不同模型的检测结果Fig.6 Detection results for different models

3.2 不同训练样本量对识别结果的影响

为了验证不同训练样本量对水稻稻纵卷叶螟模型检测性能的影响，通过训练集构建了6个识别模型，分别为YOLO v5s_A3_1000、YOLO v5s_A3_2000、YOLO v5s_A3_3000、YOLO v5s_A3_4000、YOLO v5s_A3_5000和YOLO v5s_A3_6000，分别对测试数据集A3_1000进行检测验证，不同训练集样本量训练出的模型精确率、召回率、F1值如表5所示。模型的检测性能随着训练集样本量的增加而提高。当训练图像样本量少于3 200幅时，F1值会随着训练集样本量的增加先增高后降低。当训练图像样本量超过3 200幅时，F1值会随着训练样本量的增加而增加。YOLO v5s_A3_6000模型的F1值为98.92%，精确率为98.40%，召回率为99.46%，在6个训练模型中最高。

表5 不同训练样本量的水稻害虫检测性能Tab.5 Detection performance of rice pest with different training sample sizes

3.3 不同模型精确率-召回率曲线比较

分别取测试数据集A1+A2和B1+B2对模型进行检测验证，不同模型稻纵卷叶螟和二化螟的精确率-召回率曲线如图7所示。YOLO v5s_A3、YOLO v5s_A1+A2、YOLO v5s_A1+A2+A3模型的平均精度分别为87.13%、99.97%、99.83%(表4)，结果表明模型YOLO v5s_A1+A2的平均精度均高于模型YOLO v5s_A3和YOLO v5s_A1+A2+A3。YOLO v5s_B3、YOLO v5s_B1+B2、YOLO v5s_B1+B2+B3模型的平均精度分别为93.52%、99.74%、99.94%(表4)，YOLO v5s_B1+B2和YOLO v5s_B1+B2+B3模型的平均精度相近，YOLO v5s_B1+B2和YOLO v5s_B1+B2+B3相比YOLO v5s_B3模型有更高的精确率。

图7 不同模型的稻纵卷叶螟和二化螟的精确率-召回率曲线Fig.7 Precision-recall curves of C. medinalis and C. suppressalis in different models

4 讨论

4.1 YOLO.v5s算法与水稻害虫监测

本研究从水稻害虫监测应用出发，利用YOLO v5s网络模型对监测设备、三角形诱捕器、虫情测报灯3个不同采样场景、设备构建的稻纵卷叶螟和二化螟图像集进行训练，采集稻纵卷叶螟和二化螟成虫原始图像8 307幅，有效丰富了实际不同场景中的应用，其中稻纵卷叶螟训练样本量1 598幅，共6 042只，二化螟训练样本量1 496幅，共4 616只。用诱捕器和监测设备图像集A1+A2和B1+B2分别作为测试集，模型YOLO v5s_A1+A2+A3的精确率和召回率分别达到91.67%和98.30%，F1值达到94.87%，YOLO v5s_B1+B2精确率和召回率分别达到93.39%和98.48%，F1值达到95.87%。本研究与姚青等[21]基于双线性注意力网络的农业灯诱害虫细粒度图像识别结果比较，训练集的稻纵卷叶螟和二化螟样本量更大，背景干扰少，模型测试结果表明，YOLO v5s网络模型能够达到较高的识别精确率，可用于稻纵卷叶螟和二化螟成虫的田间种群智能监测。

4.2 数据集多样性与检测性能

不同采集背景、不同采集设备获得的图像训练出来的模型对田间害虫监测的实际效果还有待进一步研究。深度学习需要大量的计算，在不损失精度的情况下，可以结合不同的网络模型对测试集图像进行测试。本研究中模型YOLO v5s_A3和YOLO v5s_B3对野外监测设备和三角形诱捕器采集的害虫图像的识别精确率较低，YOLO v5s_A3和YOLO v5s_B3模型的F1值分别低于模型YOLO v5s_A1+A2和YOLO v5s_B1+B2。这一结果与训练背景有关，室内白板背景下拍摄的水稻图像背景单一，干扰少，害虫特征清晰，监测设备和三角形诱捕器的背景多样，复杂性更高，含有其它非目标昆虫，且受野外光线影响。王卫民等[22]的模型识别效果与背景的复杂性有关，在白色背景图像上精确率高，而对背景为圆形网格的图像识别效果最差。翟肇裕等[23]指出用不具有代表性的原始数据集进行数据增强时，不能满足训练样本的高质量。邱荣洲等[24]研究发现在田间草地贪夜蛾识别计数中，识别率受采样背景的影响，去除图像背景会降低识别的查全率。因此室内白板背景下拍摄的水稻害虫图像训练出来的模型并不能有效满足实际田间复杂背景下水稻害虫的识别。不同采样场景、不同设备采集的水稻害虫图像可以提高模型对水稻害虫识别的准确性。YOLO v5s_A1+A2+A3融合了监测设备、三角形诱捕器、虫情测报灯3个不同采集背景，模型识别效果较好，这说明训练过程中，模型会提取训练图像中的背景特征加以训练，提高训练图像背景的多样性，可以使模型对环境特征的改变进行区分。这与周爱明等[25]的研究结果相一致，多样本加入训练可使分类模型更加鲁棒和高效。因此数据集的变化越多，训练模型的泛化效果越好。基于室内白板背景、诱捕器和监测设备二化螟图像训练的模型YOLO v5s_B1+B2+B3在经室内白板背景下拍摄的二化螟图像训练后，识别结果的F1值比YOLO v5s_B1+B2低，这一结果与YOLO v5s_A1+A2+A3模型训练的结果相反，造成这一结果有可能跟训练集的组成有关，在各组训练集图像总量一致的情况下，增加室内白板背景下拍摄的数据集B3图像时，数据集B1+B2的图像量也按比例减少。

4.3 数据量与检测性能

深度学习需要不同条件下采集的实际图像，所有图像都需要正确的标记，这通常是一个费时费力和容易出错的过程[26]。LECUN等[27]推荐了包含50 000个训练示例的数据集，与ImageNet数据集中1 400多万个样本数据相比，利用深度学习进行病虫害检测面临的最关键问题是农业病虫害图像数据库样本小。本研究发现，训练数据量会影响水稻稻纵卷叶螟的检测，随着训练样本量的提高，模型对稻纵卷叶螟的检测性能也随之提高，当训练图像样本量少于3 200时，模型的检测性能会下降，而当训练集样本量超过3 200时，F1值随着训练集样本量的增加而增加，当训练集样本量为4 800幅时，YOLO v5s_A3_6000模型的F1值为98.92%，达到最高。研究结果与TIAN等[28]报道的当训练图像量超过3 000时，训练集对模型的性能没有进一步显著影响的结果存在差异。

5 结论

(1)根据水稻稻纵卷叶螟和二化螟成虫的生物习性，采用自主研发的水稻害虫诱集与拍摄装置，自动获取稻纵卷叶螟和二化螟成虫图像，并构建了3种不同采集背景下的稻纵卷叶螟和二化螟成虫图像数据集。

(2)通过对比所选模型对野外采集与实验室采集背景下水稻害虫的识别效果，模型YOLO v5s_A3和YOLO v5s_B3的F1值低于模型YOLO v5s_A1+A2和YOLO v5s_B1+B2，表明室内白板背景下水稻害虫图像训练的模型对监测设备和诱捕器上的稻纵卷叶螟和二化螟成虫识别率降低，室内环境拍摄的水稻害虫图像并不能有效满足实际田间害虫识别要求。

(3)用诱捕器和监测设备采集的稻纵卷叶螟和二化螟成虫图像进行测试，模型对稻纵卷叶螟成虫识别的精确率和召回率分别达到91.67%和98.30%，F1值达到94.87%，对二化螟成虫识别的精确率和召回率分别达到93.39%和98.48%，F1值达到95.87%，结果表明本研究的目标检测算法YOLO v5可以对监测设备和诱捕器上的稻纵卷叶螟和二化螟成虫进行自动识别。

(4)对比稻纵卷叶螟成虫不同训练集样本量的识别效果，随着训练集样本量的提高，模型对稻纵卷叶螟成虫的检测性能先增大后降低，当训练图像样本量为4 800幅时，训练模型的F1值为98.92%，达到最高，在病虫害采集有限的数据样本下，可以选择合适的数据量来进行训练，从而得到最优的训练模型。