Res-Efficient:应用于作物病害自动识别的轻量级模型

管洪亮,李克峰,张广渊,朱振方,王朋

Res-Efficient:应用于作物病害自动识别的轻量级模型

管洪亮,李克峰,张广渊*,朱振方,王朋

山东交通学院 信息科学与电气工程学院, 山东 济南 250375

卷积神经网络模型可通过作物病害图像准确率较高地识别作物病害类型，达到防治作物病害的目的，但传统卷积神经网络模型存在模型尺寸大、迁移效果差等问题。针对这些问题，引入学习率动态衰减训练策略，使用EfficientNetV2的Fused-MBConv和MBConv模块替换ResNet18的部分残差模块，提出Res-Efficient模型。实验证明，使用学习率动态衰减策略能提高Res-Efficient模型识别作物病害的准确率，Res-Efficient模型在Plant Village和2018 AI Challenger测试集上分别达到99.70%和87.20%的准确率，模型尺寸减少到14.0 MB。Res-Efficient模型能为移动端和嵌入式设备部署作物病害自动识别应用提供参考。

作物病害; 自动识别; 模型

病害是导致作物产量下降的重要因素之一，严重的病害会给作物种植者带来巨大的经济损失[1]。作物病害大都能通过根系、花粉、孢子等媒介进行传播，因此在病害传播的早期能准确识别作物病害种类，就能通过切断传染源等手段阻断病害的大面积传播，减少经济损失[2-3]。传统的作物病害识别主要以人工识别为主，通过观察叶片的病变特征判断病害类型，但这种方法过于依赖个人经验，主观性强，效率低[4]。随着深度学习计算机视觉领域的迅速发展，卷积神经网络模型逐渐应用于农业领域，解决农业病害自动识别问题。

卷积神经网络（CNN）模型是将一个卷积核作为一个神经单元对图像进行特征提取，通过平铺和堆叠卷积核，实现对图像深层特征的提取。Sladojevic S等[5]使用Caffe深度学习框架构建CNN模型CaffeNet，该模型对训练的13种植物病害类型的识别精准率平均达到96.3%，证明CNN模型识别植物病害类型的有效性。Hu WJ等[6]在实验中得到ResNet50模型在经过预处理后的AI Challenger数据集上得到82.40%的模型精准率，较AlexNet模型提高2.69%，ResNet50模型在相同数据集下，比AlexNet模型拥有更高的识别准确率。

Sifre L等[7]提出深度可分离卷积（Depthwise separable convolution, DSC），DSC相比普通的卷积操作模型参数的计算量减少三分之二，Howard AG等[8]使用DSC构造出MobileNet轻量级网络模型，从此轻量级网络在深度学习领域成为了一个热门的研究方向。Tan M等[9]通过NAS技术搜索出MBConv和Fused-MBConv模块的最佳超参数配比，提出的EfficientNetV2同时兼顾准确率和轻量级两个指标，使CNN模型性能进一步提高。帖军等[10]应用轻量化模块提出SK-Efficient模型，模型在Plant Village数据集上平均准确率达到99.64%，模型参数量与ResNet模型相比减少84%。以上研究说明，通过使用轻量级模块改进卷积神经网络模型，不仅能有较高的植物病害图像识别能力，而且能大幅度降低模型尺寸和参数量。

通过上述研究发现，CNN模型在作物病害图像识别领域呈现准确率越来越高，越来越轻量级的趋势。且通过观察农业病害图像的数据集发现，相比于自然环境下多特征的植物病害图片，作物病害叶片图像具有病害特征明显、噪声少、易拍摄等特点。基于上述研究并结合作物病害叶片图像的特点，本文提出Res-Efficient模型，达到以更轻量级的模型取得准确率高的作物病害分类效果，为提高水果产量，减少农业经济损失提供技术支持

1 Res-Efficient模型

1.1 模型总体设计

本文提出的Res-Efficient模型由1个卷积批量归一化激活（Conv-BN-Act）模块，2个Fused-MBConv模块，2个Residual模块，2个MBConv模块和1个卷积池化全连接（Conv-Pooling-FC）模块，共8个模块串联而成。模型总体结构和模型主要参数见表1。

表 1 Res-Efficient模型参数

表1中的层数（Layer）表示模块重复串联的次数，步距（Stride）表示该模块第一个负责特征提取的卷积核步距大小，通道数（Channel）表示特征图经过该模块后的特征图数量，失活率（Dropout）表示输出节点数的失活比例，膨胀系数（Expansion）表示深度可分离卷积核的个数与输入通道数量的倍数关系。

卷积批量归一化激活模块由1个卷积（Convolution，Conv）层，1个BN（Batch Normalization）层和1个SiLU激活层组成。卷积池化全连接模块由1个卷积层，1个自适应平均池化层和1个全连接层组成。

其中：()表示均值函数；V()示方差函数；，是可学习的参数向量，默认为1，为0；是作为一个极小值，防止除0操作；表示特征图的元素；表示归一化特征图元素的结果。

其中：是特征图的元素值；是可学习的参数向量，默认为1。

主体框架包含2个Fused-MBConv模块，2个残差（Residual）模块和2个MBConv模块。主体框架中的模块构造如图1所示。

图 1 Res-Efficient主要模块

1.2 Residual模块

Residual模块是ResNet18的基础残差模块，残差模块主要由3个尺寸为3的卷积核和一个shortcut连接组成。残差模块能将原始特征图与经过卷积处理生成的特征图相加后得到新的特征图。因为作物病害叶片图像特征分布简单，容易出现因卷积层不断加深而造成的梯度爆炸和梯度消失问题。应用Residual层则可以挖掘作物病害叶片图像的深层特征，具体结构如图1(a)所示。

1.3 MBConv模块

MBConv模块是基于残差模块的一种改进。首先将普通卷积操作替换为深度可分离卷积操作，即在残差结构的基础上，增加2个尺寸为1的卷积核，实现深度可分离卷积操作。然后增加压缩与激励层，增加模型的自注意力机制，消除部分因参数量下降而造成准确率降低的影响，提高模型预测的准确度。该模块的具体结构如图1(b)所示。

1.4 Fused-MBConv模块

Fused-MBConv模块是基于MBConv的改造，即去掉MBConv模块中第一个用于升维的卷积层和用于对数据进行压缩和激励的SE层，且根据膨胀系数决定是否进行深度可分离卷积的逐点操作。Res-Efficient模型在浅层使用Fused-MBConv模块可以减少网络层数，达到降低模型尺寸的效果，同时引入Fused-MBConv模块可加快模型训练的速度。Fused-MBConv模块的具体结构如图1(c)所示。

1.5 学习率动态衰减策略

其中：l表示下一轮学习率；l表示最后一轮的学习率；表示当前轮次的学习率；表示最大迭代次数。

2 实验材料

2.1 数据来源

Plant Village数据集[12]是公开的农业病害数据集，包含9种作物的38种不同种类作物健康或病害的叶片图片，共54303张，该数据集常用于识别农业病虫害的研究。

2018 AI Challenge病虫害分类数据集（https://aistudio.baidu.com/aistudio/dataset detail/76075），该数据集是飞桨平台AI Challenger 2018竞赛的数据集，包含61种不同作物病害程度的叶片图像。

2.2 数据预处理

将2018 AI Challenge病虫害分类数据集，删除11个图像样本数少于200的类别，剩下的50个类别的图像将参与模型训练。对参与作物病害自动识别模型的Plant Village和2018 AI Challenger数据集以3:1:1的比例划分为训练集、验证集和测试集，划分后的数据集样本数量如表2所示。

表 2 数据集样本划分

3 实验与分析

3.1 实验环境

本试验模型训练阶段使用“腾讯云”的GPU计算型GN7-8核32G云服务器，GPU型号为Nvidia Tesla T4，显存16 GB，内存32 GB。操作系统为Ubuntu Server 20.04 LTS 64位。Cuda版本为11.2。

3.2 消融实验

Adam和随机梯度下降（SGD）是CNN模型训练时常用的优化器，Res-Efficient作物病害自动识别模型分别使用Adam和SGD优化器进行训练，并余弦渐进式衰减动态调整学习率策略进行消融实验，模型在两个数据集的测试集上的实验结果如表3所示。

表 3 消融实验结果

从表3可看出，学习率动态学习策略与Adam优化器结合对Res-Efficient模型识别作物病害的准确率提升幅度较小，与SGD优化器结合对模型识别作物病害的准确率提升幅度较大。Res-Efficient作物自动识别模型在SGD优化器结合学习率动态衰减策略，在Plant Village和2018 AI Challenger两个数据集上达到最高的准确率，分别为99.70%和87.20%。

3.3 对比实验

Res-Efficient作物病害自动识别模型分别在Plant Village和2018 AI Challenger数据集上与ResNet18、ResNet50和EfficientNetV2原模型进行训练过程的准确率进行对比训练过程对比见图2。然后对上述4种模型在测试集上进行评估，评估结果如表4所示。

(a) Plant Village数据集模型对比Comparison of plant village dataset models (b) 2018 AI Challenger数据集模型对比2018 AI challenger dataset model comparison

由图2(a)可看出，Res-Efficient模型在Plant Village病害数据集上能以最快的速度收敛且收敛效果最好，同时该模型的准确率也始终高于其他3个模型。由图2(b)可看出，ResNet18在2018 AI Challenger作物病害数据集上的训练速度最快，但模型收敛效果不佳，Res-Efficient模型虽然训练时间比ResNet18长，但模型收敛的时间与ResNet18模型训练完成的时间相近，且收敛后的准确率也高于其他3个模型。

表 4 模型评估结果

从表4可看出，本文设计的Res-Efficient模型与其他3个模型相比，在两个作物病害数据集的测试集上得到的准确率、精准率、召回率和F1得分最高。Res-Efficient的模型尺寸仅为14.0MB，与性能相近的EfficientNetV2原模型尺寸相比降低83%，与ResNet18模型尺寸相比下降69%，模型轻量级程度大幅度提升。

4 结 论

本文提出了Res-Efficient自动识别作物病害类别的轻量级模型，并使用学习率动态衰减策略提高模型识别作物病害种类的准确率。实验证明，使用SGD优化器并结合学习率动态衰减策略能使Res-Efficient模型识别作物病害类型的准确率有较明显的提升，在Plant Village和AI Challenger 2018数据集上分别得到99.70%和87.20%的准确率。Res-Efficient模型尺寸仅为14.0 MB，为嵌入式和移动端设备部署轻量级作物病害自动识别应用提供参考模型。

[1] 宋余庆,谢熹,刘哲,等.基于多层EESP深度学习模型的农作物病虫害识别方法[J].农业机械学报,2020,51(8):196-202

[2] King A. Technology: The future of agriculture [J]. Nature, 2017,544(7651):S21-S23

[3] 苏仕芳,乔焰,饶元.基于迁移学习的葡萄叶片病害识别及移动端应用[J].农业工程学报,2021,37(10):127-134

[4] 王树桐,王亚南,曹克强.近年我国重要苹果病害发生概况及研究进展[J].植物保护,2018,44(5):13-25

[5] Sladojevic S, Arsenovic M, Anderla A,. Deep neural networks based recognition of plant diseases by leaf image classification [J]. Computational Intelligence and Neuroscience, 2016,6:1-11

[6] Hu WJ, Fan J, Du YX,. MDFC–ResNet: an agricultural IoT system to accurately recognize crop diseases [J]. IEEE Access, 2020,8:115287-115298

[7] Sifre L, Mallat S. Rotation, scaling and deformation invariant scattering for texture discrimination [C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2013:1233-1240

[8] Howard AG, Zhu M, Chen B,. Mobilenets: Efficient convolutional neural networks for mobile vision applications [J]. arXiv preprint arXiv:1704.04861, 2017.

[9] Tan M, Le Q. Efficientnetv2: Smaller models and faster training [C]//International Conference on Machine Learning. PMLR,2021:10096-10106

[10] 帖军,隆娟娟,郑禄,等.基于SK-EfficientNet的番茄叶片病害识别模型[J].广西师范大学学报(自然科学版),2022,40(4):104-114

[11] Ramachandran P, Zoph B, Le QV. Searching for activation functions [J]. arXiv preprint arXiv:1710.05941, 2017

[12] Mohanty SP, Hughes DP, Salathé M. Using deep learning for image-based plant disease detection [J]. Frontiers in Plant Science, 2016,7:1419

Res-Efficient: A Lightweight Model for Automatic Identification of Crop Diseases

GUAN Hong-liang, LI Ke-feng, ZHANG Guang-yuan*, ZHU Zhen-fang, WANG Peng

250375,

The convolutional neural network model can identify crop disease types with high accuracy through crop disease images to achieve the purpose of preventing and controlling crop diseases. However, the traditional convolutional neural network model has problems such as large model size and poor migration effect. To deal with these problems, a learning rate dynamic attenuation training strategy is introduced, and the Fused-MBConv and MBConv modules of EfficientNetV2 are used to replace part of the residual module of ResNet18, and the Res-Efficient model is proposed. Experiments have proved that using the learning rate dynamic decay strategy can improve the accuracy of the Res-Efficient model in identifying crop diseases. The Res-Efficient model achieved 99.70% and 87.20% accuracy on the Plant Village and 2018 AI Challenger test sets, respectively, and the model size was reduced. to 14.0 MB. The Res-Efficient model can provide a reference for deploying crop disease automatic identification applications on mobile terminals and embedded devices.

Crop disease; automatic identification; model

S41-30

A

1000-2324(2022)06-0858-05

2022-05-01

2022-06-04

管洪亮(1995-),男,硕士研究生,研究方向:机器人工程,计算机视觉. E-mail:cbxxghl@qq.com

Author for correspondence. E-mail:xdzhanggy@163.com

10.3969/j.issn.1000-2324.2022.06.007