基于迁移学习的多模型水稻病害识别方法研究

王忠培 张萌 董伟 朱静波 孔娟娟 钱蓉

摘要 水稻病害是影响水稻产量的重要因素之一，使用传统机器学习方法识别农作物病虫害效果并不理想，因此该研究使用深度学习技术结合迁移学习方法识别常见水稻病害。使用当前深度学习领域经典网络模型VGG、ResNet、DenseNet、InceptionResNet、Xception模型作为预训练模型，通过比较不同模型在新任务上的表现，选取性能最好且最稳定的Xception模型作为最终模型。试验结果显示，DenseNet、InceptionResNet、Xception的识别准确率可以达到97%，尤其是Xception模型不仅可以达到98.50%的最高识别准确率而且是最稳定的。该研究通过试验探讨了适用于常见水稻病害智能识别的最佳模型，同时表明了使用迁移学习方法解决新任务的有效性。

关键词 水稻病害;迁移学习;深度学习;智能识别

中图分类号 S-058   文献标识码 A  文章编号 0517-6611（2021）20-0236-07

doi：10.3969/j.issn.0517-6611.2021.20.062

开放科学（资源服务）标识码（OSID）：

Multi-model Rice Disease Recognition Based on Transfer Learning

WANG Zhong-pei，ZHANG Meng，DONG Wei et al

（Institute of Agricultural Economics and Information， Anhui Academy of Agricultural Sciences， Hefei， Anhui 230031）

Abstract Rice disease is one of the most important factors affecting rice yield. The effect of traditional machine learning method to identify crop diseases and insect pests is not idea， so that we used deep learning technology combined with transfer learning method to identify common rice diseases.The classical models were adopted， such as VGG， ResNet， DenseNet， InceptionResNet and Xception to compare the performances on new task and select the Xception model as the final model based on the accuracy and stable performance. The results showed that the recognition accuracy of DenseNet， InceptionResNet and Xception model could reach more than 97%. In particular， Xception model could not only achieve the highest recognition accuracy of 98.50%， but also was the most stable of these models. This study explored the best model for rice diseases intelligent recognition task and showed the effectiveness of using transfer learning method to solve new task.

Key words Rice disease;Transfer learning;Deep learning;Intelligent recognition

基金项目 安徽省农业科学院农业大数据研究与应用团队（2021YL051）。

作者简介 王忠培（1981—），男，安徽金寨人，助理研究员，博士，从事智能农业研究。*通信作者，副研究员，硕士，从事农业信息化研究。

收稿日期 2021-04-07

水稻农作物起源于亚洲，然后传播至世界各地。我国水稻种植面积居世界第2位[1]。水稻是我国的主要粮食作物之一，作为第二大粮食作物，其種植面积广泛，约占全国耕地面积的25%。国家统计局数据显示，2020年水稻播种面积3 007.6万hm 总产量21 186万t，单位面积产量7 044 kg/hm2。2020年，我国谷物类（水稻、小麦、玉米、大麦、高粱等）总产量61 674万t，水稻产量占我国三大主要农作物产量的34%左右，而且全国以大米为主食的人口约占全国总人口的60%，因此保证水稻产量关系到我国经济发展以及国计民生。但是，影响水稻产量的因素有很多，如自然环境（温度、湿度、水体）和病虫害的影响等。

根据全国农业技术推广服务中心的预测预报[2]，我国2021年粮食重大病虫害全国发生面积1.4亿hm 同比将会增加14%，重大病虫害发生将会呈现重发态势。其中，水稻病虫害2021年预计发生面积8 154万hm 这将给我国粮食产量和经济发展造成巨大的损失。因此，水稻病虫害的快速识别并提供防治措施将有利于减少病虫害对水稻产量的影响。

传统农作物病虫害的识别主要依靠人工鉴别的方式。一般主要依靠当地植保部门的农业专家手工识别。但人工识别方法主要存在以下几个问题：第一，人工识别的方法效率较低，工作量较大。第二，人工识别的方法不具有推广性。植保专家具备的专业化知识是通过长年累月慢慢积累出来的，而我国粮食作物的经营主体是农民，广大基层农民一般文化素质不高，即使通过植保专家传授相关知识，广大农民也很难快速建立病虫害专业识别能力。而且我国农民居住分散，也不利于专业知识的传授。第三，对于很多距离较远、交通不便的地方，即使植保专家也不方面到达，因此无法对发生的病虫害实现及时鉴别。第四，植保专家人员有限，所以对农作物的鉴别范围有限。第五，农作物病虫害不仅种类繁多，而且在不同阶段有不同的症状表现，即使是植保专家也不能保证对所有病虫害实现正确识别。因此，以上因素将会导致对病虫害的识别能力不强和识别范围有限的问题。

如何使用计算机技术实现对农作物病虫害的智能和快速识别是值得研究的课题之一。现阶段，计算机技术，特别是人工智能技术受到了很多研究者的重视，在各个领域得到了一定应用。在农作物病虫害识别方面，已经有一些学者借鉴计算机视觉技术，结合机器学习、深度学习技术开展了相关研究。鉴于此，笔者使用深度学习技术结合迁移学习方法识别常见水稻病害，采用当前深度学习领域经典网络模型VGG、ResNet、DenseNet、InceptionResNet、Xception模型作為预训练模型，通过比较不同模型在新任务上的表现，选取性能最好且最稳定的Xception模型作为最终模型。

1 相关研究

国外开展农作物病虫害图像识别研究较早，最早可以追溯到20世纪80年代，但以前主要使用机器学习领域相关的知识。Sasaki等[3]采用的是机器学习中的贝叶斯方法对黄瓜叶片的健康程度进行划分。Rumpf等[4]使用机器学习中的支持向量机（SVM）方法对甜菜的叶片进行检测和分类，准确率可以达到97%。Zhang等[5]使用K-means机器学习算法分别对4种黄瓜叶片病害和3种苹果叶片进行识别。

深度学习（Deep Lerarnign，DL）技术[6]于2006年由Geoffrey Hinton首次提出。而真正让深度学习技术开始得到学者关注的是2012年，学者AlexKrizhevsky使用深度学习技术参加计算机视觉领域挑战赛。比赛结果显示，相对于传统机器学习的方法，Top-5错误率有了大幅下降，从传统方法的25.0%下降到16.4%，近10百分点的性能提升显示出深度学习技术的有效性。随后，深度学习技术受到了大量学者的关注和研究，并且在计算机视觉、自然语言处理等领域都得到了长足的发展。

该技术在农业方面也得到了应用。Mohanty等[7]利用AlexNet模型和GoogleNet模型在ImageNet数据集训练好的预训练模型，通过对该模型做部分调整，然后应用到PlantVillage数据集任务中，可以有效识别该数据集中14种作物所涵盖的26种病害，取得了满意的结果。

国内开展农作物病虫害识别任务较晚，在21世纪初才开始这方面的研究。徐贵力等[8]使用直方图的方法提取番茄叶片的彩色特征，准确率可以达到70%;赵玉霞等[9]使用贝叶斯方法识别玉米叶片上的不同病害类型;李敬[10]使用卷积神经网络模型对烟草病害进行识别。

随着深度学习技术的兴起，现阶段病虫害识别主要使用深度学习进行识别。深度学习技术在农业方面的应用主要有2种方法：方法1是根据现有的数据，重新训练网络模型。但这种方法需要大量的样本训练模型。方法2是将其他领域训练好的模型应用到新的任务中，该方法又被称为迁移学习方法，并且可以取得良好的结果。该研究采用迁移学习方法将其应用到水稻病害识别任务中。

2 迁移学习

2.1 迁移学习模型

该研究使用现有的在ImageNet上已经训练好的模型作为基础模型，然后使用迁移学习方法应用到新的研究任务中。该研究主要使用以下训练好的模型：VGG模型、ResNet模型、DenseNet模型、InceptionNet模型以及Xception模型。

2.1.1 VGG模型。

2012年，Krizhevsky等[11]提出AlexNet深度网络模型，该模型在大规模视觉挑战赛（ImageNet Large Scale Visual Recognition Challenge：ILSVRC2012）分类任务中，将Top-5错误率下降到16.4%。而在该模型提出以前，使用传统方法得到的最好Top-5错误率均在25.0%左右，这证明了深度学习模型的有效性。AlexNet深度学习模型所展现出来的优越性能启发了学者研究更深层次的网络结构。2014年在ILSVRC14挑战赛ImageNet数据集分类任务中，牛津大学VGG（Visual Geometry Group）实验室提出了VGG-11、 VGG-13、VGG-16、VGG-19等[12]一系列模型结构。其中，VGG-16在ImageNet图像分类任务中获得了7.4%的Top-5错误率，比AlexNet降低了7.9%。VGG模型的深度最多可以达到19层，而AlexNet模型只有8层，证明了随着模型层数的增加可以提高分类任务的准确率。VGG模型相对于AlexNet模型在以下2个方面进行了改进：第一，使用了更小的卷积核大小，AlexNet使用7*7的卷积核，而VGG全部使用3*3的卷积核大小，这样可以减少参数量，从而加快计算速度;第二，VGG采用更小的池化层，池化层大小是2*2的窗口，而AlexNet使用的是3*3的池化窗口。

由于VGG网络简单的结构和稳定的性能，该模型在各个应用领域得到了广泛的应用并受到了大量学者的关注和研究。VGG网络结构如图1所示。

2.1.2 ResNet模型。

残差网络（Residual Network，ResNet）模型由He等[13]3位华人提出。该模型于2015年提出，并在ILSVRC2015挑战赛中获得了冠军。虽然随着网络模型层数的增加可以提高模型的性能，但是当模型层数达到一定深度后并不能带来模型分类准确率的相应提高，反而会使得网络模型的收敛速度变慢，在测试集上的分类准确率也变得更差。因为随着层数的增加，会带来梯度消失的问题，所以当网络模型很深时，网络模型的训练反而会变得困难。为了解决这个问题，He等[13]学者提出使用残差连接的方式。该模型可以达到152层，在ImageNet分类任务中Top-5分类错误率只有3.57%。残差连接的网络结构如图 2所示。

2.1.3 DenseNet模型。

受ResNet模型所表现出来的良好性能的启发，有学者提出DenseNet模型[14]，可进一步加强各层之间的连接。

DenseNet使用更多的跨层快捷连接，从输入层开始，每层都和后面的各层相互连接，这样可以充分利用各层的特征信息，同时可以保证层与层信息之间的最大传输，进一步减少梯度消失问题。

2.1.4 InceptionResNet模型。

Inception模型是由Google提出的，并在随后提出了各种版本，如Inception-v1[15]、Inception-v2[16]、Inception-v3[17]、Inception-v4[18]。

Inception模型的基礎结构如图 4所示。

Inception的结构是将上层的输入通过1×1、3×3、5×5的卷积后，将其的结果堆叠起来，这一方面增加网络的宽度，另一方面可以增加网络对多尺度的处理，有利于处理图片的多尺度问题。

根据Inception模型的思想，进一步对模型进行优化，提出了如图 5的Inception-v1结构，该模型也被称为GoogLeNet模型，并且获得了2014年ImageNet比赛的冠军。

从图5可以看出，为了减少Inception模型3×3和5×5卷积的计算量，Inception-v1模型在5×5卷积、3×3卷积之前使用1×1卷积操作减少计算量。

按照这种思想，随后又推出了Inception-v2、Inception-v3以及Inception-v4模型结构。

InceptionResnet模型不仅借鉴了Inception模型使用小的卷积核的思想，而且借鉴ResNet残差连接思想。该模型综合利用了Inception模型和ResNet模型的优点。

2.1.5 Xception模型。

Xception模型[19]是受到Inception模型的启发而提出的一种极致Inception模块。在Inception模块中，特征通过1*1卷积、3*3卷积对特征进行提取。而Xception模型是对每个输入通道做处理，首先对每个输入通道进行普通的1*1卷积，然后再进行3*3卷积并将这些结果聚合起来。同时，该模型也借鉴ResNet的思想，将残差连接机制引入网络中。Xception模型结构如图 6所示。

2.2 迁移学习方法

迁移学习指的是在某个任务上训练出来的模型结果经过简单的修改后运用到新的任务中。预训练好的模型一般是在大型数据集上进行训练，如图像领域的ImageNet数据集。该数据集一共有超过1 400万张的标注图片，大概有2.1万类，由于该数据集样本量足够多且包含的类别也丰富，在该数据集上学出来的特征可以作为计算机视觉方面的通用模型，因此这些训练出来的特征可以用于各种不同的和计算机视觉相关的问题中，新的视觉任务与原始任务甚至完全不同。根据这一特性，该研究采用在ImageNet训练好的VGG模型、ResNet模型、DenseNet模型、InceptionNet模型、Xception模型作为该次迁移学习的主要基准模型，迁移学习的流程如图 7所示。

3 试验过程

3.1 试验环境

使用深度学习框架TensorFlow软件进行试验验证。电脑配置为CPU：Intel i7-9700@3.00 Ghz;GPU配置为：NVIDIA GeForce RTX 2060，显存大小6 GB。

3.2 试验数据

试验数据选取常见水稻病害作为重点分析对象，主要选取6种常见的水稻病害，分别为水稻胡麻斑病、水稻白叶枯病、水稻纹枯病、水稻细菌性条斑病、稻曲病、稻瘟病（图8）。

该数据集由笔者通过田间实地拍摄获得，拍摄的图片反映了不同场景、不同光照、不同自然环境下的真实病害发生情况。收集的水稻病害数据样本量如表1所示。

3.3 试验参数设置

试验选取数据集的80%作为训练集，20%作为验证集。

使用在ImageNet上的预训练模型作为迁移学习的基础。ImageNet数据集在R、G、B共3个通道上的均值为（0.485，0.456，0.406），标准差为（0.229，0.22 0.225），因此该试验对水稻病害数据集进行标准化操作时也使用ImageNet上的均值和标准差值做归一化处理，以保证和ImageNet预训练模型的一致。

同时，为了和预训练模型输入大小一致，需要对水稻病害的输入样本大小进行处理，根据预训练模型的输入大小，将输入图片大小调整为224像素×224像素。使用Adam优化器，学习率大小设置为0.00 同时在全连接层使用dropout技术，将选择比率设置为0.5。

3.4 数据增强

为了提高模型的泛化性能，需要对数据集进行数据增强。数据增强指的是通过水平翻转、上下翻转、旋转、平移、伸缩等方法扩充样本。该试验方案主要采用左右翻转、上下翻转以及随机裁剪的方法增加样本。

3.5 迁移学习网络模型

该研究选取的经典深度学习网络模型一般都会经过多层卷积和Pooling操作以提取图片特征。通过多层卷积操作获得的低层特征往往提取的是图片的局部边缘和纹理等信息，低层提取的特征具有通用性，而越往高层提取的特征更多包含的是图像的语义特征。所以在使用迁移学习的过程中，需要先冻结这些低层特征，但是针对新的任务时需要调整全连接层的参数，最终获得新的网络模型如图 9所示。图9展示了对低层特征提取层不进行训练，仅仅对后面的全连接层进行训练以适应新任务的需求。

4 试验结果分析

4.1 VGG-16训练过程

图 10显示了使用VGG-16模型进行迁移学习的训练过程。从图10可以看出，随着训练的进行，训练损失值一直处于下降的过程中，训练的准确率也在逐步上升，但是验证损失值不稳定，从而导致验证准确率也不稳定。通过试验可以发现，使用VGG-16模型进行迁移学习训练过程中存在性能不稳定的问题。

4.2 VGG-19训练过程

图 11显示了使用VGG-19模型的训练过程。随着训练的过程，训练损失值逐步降低，相应的训练准确率也在上升，但是验证损失值和验证准确率也有不稳定的现象，存在与VGG-16模型类似的问题。

4.3 ResNet50训练过程

图 12展示了在ResNet50模型进行迁移学习的结果。从图12可以看出，刚开始训练的时候，训练的损失值和验证的损失值波动性较大，但随着训练的逐步进行，模型在训练集和验证集上的准确率逐步稳定下来，最终准确率可以达到95%。

4.4 ResNet101训练过程

图13展示了在ResNet101上的训练过程。从图13可以看出，该模型无论在最初训练的时候还是在逐步训练的过程中，模型的训练损失值始终没有下降且不稳定，最终导致模型的准确率不高，仅有60.00%左右，而且模型性能一直不稳定。

4.5 DenseNet121训练过程

从图14可以看出，DenseNet121模型经过少数几轮训练后，训练的损失值下降很多，最终模型的准确率可以达到98%。

4.6 InceptionResNetV2训练过程

从图15可以看出，该模型在训练过程中的稳定性稍微不如DenseNet121模型，但是模型的训练准确率和验证准确率与DenseNet121模型差不多。

4.7 Xception模型训练过程

从图 16可以看出，Xception模型经过较少几轮的训练后，训练的损失值可以降低到较低的水平，虽然一开始训练损失值也发生过1次突然增加的情况，但是在后面的训练过程中，训练损失值一直没有发生大的波动，模型的训练一直很稳定，而且训练的准确率和验证的准确率一直都很高，保持在98.00%附近。可见，Xception模型无论从准确率还是模型稳定性方面都是这几个模型里最好的。

通过迁移学习方法各模型在水稻病害识别任务中的最高成功率如表2所示。表2总结了7种预训练模型在水稻病害最好的识别准确率。其中，Xception模型获得了最好的识别准确率（98.50%）;其次，DenseNet121模型获得了98.44%的识别准确率;而InceptionNetV2模型的准确率是97.69%，获得了第3的识别准确率。虽然Xception和DenseNet121的识别准确率差别不大，但是Xception模型的稳定性要好于DenseNet121模型。

5 结论

作为我国主要三大农作物之一，水稻病害的防治对我国农业产量的提高起到重要的作用。如何使用计算机技术实现智能识别将会有助于病害的准确防治以及生产效率的提高。该研究针对水稻常见的6种病害使用迁移学习的方法实现智能识别。通过对比不同模型下的试验结果，考察模型识别准确率以及模型稳定性，结果表明Xception模型在这2个方面的表现均最优。

参考文献

[1] 周立阳，高增祥，李典谟.害虫预测预报的生态学基础和应用技术研究进展[J].生态学报，200 21（6）：1013-1019.

[2] 刘杰，姜玉英，黄冲，等.2021年全国粮食作物重大病虫害发生趋势预报[J].中国植保导刊，202 41（1）：37-39，42.

[3] SASAKI Y，OKAMOTO T，IMOU K，et al.Automatic diagnosis of plant disease-Spectral reflectance of healthy and diseased leaves[J].IFAC Proceedings Volumes，1998，31（5）：145-150.

[4] RUMPF T，MAHLEIN A K，STEINER U，et al.Early detection and classification of plant diseases with Support Vector Machines based on hyperspectral reflectance[J].Computers and electronics in agriculture，2010，74（1）：91-99.

[5] ZHANG S W，WANG H X，HUANG W Z，et al.Plant diseased leaf segmentation and recognition by fusion of superpixel，K-means and PHOG[J].Optik，2018，157：866-872.

[6] HINTON G E，OSINDERO S，TEH Y W.A fast learning algorithm for deep belief nets[J].Neural computation，2006，18（7）：1527-1554.

[7] MOHANTY S P，HUGHES D P，SALATH M.Using deep learning for image-based plant disease detection[J].Frontiers in plant science，2016，7：1-10.

[8] 徐貴力，毛罕平，李萍萍.缺素叶片彩色图像颜色特征提取的研究[J].农业工程学报，200 18（4）：150-154.

[9] 赵玉霞，王克如，白中英，等.贝叶斯方法在玉米叶部病害图像识别中的应用[J].计算机工程与应用，2007，43（5）：193-195.

[10] 李敬.基于卷积神经网络的烟草病害自动识别研究[D].泰安：山东农业大学，2016.

[11] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks[J].Advances in neural information processing systems，201 25（2）：1106-1114.

[12] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[R].2015.

[13] HE K M，ZHANG X Y，REN S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas，NY，USA：IEEE，2016：770-778.

[14] HUANG G，LIU Z，VAN DER MAATEN L，et al.Densely Connected Convolutional Networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Honolulu，HI，USA：IEEE，2017.

[15] SZEGEDY C，LIU W，JIA Y Q，et al.Going Deeper with Convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Boston MA，USA：IEEE，2015.

[16] IOFFE S，SZEGEDY C.Batch normalization：Accelerating deep network training by reducing internal covariate shift[J].The 32nd international conference on machine learning，2015，37：448-456.

[17] SZEGEDY C，VANHOUCKE V，IOFFE S，et al.Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas，NY，USA：IEEE，2016：2818-2826.

[18] SZEGEDY C，IOFFE S，VANHOUCKE V，et al.Inception-v inception-ResNet and the impact of residual connections on learning[R].2016.

[19] Chollet Franois.Xception：Deep Learning with Depthwise Separable Convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu，HI，USA：IEEE，2017：1800-1807.