基于TensorFlow平台的深度学习月季花病害检测研究

殷健凯 虞冬蕾 李梓仪 郭薇 朱浩

摘  要：作物病害是对粮食安全的主要威胁，但由于缺乏必要的基础设施，在世界许多地方，很难迅速查明疾病。深度學习使全球智能手机普及率不断提高和计算机视觉的最新发展相结合，为智能手机辅助疾病诊断铺平了道路。该文使用在受控条件下收集的54 306张患病和健康植物月季花图像的公共数据集，我们在TensorFlow平台上训练了一个深度卷积神经网络，以识别月季花的多种疾病。经过训练的模型在保留的测试集上达到了99.35%的精度，证明了这种方法的可行性。在从可信任的在线来源收集的一组图像上测试模型（即在不同于用于训练模型的图像的条件下拍摄）时，模型仍可达到31.4%的准确性。尽管此准确度比基于随机选择的准确度高得多（2.6%），但仍需要更多样化的训练数据集来提高总体准确度。总体而言，在越来越大且可公开获得的图像数据集上，训练深度学习模型的方法为大规模的全球智能手机辅助作物病害诊断提供了一条清晰的道路。

关键词：深度学习  月季花  疾病检测  黑斑病

中图分类号：TP391                           文献标识码：A                   文章编号：1672-3791（2020）11（b）-0027-06

Abstract： Crop diseases are the main threat to food security， but due to the lack of necessary infrastructure， it is difficult to quickly identify diseases in many parts of the world. Deep learning has combined the global smartphone penetration rate with the latest developments in computer vision， paving the way for smartphone-assisted disease diagnosis. This article uses 54306 public data sets of diseased and healthy plant rose images collected under controlled conditions. We trained a deep convolutional neural network on the TensorFlow platform to identify various diseases of rose flowers. The trained model achieved 99.35% accuracy on the retained test set， which proved the feasibility of this method. When testing the model on a set of images collected from a trusted online source （ie， taken under different conditions than the images used to train the model）， the model can still achieve 31.4% accuracy. Although this accuracy is much higher than that based on random selection （2.6%）， a more diverse training data set is still needed to improve the overall accuracy. In general， the method of training deep learning models on increasingly large and publicly available image data sets provides a clear path for large-scale global smartphone-assisted crop disease diagnosis.

Key Words： Deep learning; Chinese rose; Disease detection; Black spot

月季花是4种主要切花中的第一大类，是蔷薇科的多年生木本花，其具有开花时间长、色彩丰富和植物种类繁多的优点。它受到所有国家人民的喜爱。尽管它经历了长时间的重复杂交过程，但是在玫瑰花型、颜色和气味上取得了许多突破，一些玫瑰属月季花品种仍然非常容易受到疾病的影响，导致疾病和严重的经济损失。以黑斑病为代表的月季花疾病在大多数玫瑰属月季花产区经常发生，并且极为有害，严重影响了其装饰价值和产量[1]。

为了防止月季花因病害而损失，已经开发了各种防护剂。在过去的10年里，杀虫剂在被越来越多地广泛采用。从历史上看，疾病识别一直得到农业推广组织或其他机构的支持。最近，利用全球日益增长的互联网普及率，通过手机等电子设备对月季话的图像进行分析，从而得到诊断结果，称为植物疾病诊断的新趋势[2]。

Pascal VOC挑战赛和最近的基于ImageNet数据集的大规模视觉识别挑战赛（ILSVRC）已经被广泛用作计算机视觉中许多可视化相关问题的基准，包括对象分类。2012年，一个大型的深层卷积神经网络在将图像分类到1 000个可能的类别时达到了前5名的16.4%的误差。在接下来的3年里，深卷积神经网络的各种进展将错误率降低到3.57%。虽然训练大型神经网络可能非常耗时，但训练后的模型可以非常快速地对图像进行分类，这也使其适用于智能手机上的消费者应用。

智能手机是非常新颖的识别植物疾病的方法，它们具有巨大的计算能力、高分辨率的显示屏，以及大量的内置配件，如高级高清摄像头。据广泛估计，到2020年，全球将有50亿至60亿部智能手机[3]。2015年底，全球已有69%的人口接入移动宽带覆盖，2015年移动宽带普及率达到47%，自2007年以来增长了12倍。智能手机的广泛普及、高清摄像头和移动设备中的高性能处理器的综合因素导致了这样一种情况，如果技术可行，基于自动图像识别的疾病诊断可以以前所未有的规模提供。在这里，我们使用深度学习的方法证明了技术上的可行性，该方法利用了公开提供的月季花疾病（或健康）的54 306张图像。图1中可以看到每对作物病害的一个例子。

1  实验方法

1.1 数据集

我们分析了54 306张月季花叶片的图像，这些图像分配了类别标签。每个类别标签都是一个作物-病害对，我们试图仅给出植物叶片的图像来预测作物-病害对。图1显示了来自PlantVillage数据集的每个作物-病害对的一个示例。在该文描述的所有方法中，我们将图像调整到256像素×256像素，并对这些缩小后的图像进行模型优化和预测。

1.2 性能测试指标

为了了解我们的方法将如何处理新的未见数据，并跟踪我们的任何方法是否过度拟合，我们在整个训练-测试集拆分范围内运行所有实验，即80-20（整个数据集的80%用于训练，20%用于测试），60-40（整个数据集的60%用于训练，40%用于测试），50-50（用于训练的整个数据集的50%，用于测试的50%），40-60（用于训练的整个数据集的50%，用于测试的50%），60%用于测试），最后是20-80（整个数据集的20%用于训练，80%用于测试）。必须注意的是，在许多情况下，植物村数据集具有相同叶子的多个图像（取自不同的方向），并且我们有54 306个图像中41 112个图像的这种情况的映射;在所有这些测试序列拆分期间，我们确保相同叶子的所有图像要么在训练集，要么在测试集中。此外，对于每个实验，我们计算了平均精确度、平均召回率、平均F1得分，以及整个训练周期内（在每个时代结束时）的总体准确率。我们使用最终的平均F1分数来比较所有不同的实验配置的结果。

1.3 实验方法

我们评估了深卷积神经网络对上述分类问题的适用性。我们关注两个流行的架构，即AlexNet和GoogLeNet，它们是在针对ImageNet数据集的ILSVRC竞赛设计的。

AlexNet架构遵循与20世纪90年代以来的LeNet-5架构相同的设计模式。LENET-5架构变体通常是一组堆叠的卷积层，其后是一个或多个完全连接的层。卷积层可选地可以紧随其后具有归一化层和池化层，并且网络中的所有层通常具有与其相关联的RELU非线性激活单元。AlexNet包含5个卷积层，然后是3个完全连接的层，最后以softMax层结束[4]。图2为AlexNet架构图。

另一方面，GoogLeNet架构是一个更深更广的架构，有22层，同时网络中的参数数量（500万个参数）仍然比AlexNet（6 000万个参数）少得多。以初始模块的形式应用“网络中的网络”体系结构是GoogLeNet体系结构的关键特征。图3位GoogLeNet架构图。

该文选择TensorFlow为实验的实现平台，我们通过在一种情况下从头开始训练模型，然后通过使用转移学习调整已经训练的模型（在ImageNet数据集上训练）来分析这两种体系结构在PlantVillage数据集上的性能。在迁移学习的情况下，我们不限制其余层的学习，相反，在AlexNet的情况下，我们仅重置层fc8的权重;在GoogLeNet的情况下，类似的，我们不限制其余层的学习，而是仅重置Lost{1，2，3}分类器层的权重。

综上所述，我们总共有60种实验配置，它们根据以下参数而有所不同。这60个实验中的每一个总共运行30个epoch，其中一个epoch被定义为特定神经网络已经完成整个训练集的完整遍的训练迭代的次数。选择30个纪元是基于经验观察，即在所有这些实验中，学习总是在30个epoch内很好地收敛。

2  实验结果

首先，我们注意到在具有38个类别标签的数据集上，随机猜测平均只能获得平均2.63%的总体准确性。在我们的所有实验配置中，包括图像数据的3种可视化表示，我们在PlantVillage数据集上获得的总体准确率从85.53%～99.34%，因此对于类似的预测问题显示出深度学习方法的强大前景。表1显示了我们所有实验配置的平均F1分数、平均精确度、平均召回率和总体准确率。所有的实验配置总共运行30个历元，并且在学习速率第一步下降之后，它们几乎一致地收敛。

在30个epoch结束时，不同实验配置的平均F1得分。表1中的每个单元格代表相应实验配置的平均F1分数（平均精确度、平均召回率、总体准确度）。为了解决过度拟合的问题，我们改變了测试集与训练集的比率，并观察到即使在仅对20%的数据进行训练而在其余80%的数据上测试训练模型的极端情况下，在GoogLeNet中，该模型也实现了98.21%的总体准确率（平均F1分数为0.982 0）。正如预期的那样，如果我们继续增加测试集与训练集的比率，AlexNet和GoogLeNet的整体性能确实会下降（见图4，但性能的下降并不像我们预期的那样严重，如果模型确实过度拟合的话[5]。图4还显示，验证损失和训练损失之间没有分歧，证实了过度拟合并不是我们在所有实验中获得的结果的贡献者[6]。

在AlexNet和GoogLeNet架构中，GoogLeNet的表现一直好于AlexNet（见图5），基于训练方法，迁移学习总是产生更好的结果4（B），这两个都是预期的[7]。

当我们保持其余实验配置不变时，数据集的3个版本（颜色、灰度和分段）在所有实验中显示出性能的特征变化。在数据集的彩色版本的情况下，模型执行得最好。在设计实验时，我们担心神经网络可能只学会提取与照明条件相关的固有偏差。因此，我们用同一数据集的灰度版本进行了实验，以测试该模型在缺乏颜色信息的情况下的适应性，以及它学习特定作物和疾病典型的更高级别结构模式的能力。正如预期的那样，与在数据集的彩色版本上进行的实验相比，性能确实有所下降，但即使在性能最差的情况下，观察到的平均F1分数也是0.852 4（总体准确率为85.53%）。还准备了整个数据集的分割版本，以调查图像背景在整体性能中的作用，并且如图所示，使用分割图像的模型的性能始终好于使用灰度图像的模型，但略低于使用彩色图像的模型的性能[8]。

最后，虽然这些方法在受控环境中收集的PlantVillage数据集上获得了出色的结果，但我们也评估了该模型在从可信的在线来源（如学术农业推广服务）采样的图像上的性能。此类图像无法大量获得，使用从Bing Image Search自动下载与我们其中一人（MS）的可视验证步骤相结合，我们获得了121张图像的小型验证数据集（有关该过程的详细说明，请参阅补充材料）。通过使用GoogLeNet训练的模型，我们从38个可能的类别标签中成功地预测了正确的类别标签（即月季和病害信息），总体准确率为31.40%。我们注意到，随机分类器的平均准确率仅为2.63%。当提供特定图像所属作物的信息时，准确率提高到47.93%。在所有图像中，52.89%的情况下，正确的类别都在预测的前5名中[9]。

3  结语

该文中，我们利用深度卷积神经网络结构，我们在植物叶片图像上训练了一个模型，目的是在以前没有见过的图像上对作物种类和病害的存在和识别进行分类。在包含54 306幅图像的PlantVillage月季花数据集中，99.35%的最高准确性证明了这一目标的实现。因此，在没有任何特征工程的情况下，该模型从1 000幅图像中的993幅图像中的38个可能类别中正确地对月季花和病害进行了分类。重要的是，虽然模型的训练需要大量时间（在高性能GPU集群计算机上需要数小时），但分类本身非常快（在CPU上不到1 s），因此可以很容易地在智能手机上实现。这为在全球范围内实现智能手机辅助的作物病害诊断提供了一条清晰的道路。

但是，在现阶段有一些限制需要在今后的工作中加以解决。例如，当在与用于训练的图像不同的条件下拍摄的一组图像上进行测试时，模型的准确率大大降低，为31.4%。值得注意的是，这个准确率远远高于基于随机选择38个类的准确率（2.6%），但仍然需要更多样化的训练数据集来提高准确率。我们目前的结果表明，仅有更多（和更多可变的）数据将足以显著提高精度，相应的数据收集工作正在进行中。

参考文献

[1] 刘建伟，刘媛，罗雄麟.深度学习研究进展[J].计算机应用研究，2014（7）：1921-1930，1942.

[2] 刘瑞峰，刘强，张非亚，等.月季响应黑斑病的早期差异表达基因分析[J].园艺学报，2015，42（4）：731-740.

[3] LIU Ruifeng，LIU Qiang，ZHANG Feiya，et al. The Analysis of Differential Expression Genes for Rose Early Responding to Black-spot Disease[J]. Acta Horticulturae Sinica，2015，42（4）：731-740.

[4] 孙红，李松，李民赞，等.农业信息成像感知与深度学习应用研究进展[J].农业机械学报，2020（5）：1-17.

[5] 曹现刚，薛祯也.基于迁移学习的GoogLenet煤矸石图像识别[J].软件导刊，2019，18（12）：183-186.

[6] 郑一力，张露.基于迁移学习的卷积神经网络植物叶片图像识别方法[J].农业机械学报，2018，49（S1）：354-359.

[7] 范丽丽，赵宏伟，赵浩宇，等.基于深度卷积神经网络的目标检测研究综述[J].光学精密工程，2020，28（5）：1152-1164.

[8] 庄福振，罗平，何清，等.迁移學习研究进展[J].软件学报，2015（1）：26-39.

[9] 张帅，淮永建.基于分层卷积深度学习系统的植物叶片识别研究[J].北京林业大学学报，2016，38（9）：108-115.

[10] 祝永志，张彩廷.基于TensorFlow深度学习的Minist手写数字识别技术[J].通信技术，2020，53（1）：46-51.

[11] 袁文翠，孔雪.基于TensorFlow深度学习框架的卷积神经网络研究[J].微型电脑应用，2018（2）：29-32.

[12] 牛旭.基于人工智能的水稻病害检测系统研究[D]. 黑龙江大学，2019.