双通道卷积神经网络在南瓜病害识别上的应用

王昌龙，张远东，缪 宏，杨煜恒

1.扬州大学 机械工程学院，江苏 扬州225127

2.东南大学 软件学院，江苏 苏州215000

南瓜隶属于葫芦科南瓜属，南瓜籽含有多糖，具有保健的功效。南瓜是喜温短日照植物，耐寒性强，微酸性砂质土壤尤为适宜南瓜的种植。据我国农业部统计，我国南瓜种植面积为100万公顷，果实产量高达4 000万吨，占世界总产量的五分之二[1]。

南瓜病害防治工作的好坏是制约南瓜产量与品质的重要因素，南瓜常见叶片病害包括叶斑病、白粉病、霜霉病等[2]，虽然这些病害都有对应的防治措施，但若发现不及时，错过了最佳防治阶段造成病害大面积蔓延会给南瓜种植户造成不可估量的损失，因而南瓜病害识别工作量大准确率低的问题亟待解决。目前，南瓜病害的鉴别主要以人工为主，人工鉴别效率低下，成本昂贵，甚至由于经验不足会发生病害误判事件，因此本文提出了使用机器视觉对南瓜叶片病害进行诊断的方法。针对南瓜叶片病害的图像识别研究较少的现状，本文以其他农作物叶片病害识别案例作为基础展开了对南瓜叶片病害的研究。王艳玲等[3]将迁移学习应用于AlexNet卷积神经网络对番茄叶片病害图像进行分类研究，与传统方法相比缩短了训练时间并提高了准确率。魏丽冉等[4]提出基于核函数支持向量机的多分类检测方法，解决了病斑检测单一的问题。刘立群等[5]提出一种基于改进和声搜索算法的玉米叶片病害图像分割算法，提升了图像阈值寻优能力并有效分割玉米叶片的病斑。夏永泉等[6]利用EM算法提取小麦叶片，结合Tamura特征筛选目标，小麦病害识别由随机森林算法实现。朱林等[7]在HSV颜色空间中结合ISODATA聚类算法对病斑部分进行分割，然后将葡萄叶片的组合特征向量输入CNN训练器获取葡萄叶片病害的诊断结果。谭峰等[8]使用拉曼光谱仪对正常水稻叶片及病叶进行光谱分析，通过对二者光谱特征曲线的比对确认水稻叶片的生长状况。

虽然其他农作物叶片病害识别已经取得了丰富的成果，但大多数情况下只能应用在特定场景下的特定作物种类，每种作物病害机理不尽相同，因此并不能直接照搬其他作物的识别算法。针对南瓜叶片病害特殊的纹理特征和田间种植模式。本文提出一种基于K-means聚类与LBP特征的南瓜叶片病害识别方法，进行南瓜常见叶片病害的识别，为智能施药机器人精准施药作业提供理论依据与技术支撑。

1 样本图像采集

图像采集地点为扬州大学农学院南瓜试验田，拍摄设备为大恒彩色工业相机，型号为MER-131-U3C，如图1所示。本次实验共采集2 100幅光照良好、叶片清晰的图像作为训练集和测试集图像库。图像中一般存在病斑、叶片及花朵3类物体，如图2所示。

2 南瓜叶片病害识别方法

南瓜叶片病害识别方法如图3所示，首先读入图像并进行预处理操作，图像预处理包括K-means聚类、形态学处理、采样区标定及LBP特征图计算。图像预处理后将生成病斑的灰度图与LBP特征图，由双通道特征提取网络（BC-FEN）对其特征进行提取，然后经过特征融合网络对全局特征与细节特征进行加权融合，最后由Softmax分类器完成南瓜叶片病害识别工作。

图1 南瓜叶片拍摄环境

图2 实验所使用图像示例

图3 算法流程

2.1 K-means聚类

K-means聚类是一种无监督学习方法，适合处理背景复杂的图像[9-10]。对输入图像进行聚类分割，聚类数为3，原图像经过K-means聚类分割后，按照特征将分为叶片、花朵及病斑三种成分，结果如图4所示。

聚类时，选择欧氏距离的平方作为数据样本间的相似性度量，即：

式中，D为特征相似性尺度，xi为待聚类的数据样本，xj为初始聚类中心。D值越小，样本xi与xj越相似，差异越小。算法在每次迭代中，当所有样本都被分类后修改聚类中心，再进入下次迭代，直到不存在能重新分配给不同类别的数据样本，或聚类中心不再发生变化。

图4 南瓜叶斑病聚类结果

2.2 形态学处理

聚类分割出的病斑图像带有噪声，还需要对其进一步处理，除去噪声有利于提高病斑采样区标定的准确度。

形态学处理前，病斑图像需要进行预处理操作，即通过二值化剔除非病斑成分，这是因为在极端环境下叶片与病斑特征相似度高会导致聚类时叶片混入到病斑中，图4（d）中明显看出病斑部分包含了正常叶片，由于叶片的颜色特征显著，这里可以设定阈值将其二值滤除，在本次实验中，阈值设定为0.75，可以获得较好的除杂效果，纯净的病斑二值图像如图5（a）所示；病斑预处理后利用常规的腐蚀操作去除小面积噪声和叶片重叠的粘连情况，形成相互独立的区域，去噪后的结果如图5（b）所示。

图5 病斑形态学处理

2.3 采样区标定

将图5（b）进行负片处理结果如图6（a）所示，以病斑部分为前景，白色为背景，再次采用K-means聚类划定出多个病斑聚类区，每个聚类区为一个独立区域，计算其形心作为采样区的中心，采样区形状为正方形，边长为96个像素单位，形心(xc,yc)计算方法如下：

式中，xi为各部分横坐标，yi为各部分纵坐标，Ai为各部分像素数。

病斑聚类时，按照各自离聚类中心的距离，会出现多个聚类区，本次实验按照横坐标轴正方向取聚类中心靠前的三个区域为当前图像的病斑采样区，如图6（b）所示。

图6 叶斑病采样区

南瓜白粉病与霜霉病对应的聚类分割、形态学运算及病斑采样区标定结果如表1所示，结果表明上述算法流程对于这两种病害的病斑采样区标定同样具有良好的适用性。

2.4 LBP特征图计算

LBP可以应用于图像的纹理特征描述[11-16]。经典LBP算子定义于3×3模板中，模板中心像素值为阈值，相邻位置像素按“大1小0”的原则依次标记，模板中心所处位置LBP纹理信息则由相邻位置标记组成的8位二进制数码表征。由于计算量为差值，整体光照强弱带来的影响可以忽略，计算方法如下：

表1 其他叶部病害标定

式中，p表示3×3窗口中除中心像素点外的第p个像素点，I(c)为模板中心灰度，I(p)为模板中心相邻位置灰度，s(x)公式如下：

考虑到经典LBP算子在纹理特征尺度上的局限性，本次实验使用圆形LBP算子描述南瓜叶片的病斑纹理特征。

圆形LBP算子按照圆形半径R的大小和圆形区域内包含的采样点个数P来定义，通过引入两个变量完成对经典LBP算子的改进，计算方法如下：

圆形边界上的点可能不是正好落在某个像素格子内而是位于交界处，如图7所示，非整数坐标的像素值采用双线性插值法进行拟合运算。

图7 圆形LBP算子

考虑到图像实时处理速度选用等价模式LBP。在南瓜叶片病斑LBP特征进行统计时发现绝大多数LBP编码发生“0”和“1”的跳变次数不超过2次，因此发生跳变次数超过2次的LBP编码归为一类，这样既可以降低计算机工作量也不会丢失病斑纹理特征细节，等价模式LBP计算方法如公式（6）所示：

上一节中划定的方形病斑采样区，本次实验采用32×32的像素邻域网格作为采样窗口，在采样区内使用的圆形LBP算子提取病斑纹理特征，图8所示为采样框对三种南瓜病害提取LBP特征的结果，三种病害的病斑纹理特征显著且耦合性低，这是LBP特征图能够用于提取细节特征并完成南瓜病害诊断的关键。

2.5 卷积神经网络分类

上述步骤完成了南瓜叶片病斑的聚类分割、形态学处理、采样区标定以及LBP特征图计算。为了实现对三种病斑特征向量的学习和分类，本实验拟搭建双通道卷积神经网络，用于病斑特征向量的提取、加权融合及分类。

图8 南瓜叶片病害LBP直方图

2.5.1 双通道特征提取网络

本文借鉴DeepID[17]结构搭建双通道特征提取网络应用于采样区病斑灰度图像和LBP特征图以获取采样区病斑的全局特征和细节特征。BC-FEN网络结构如图9所示，包含一层输入层、三层卷积层、两层下采样层和一层全连接层。

图9 特征提取网络结构

通道1直接对病斑的灰度图进行卷尺操作获取病斑的全局特征，而通道2负责从病斑LBP特征图提取细节特征，双通道特征提取网络的结构参数如表2所示。

表2 特征提取网络结构参数

2.5.2 特征融合网络

本文采用加权融合的方式构造特征融合网络，通过设置加权系数α对全局特征和细节特征进行加权求和得到双通道特征：

其中，fw为融合后得到的特征，f1为病斑全局特征，f2为病斑细节特征，α的取值通过实验验证方式得到，融合特征经由全连接层后使用Softmax进行分类。

2.5.3 Softmax分类

本文使用Softmax分类器对南瓜叶片三种病害进行分类，Softmax是一种用来应对多分类问题的有监督学习方法[18-21]，其基本原理是其中某一神经元的指数与矩阵中所有神经元指数和的比值，选取比值最大的结点作为分类结果。假设其输入为K维向量x，则输出向量y也是K维：

其中分母的作用是正则化，确保输出向量的每个成分在[0，1]范围内。Softmax作为分类器，函数值可用K个神经元表示。即对给定的输入x，输出分类y的概率为：

其中，P(y=K|x)表示输入x为第k类的概率。

对于Softmax函数的求解，利用交叉熵计算网络的损失函数，利用梯度下降算法进行反向传播更新网络的权重和偏置，损失函数如下：

其中，zi为输入样本的真实值，yi为Softmax的输出值。将交叉熵损失函数作为优化目标函数，采用随机梯度下降算法作为优化方法。

3 实验结果分析

3.1 实验环境及数据库

本次实验采集的2 100幅图像，叶斑病、白粉病及霜霉病图像各600幅，余下300幅为正常叶片图像。训练集与测试集的比例为9∶1，即将数据集分为10份，其中9份用于训练，剩下的1份用于验证。

软件平台为Matlab2017b，硬件平台为超微4028GRTR深度学习服务器，配置主要性能参数如表3所示。

表3 服务器硬件配置信息

3.2 网络参数设置及收敛性

双通道卷积神经网络的基本参数如表4所示，包含学习率、动量、Epoch及Dropout。初始学习率设置为0.01，利于网络快速收敛，后续采用随步数衰减方式对学习率进行退火，Epoch数目设置为30，为了防止BC-CNN在训练过程发生过拟合问题，将Dropout设置为0.5。

表4 BC-CNN参数设置

训练过程每个Epoch对应的损失（Loss）及预测准确度（Accuracy）如图10所示，当迭代20个Epochs之后基本保持稳定。

图10 损失与准确度变化曲线

特征融合网络中权重α很大程度上影响算法精度，对于本文所使用的南瓜叶片病害数据集进行10-折交叉验证，α的步长取0.1，按照公式（7）的定义，当α为0时表示仅用LBP特征图进行病害识别，当α为1时表示仅用病斑灰度图进行病害识别。验证结果如图11所示，仅使用LBP特征图的准确率高于仅使用病斑灰度图的情况；对于特征融合网络，当α取值为0.4时，算法分类准确率最高，表明LBP特征图对于识别南瓜叶片病害的贡献大于病斑灰度图，根据10-折交叉验证结果，实验中令α=0.4。

图11 融合权重对算法精度的影响

3.3 算法有效性验证

为了验证双通道算法性能优于单通道的病害识别算法，分别测试了基于灰度图和LBP特征图的单通道病害识别方法并与双通道的南瓜叶片病害识别结果进行对比。本文采用三个指标来描述三种方法对南瓜叶片病害的识别效果，分别为准确率、真正率及真负率，定义如公式（11）所示：

式中，ACC为准确率，TPR为真正率，TNR为真负率，TP为被模型预测为正的正样本数，TN为被模型预测为负的负样本数，FP为被模型预测为正的负样本数，FN为被模型预测为负的正样本数。

测试结果如图12所示，双通道方法在准确率、真正率及真负率上均有出色表现。这得益于双通道方法能够在两个通道提取特征，兼顾到病斑的全局特征和细节特征，克服了单一通道对特征提取不完全的弱点。从南瓜田病害监测和农药喷洒作业层面来说，真正率是三个评价指标的代表。真正率越高，说明从正样本发现病害的概率越高，从而能够及时对病害进行防治，最大限度地减少病害防治不及时造成的损失，真负率在南瓜病害防治工作中也具有一定的影响，当真负率特别低也就意味着无病害区域发生病害误报的事件将会大幅提升，从而增加南瓜田病害防治工作的负担，也会带来农药成本上的提高，但从测试结果来说，无论是单通道还是双通道卷积神经网络对病害识别的真负率都比较理想，处于可接受范围。

4 结语

本文搭建了一个双通道卷积神经网络实现对南瓜叶片病害的识别，该网络自动提取叶片的双通道特征并加权融合，由于兼顾了病斑的全局特征与细节特征，因此南瓜病害识别效果显著。实验结果表明，本文提出的基于BC-CNN的南瓜叶片病害识别算法性能优于CNN的南瓜叶片病害识别算法，可以应用于南瓜田病害监测与机器人施药作业方面。目前，南瓜叶片病害不止文中提及的三种，如何通过特征提取和网络结构调整从而识别更多的病害种类以及提高病害识别的准确率和效率是课题后续研究方向。

图12 单双通道病害识别结果对比