基于约束性多目标优化算法的柑橘黄龙病识别算法

王 慧, 李康顺, 蔡 铁, 王文祥, 董纯铿

(1.深圳信息职业技术学院,广东深圳 518172; 2.华南农业大学数学与信息学院,广东广州 510642)

柑橘类水果是人们最喜爱、世界上产量较大的水果之一,同时也是农业经济中重要的组成部分。但在20世纪初,在我国华南很多地区首次同时发现了柑橘黄龙病(HLB),之后又在其他省区(四川省、广西壮族自治区、江西省等地方)柑橘生产地相继发现了黄龙病[1]。黄龙病的病菌是一种主要通过木虱传播的类细菌病原体[2-3],是世界上影响柑橘种植的最大的病害之一。该病菌的传染性及致病率极高,柑橘树一旦感染黄龙病病菌,将在短时间内失去长果实的能力,这将造成柑橘的生产量急剧下降[4-5]。对此,柑橘种植户对柑橘黄龙病已经演变成了“谈黄龙色变”的状态,严重影响了柑橘种植户的经济收入。传统的人工识别农作物病害,不但耗费时间精力,而且有效性低,精确迅速地辨识出农作物病害有助于及时救助,对降低黄龙病病害带来的产量和品质影响具有重大意义。

1 研究现状

随着智能识别技术在物体分类和图像处理方面能力的增强,智能识别在农作物病害识别上得到了广泛的应用,如卷积神经网络已成功用于识别监测玉米、小麦、水稻和蓝莓等植物病虫害[6-14]。但是柑橘黄龙病的特征及其传播方式不同于其他农作物病害,因此学者们做了相关深入研究,肖怀春等提出了基于物联网柑橘黄龙病检测防控技术,具有成本小、快速识别等优点,但是其识别率有待提高,提高其识别率的关键是找到有效的病害图像识别算法,即针对柑橘黄龙病的特征提出有效的图像识别方法[15]。陆健强等提出了一种基于Mixup算法和卷积神经网络的柑橘黄龙病果实识别模型——XResNeXt模型,采用Mixup算法建立样本之间的线性关系,迁移Xception网络在ImageNet数据集上的先验知识,通过动量梯度下降优化方法,有效地减缓振荡影响,并且有效地加速模型向局部最优点收敛[16]。范世达等提出,基于深度学习的柑橘黄龙病远程诊断算法,利用深度学习相关算法构建柑橘黄龙病病害识别模型,在柑橘生长过程中实现黄龙病在线实时监测与病害远程诊断。目前已在试验地初步开展柑橘黄龙病远程诊断试验,结果表明,田间远程诊断准确率为77.1%,已初步实现针对柑橘黄龙病的远程病害诊断,提高了实际生产过程中黄龙病的识别效率,降低了黄龙病检测成本[17]。林少丹等提出了一个适用于小样本显微图像数据集的增强特征的无监督训练柑橘黄龙病检测模型。该模型首先采用无监督训练结合迁移学习构成上游网络,再利用Yolact模型设计出增强特征网络与DETR相结合构成下游网络,最终建立 E-HLBUP-DETR诊断模型[18]。林奕桐等构建了基于无人机可见光通道和支持向量机(SVM)模型的柑橘黄龙病个体识别模型,通过柑橘黄龙病黄化识别模型确定具备黄龙病黄化特征的植株,再通过黄龙病斑驳特征识别模型对黄化植株的叶片进行斑驳特征分析确认黄龙病植株;对模型进行1次个体识别试验和2次普适性验证试验[19]。Sankaran等采用基于深度卷积网络的模型识别柑橘黄龙病,研究了周期性的或暂时性的模型对于涉及序列、视觉和其他方面的任务是否有效,开发了一种循环卷积体系结构,适用于端到端可训练的大规模视觉学习,并论证了这些模型在基准视频识别任务、图像描述和检索问题以及视频旁白挑战等方面的价值[20]。Mishra等研究可见光和近红外(VIS-NIR)光谱技术鉴定感染HLB的柑橘树的潜在能力[21],采用光谱范围为350～2 500 nm的2个不同分光辐射仪收集冠层反射光谱数据,使用3种分类技术对数据进行分类:近邻邻居(KNN)、逻辑回归(LR)、支持向量机(SVM),得出的结论是每棵树仅使用1次树冠反射率观察是不够的,由于冠层反射光谱数据的差异很大,因此没有一种分类方法能够成功地将健康树与黄龙感染树区分开。Pourreza等从叶片图像中提取了几种类型的纹理特征,并使用5种不同的特征选择方法对可以描述感染特征的最佳特征集进行了排序,7个分类器的性能以逐步的分类方法进行了评估[22-26]。

但是以上检测算法均存在成本高、检测精确度低等缺陷,主要原因是黄龙病病害图像的特征之间的特性相似及其维数较大,病害图像的特征之间还可能相关,导致特征冗余的产生,这对柑橘黄龙病病害图像识别的效率和精度有严重影响。这一影响将发生在图像切割特征提取阶段,因此本研究采用LCMOPSO[27]选择黄龙病特征及感染黄龙病后柑橘树呈现的特征,同时也会提取黄龙病传播源的特征,基于LCMOPSO的柑橘黄龙病识别算法,从原始病害图像特征中自动筛选出分类能力较强的特征向量,用于黄龙病病害图像识别。

2 基于LCMOPSO的柑橘黄龙病识别算法

由于柑橘黄龙病特征呈现较为复杂,传播源特征复杂,因此将柑橘黄龙病的特征选择传化为约束性多目标优化问题,约束性多目标优化问题常规化形式如下:

Fi(x)=minfi(x)=minfi(x1,x2,…,xn),i=1,2,…,k

s.t.gj(x)=gj(x1,x2,…,xn)<0,j=1,2,…,q

hj(x)=hj(x1,x2,…,xn)=0,j=q+1,…,m

(1)

2.1 LCMOPSO

由于柑橘黄龙病特征选择的约束性多目标优化问题中的约束条件之间具有不同程度的相关性,因此不能使用典型的约束条件处理技术处理这个问题。由于基于勒贝格测度的约束性多目标粒子算法考虑了约束条件之间的影响对优化目标的影响,本研究采用基于勒贝格测度的多目标粒子群优化算法最优化柑橘黄龙病特征选择。这里将要简要概述基于勒贝格测度的约束性多目标粒子群算法。

第1步,初始化种群中粒子,同时采用原始目标函数估算所有粒子对应的目标值;将目标函数值进行非支配排序,并把非支配解拷贝到存档中得到A1。

第2步,采用网格方法目标空间划分成小区域,以此获得当代种群中的全局最优粒子及局部最优粒子,然后更新粒子的运动速度及位置;根据个体的约束违反度判断当前粒子是否可行粒子,保存出现的任意一个可行解到存档中得到At,其中t表示第t代。

第3步,根据上一步得出的粒子群中粒子的可行率,采用公式(1)估算所有粒子对应的矫正后的目标函数值;根据矫正后的目标函数值对个体进行非支配排序,矫正后的目标值公式对于约束条件的处理是灵活而准确的,这将有效处理不可行的个体。

第4步,采用网格法选择当代种群中的全局最优粒子及局部最优粒子;更新粒子的运动速度及位置获得最优解。

第5步,更新存档,如果一个可行子代支配存档At+1中的某一个解,那么这个新的子代解将代替被支配的这个解。更新存档的过程如下:(1)如果存档At为空,将种群中的非支配解直接复制到At+1。(2)如果存档At不是空集,只要种群中的某个粒子非支配存档At中的粒子。

第6步,存档At+1的截断操作,当存档中的粒子数超过了规定大小时,需要删除多余的个体以维持稳定的At+1规模,对于粒子数多于1个的网格,网格中要删除的粒子数为PN=lnt{(At+1-N)/At+1×Grid[kg,2]+0.5},然后在网格kg中,随机删除PN个粒子。

第7步,采用基于推拉搜索的自适应调整机制调整最优解与真实的Pareto前沿(PFtrue),在推入阶段,使用无约束的多目标粒子群优化算法搜索不占优势的解,而不考虑任何约束。在拉动阶段,不可行的解决方案通过约束处理机制被拉到可行和非主导区域,该约束处理机制用来惩罚不可行的解决方案。自适应调整机制的目的是将不受约束的PF的位置移动到受约束的PF。

第8步,输出存档A中的粒子信息。

2.2 基于LCMOPSO的柑橘黄龙病特征选择

图像识别随着其特征数量的增加,识别的复杂程度也增加,其主要原因是不能在大量的候选特征中快速准确地找出能够代表问题性质的最优特征。找出较好的特征优选方法尤其重要,根据特征的集的特点(区分性、可靠性、独立性),特征选择的方法主要有穷举法、随机法与启发式方法。穷举法确保能找出最优,其缺点是有较高的复杂度且鲁棒性低;随机法简单快速,但其缺点是不能保证结果最优;启发式方法寻优速度快,鲁棒性强,但其缺点是不能保证结果最优及未考虑约束性条件。因此,本研究采用LCMOPSO选择具有代表性的特征,具体步骤如下。

2.2.1 构建柑橘黄龙病优化目标函数 图像特征识别过程中主要特征依据为颜色特征及纹理特征,通常需要从众多特征中选出最优特征进行对柑橘黄龙病图像进行识别,因此特征优选过程是多目标优化过程。以选择最大颜色特征值与最大纹理特征值为目标,如公式(2)、公式(3)所示。

对于颜色特征,带黄龙病病斑的叶片也有大量的绿色部分,因此通过归一化颜色分量蓝色分量、蓝色色度分量、颜色信息之间的相关度等因素选择最优颜色特征,公式化改目标函数如下:

(2)

式中:x表示黄龙病的病斑特征;α1表示调整系数,通过随机函数获得;n1为原始特征总数;k1为预计所选特征个数;dy为黄色特征值;dg为绿色值。

对于纹理特征,在病斑周长、病斑面积、病斑圆度、形状因子、相关信息测度因素特征中选择最优纹理特征,其目标函数如下:

(3)

式中:so为特征值最大的纹理特征;sg是纹理特征平均值;n2为原始特征总数;k2为预计所选特征个数;α2为调整系数。

目标函数公式化为

maxfm(x)=[f1(x),f2(x)],m=1,2

k1

k2

。

(4)

2.2.2 基于LCMOPSO柑橘黄龙病特征优化的算法流程 采用LCMOPSO进行选择最优特征,具体计算过程如下:

(1)初始化种群:

FORi=0 TOn;#n=粒子数

初始化POP[i];#将颜色特征与纹理特征作为粒子。

(2)初始化每个粒子的速度:

FORi=0 TOn;

Xj(k)=0;#第k代粒子i的速度。

(3)初始化每个粒子的内存(此内存在搜索空间粒子飞行过程中起指导性作用。该内存也存储在存储库REP中):

FORi=0 TOn;

PBESRS[i]=POP[i]。

(4)采用距离测度约束条件处理方法[26]矫正目标空间,即是估计种群POP中的每个粒子的目标函数值。

(5)目标函数值进行非支配排序,同时采用archive控制器决定是否将某个非支配粒子的位置存储到REP。采用支配排序法[26]判断粒子是否存储到REP中。

(6)将矫正后目标空间网格化,生成探索当前搜索空间的网格空间,并以这些网格作为坐标系统定位粒子,在这个坐标系统中,根据其目标函数的值定义每个粒子的坐标系。通过网格化空间选择全局最优粒子最优特征组合。

2.3 柑橘黄龙病的识别

鉴于基于勒贝格测度的约束性多目标粒子群优化算法获得了柑橘黄龙病最优特征子集,这里采用K近邻分类算法实现识别柑橘黄龙病。将从赣南地区采集的脐橙图片数据集划分为数据训练集(已知分类的样本集)和测试集(未知分类的样本集),将选出的最优特征子集作为已知分类的样本集,将已知分类数据集标记为A,未知分类数据集标记为B。基于K近邻分类算法的柑橘黄龙病分类的计算过程如下:

(1)采用scale归一化对数据集A和B进行归一化处理,scale归一化的公式为:

(5)

式中:x表示特征值,mean(x)表示特征值的均值,sqrt[var(x)]表示特征值的方差的平方。

(2)采用欧氏距离计算测试集B中的每个样本与已知样本之间的距离。

(3)选择K值,设置K=5。

(4)按距离从小到大进行排序,选取与当前点距离最小的K个点,并记录对应的类。

(5)统计前K个点所在的类别出现的频率。

(6)输出前K个点出现频率最高的类别作为当前点的预测分类,即是输出柑橘黄龙病类别。

2.4 柑橘黄龙病识别系统设计

为方便用户使用识别柑橘黄龙病,基于 CMOA-CHDIA开发PC端的web网页柑橘黄龙病病害识别系统(图1)。前端界面提供图库、上传图片、保存、保存并增加另1个和保存并继续编辑等5个按钮,可提供调用相册上传识别图片、快速识别作物病害、保存识别记录3种功能。

3 试验仿真结果分析

试验地点为赣州市安远县脐橙园,试验时间为2020年1月至2021年12月。在通过基于LCMOPSO特征优选算法获得的最优特征组基础上,采用基于近邻分类算法进行预测柑橘叶片的健康状态,从而达到识别柑橘黄龙病的目的。本研究采用Python 3.7软件进行仿真,测试了8 000张柑橘叶片样本,柑橘叶片样本来源于赣州市安远县脐橙园,将样本数据库中的不健康图片标记为Positve,健康叶片标记为Negative,预测结果的信任度用Confidence标记。采用特征指标分析基于约束性多目标粒子群算法的柑橘黄龙病识别算法的性能,并与基于粒子群算法的多目标特征选择算法(PSO-based multi-objective feature selection approach,简称PSO-MOFSA)、基于遗传算法的特征选择算法(feature selection method based on evolutionary algorithm,简称FSMEA)、基于差分进化算法(feature selection method based on difference evolutionary algorithm,简称FSMDEA)进行比较。试验结果显示,本研究提出的算法识别准确度为99.9%,这说明本研究提出的算法识别柑橘黄龙病具有良好的有效性。

3.1 数据集的获取

试验中需要的所有柑橘黄龙病病害图片数据来源于江西省赣州市安远县脐橙园,通过无人机采集了100张原始图像,大小为8 200×5 600,将原始图像分割成大小为224×224的小图片,最后选取 8 000 个样本作为本试验的数据集,其中6 500个样本含有柑橘黄龙病,1 500个样本未含有柑橘黄龙病。

3.2 图像数据预处理

本研究从通过预处理的柑橘黄龙病图像中提取出颜色特征及纹理特征。采用灰度统计直方图特征进行颜色特征提取,从每个图像的灰度矩阵的归一化直方图[p(k)]中提取颜色统计特征。采用局部二进制模式和局部相似性模式进行图像纹理特征提取,局部二进制模式是一种创新的图像纹理描述符。在此方法中,将3×3邻域中的每个矩阵元素与中心元素进行比较,如果大于中心元素的值,则将其替换为1;如果小于中心元素,则将其替换为0。然后,将阈值假定为8位二进制数,并且其对应的十进制数将替换中央元素。类似地,在局部相似性模式中,将邻域元素与中心元素进行比较。但是,每个相邻元素和中心元素之间的关系用2位代码描述。在此方法中,如果邻域元素分别位于定义的相似性范围内、之下或之内,则分别用00、01或10代替。然后,将每个元素代码乘以其各自的权重。局部二进制模式和局部相似性模式采用相同的方法来防止由代码旋转引起的变化。通过旋转代码以获得最小可能的十进制值来获得旋转不变性。采用公式(6)～公式(22)进行纹理特征提取。

灰度等级均值(μ):

(6)

其中,k表示灰度等级;p(k)表示第k灰度级出现的概率。

标准差(σ):

(7)

光滑度(SM):

SM=1-1/(1+σ2)。

(8)

均匀度(UN):

(9)

熵(EN):

(10)

最大灰度等级概率(pn):

pn=[k|p(k)=max]。

(11)

值域长度(VL):

VL={max[k|p(k)≠0]-min[k|p(k)≠0)]。

(12)

均值(μ′):

(13)

其中,i、j表示灰度等级;g(i,j)表示灰度等级i、j同时出现的概率。

方差(σ′2):

(14)

不同灰度等级之间的熵(END):

(15)

不同灰度等级之间的均匀度(UND):

(16)

不同灰度等级之间的同质度(HO):

(17)

惯性(IN):

(18)

簇阴影(CL):

(19)

簇突出(CLP):

(20)

不同灰度等级之间的最大灰度等级概率(pnd):

pnd=max[g(i,j)]。

(21)

不同灰度等级之间的相关度(RE):

(22)

图像数据经过以上数据模型处理后,输出Excel表,用于特征选择和识别。

3.3 衡量性能指标

采用以下衡量指标衡量本研究提出的基于约束性多目标优化算法的柑橘黄龙病识别算法的性能。

3.3.1 准确度(Accuracy) 准确度是正确预测(错误和正常)总数与实际数据集大小的比例,准确度越高,说明算法识别质量越高。

(23)

式中:TP表示正确检测到的目标数量;FP表示错误目标被检测成正类的目标数量;TN表示错误类被检测成错误类的目标数量;FN表示正确目标被检测成正类的目标数量。

3.3.2 召回率(Recall) 召回率是正确预测的目标图像数与目标检测数量实际大小的比例,召回率越高,说明准确率越高。

(24)

3.3.3 精确率(Precision) 精确率是正确预测的目标图像相对于预测的目标图像大小的比例,精确率越大,说明预测的正确率越高。

(25)

3.3.4 F1-score F1-score是评价精确率和召回率的值,F1-score值越大,说明算法的综合性能越好。

(26)

3.3.5 误报率(FalseAlarmRate) 误报率是错误预测的正常目标与正常目标实际大小的比例。

(27)

3.4 性能分析

这一部分将根据识别结果分析本研究提出的识别柑橘黄龙病算法的性能。由于篇幅关系,这里只列出部分识别结果。柑橘黄龙病的部分识别结果如图2所示,将样本数据库中的不健康图片标记为Positve,健康叶片标记为Negative,预测结果的信任度用Confidence标记,rigin表示原始图像样本标记类型,Predict表示图像数据样本预测结果,图2-a表示不健康柑橘叶片的预测结果,图2-b表示健康叶片的预测结果。

可以得到TP=6 432,FP=68,TN=1 452,FN=48,则可以计算算法CMOA-CHDIA、FSMEA、PSO-MOFSA和FSMDEA的准确度、召回率、精确率、F1-score和误报率,计算结果见表1。从表1可知,本研究提出的算法CMOA-CHDIA的识别准确度为98.55%,相比于算法FSMEA、PSO-MOFSA和FSMDEA,CMOA-CHDIA的识别准确度是最高的,说明算法CMOA-CHDIA的识别正确率最高。本研究提出的算法CMOA-CHDIA的召回率为99.26%,远远高于算法FSMEA、PSO-MOFSA和FSMDEA的召回率,说明识别出每一个对象的能力最强。CMOA-CHDIA算法的精确率为98.95%,相对于算法FSMEA、PSO-MOFSA和FSMDEA,CMOA-CHDIA的精确率是最高的,说明它对正样本结果中的预测准确程度是最高的。CMOA-CHDIA算法的F1-score为99.10%,相对于算法FSMEA、PSO-MOFSA和FSMDEA,CMOA-CHDIA的F1-score最大,说明算法CMOA-CHDIA的识别模型是最好的。CMOA-CHDIA算法的误报率为4.47%,相对于算法FSMEA、PSO-MOFSA和FSMDEA,CMOA-CHDIA的误报率最小,说明CMOA-CHDIA算法的识别错误率最小。

除了分析算法CMOA-CHDIA的准确率、召回率、精确率、F1-score和误报率之外,还需要分析算法CMOA-CHDIA的运行时间。算法CMOA-CHDIA、FSMEA、PSO-MOFSA和FSMDEA的运行时间开销比较结果(表1)表明,算法FSMEA的运行时间开销为12.10 s,是最少的,算法CMOA-CHDIA的运行时间开销为13.31 s, 排列第2位,但算法CMOA-CHDIA的准确率、召回率、精确率、F1-score 和误报率远远高于算法FSMEA、PSO-MOFSA和FSMDEA,说明算法CMOA-CHDIA牺牲了运行时间获得了更高的识别效果和有用性。针对柑橘黄龙病识别难的问题,识别效果和识别有用性比识别时间更重要,因此用算法CMOA-CHDIA识别柑橘黄龙病的性价比是最高的。

表1 算法CMOA-CHDIA、FSMEA、PSO-MOFSA、FSMDEA的比较结果

4 结论

相对于现阶段病虫害识别技术未考虑严重影响特征选择的约束条件之间的影响,本研究将基于LCMOPSO的特征优选方法应用于柑橘黄龙病病害识别中,提出了基于LCMOPSO特征优选的柑橘黄龙病识别算法,得出以下结论:(1)分析柑橘黄龙病特征及传染源特征得知,柑橘黄龙病特征之间交互较多,受环境影响变化较大,因此转化最优化特征问题为一个约束性多目标优化问题。(2)采用LCMOPSO求解最优化柑橘黄龙病特征的约束性多目标优化问题,提出基于LCMOPSO的特征优选方法,获取最优化特征子集。(3)将最优特征集输入 近邻分类算法,完成柑橘黄龙病分类,这使得柑橘黄龙病识别准确率更高。通过试验证明,本研究提出的识别算法的识别准确率达到98.55%,说明本研究提出的算法能够有效识别柑橘黄龙病病害叶片。