基于图像分块及重构的菠菜重叠叶片与杂草识别

苗荣慧，杨 华，武锦龙，刘昊宇

基于图像分块及重构的菠菜重叠叶片与杂草识别

苗荣慧1，杨 华1，武锦龙1，刘昊宇2

（1. 山西农业大学信息科学与工程学院，太谷 030801；2. 山西农业大学农学院，太谷 030801）

针对重叠叶片在识别过程中存在识别率低、形状特征失效等问题，该研究提出一种基于图像分块及重构的方法，实现菠菜重叠叶片杂草识别。采用超绿模型将菠菜RGB图像进行灰度化得到绿色植被前景图像。针对重叠叶片形状特征失效问题，采用图像分块方式得到不同大小的图像块，并提取图像块中作物和杂草的颜色特征、局部二值模式（local binary pattern，LBP）纹理特征、分形盒维数共78维特征，构造支持向量机（support vector machine，SVM）分类器完成图像块的分类识别。该研究提出图像块边缘扩充和投票窗口机制得到重构图实现图像块分类结果可视化。试验结果表明，该研究提出的方法平均识别率达到83.78%，高于K最近邻法（K-Nearest neighbor，KNN）、决策树法等，可以实现重叠叶片的杂草识别，从而为智能除草机的研制提供理论依据。

图像分块；图像重构；重叠叶片杂草识别；颜色特征；LBP纹理特征；分形盒维数

0 引 言

杂草是影响作物生长的重要因素之一，会与作物争肥争水，增加病虫害的传播，影响作物产量，因此探索有效的杂草去除策略对于保证作物高产具有重要意义[1]。当前，常用的除草方式仍然以除草剂等化学试剂为主，大范围使用除草剂不仅会对人体造成致癌、致畸等伤害，而且会破坏土地生态系统，因此，如何避免大范围、无目的的喷洒农业显得尤为重要[2]。随着自动化技术、计算机技术的不断发展，田间的大规模机械化操作已逐步取代传统的人工操作，使得有选择性的农药喷洒变成可能[3]。实现智能化杂草识别能够有效指导农药喷洒、减少农药浪费，并且可以提高作物产量、减少环境污染[4]。

目前，大多数作物与杂草的识别研究都是利用两者的叶片信息进行识别，通过提取叶片的颜色特征、形状特征和纹理特征等达到识别的目的[5]。乔永亮等[6]通过对玉米和杂草进行多光谱成像，提取叶片11个形态特征以及纹理特征，进行主成分分析并利用构造支持向量机（support vector machine，SVM）进行分类识别，其准确率可以达到85%。邓向武等[7]通过提取颜色、形状、纹理等101维特征，采用双隐含层和单隐含层的深度置信网络进行识别，在节点组合优化最优时，识别率可达到91.13%。Grinblat等[8]采用击中击不中变换提取叶脉结构，利用卷积神经网络进行识别，取得了良好的试验结果。以上文献中大多数研究以单个叶片为识别目标，识别难度较低，但在实际杂草识别中，针对叶片重叠遮挡问题的研究相对较少，现有算法对重叠遮挡叶片的识别率不高；同时，针对重叠叶片图像识别，形状特征已失去有效性，需从其它特征入手。

1 材料与方法

为解决上述问题，本研究以菠菜重叠叶片杂草图像为研究对象，拍摄图像包括土壤和绿色植被两部分，首先采用超绿模型实现图像灰度化，然后采用自适应阈值分割方法、形态学方法完成前景绿色植被部分提取；为了充分利用局部图像信息，采用图像分块方式将图像分割成不同大小的图像块；分别提取图像块中作物和杂草的颜色特征、局部二值模式（local binary pattern，LBP）纹理特征、分形盒维数等特征，构造分类特征向量；采用边缘扩充和投票窗口机制方式重构图像块，实现图像的可视化。本研究通过试验研究模型参数优化选择，为后续智能除草机的研制提供理论依据。

1.1 图像获取

本研究试验图像来源于山西农业大学农业试验田，拍摄时间为2018年10月至11月，采集生长周期为21～36 d的菠菜图像。试验田的菠菜属春季菠菜，常见的伴生杂草有藜科的灰菜、菊科的刺儿菜等。为了充分考虑自然场景的复杂性，分别选择晴天、阴天等进行图像采集。为了使得获取图像具有代表性，采集具有部分重叠区域的菠菜与杂草图像，采集方式为俯拍，拍摄距离为20～40 cm。采集设备为Canon EOS 80D数码相机，图像分辨率为4 608×3 456像素。共采集具有菠菜和灰菜重叠区域的图像55幅，用于后续杂草识别模型的构建。试验样本图像如图1所示。

a. 样本图像1b. 样本图像2 a. Sample image 1b. Sample image 2

1.2 图像分割及分块

1.2.1 超绿模型

图像分割的主要目的在于提取图像中感兴趣的前景部分，去除对图像识别无用的背景部分。在利用可见光识别杂草图像的技术中，由于土壤为褐色，作物和杂草为绿色，两者颜色差异较大，需要首先将绿色植被部分从土壤背景中提取出来。本研究选取两种超绿模型[9-10]实现彩色图像的分割，超绿模型提取绿色植物图像效果较好，阴影、根茎和土壤图像等均能较明显的被抑制，绿色植被区域更为突出，该方法是区分背景和绿色植被的有效方法。2种超绿模型如式（1）和式（2）

a. 原图

a. Original image

b. 分割结果b. segmentation resultc. 分割结果c. segmentation result

1.2.2 图像分块

由于绿色植被部分包括作物与杂草，为了充分发挥作物与杂草局部特征优势，显著提升杂草识别准确率，本研究采用分块方式将图像分成不同子块，分别对每个子块进行特征提取，从而达到重叠叶片杂草识别的目的。为了保证分块的完整性，需将原始图像归一化为256×256像素大小的图像。同时，为了增强图像块的鲁棒性，需将图像分割成大小相同且具有重叠区域的图像块。分块的大小将直接影响试验结果，分块越细，越能描述子块的细节信息，但特征提取的维数会呈指数增长，从而增加算法的时间复杂度，同时，过细的分块会使得图像过于稀疏而丢失统计特性，引发过拟合现象，降低识别率[11]。针对上述问题，本研究探究了杂草识别问题下的图像最优分块方法，以平衡识别时间与识别准确率之间的矛盾。图像分块过程如图3所示，假设将图像分割成大小为128×128像素的图像子块，每个相邻子块之间的重叠率为50%，则原始图像可被分为3×3共9个子块。

图3 图像分块过程

采用人工标注的方式为每个图像子块制作标签，标签分为3类：黑色背景标记为0，菠菜叶片标记为1，杂草叶片标记为2。杂草识别的研究旨在指导农药喷洒，在人工制作标签时需考虑实际应用场景，由于除草剂等化学农药具有严重的副作用，在标注时需要对识别误判进行规范化，即允许将杂草误判成农作物，但坚决不允许将农作物误判为杂草。具体标注过程依据表1原则[12]。

表1 人工标注原则

1.3 特征提取

由于研究对象为重叠叶片图像，在识别过程中形状特征无法实现有效提取，为提高识别的准确性和有效性，本研究提取图像块的颜色特征、纹理特征、分形维数向量等构造菠菜和杂草的特征向量。

1.3.1 颜色特征

颜色特征是基于图像像素级的特征，具有旋转、尺度和平移不变性等优点[13]。尽管通过超绿模型能够较好地实现前景和背景的分割，但菠菜与杂草都为绿色不易区分。HSV（色调，饱和度，亮度）颜色空间模型更适合人眼视觉的颜色表达[14]，本研究采用HSV颜色空间提取绿色植被的颜色特征。RGB颜色空间转换为HSV颜色空间如式（3）

1.3.2 局部二元模式（LBP）特征

局部二元模式[16]（local binary pattern，LBP）是图像识别应用较为广泛的纹理特征描述方法，具有原理简单、计算量小、灰度不变性和旋转不变性等优点。该方法的基本思想是利用中心像素与相邻像素之间灰度值之间的差异，生成与之相关的模式代码，即LBP编码。为满足不同尺寸和频率纹理的需求，Ojala等[17]对基本的LBP算子进行了改进，用圆形邻域代替正方形邻域，得到圆形LBP算子，如式（4）

1.3.3 分形维数向量

1.4 基于构造支持向量机（SVM）的重叠叶片杂草识别模型

支持向量机建立在统计学习理论和结构风险最小原理基础上，具有较强的高维样本处理能力[21]。由于研究中用于特征提取的图像为去除自然背景的图像，背景与绿色植被区域区别明显，在实际识别过程中识别率基本可达100%，在特征提取时可将完全为黑色背景的图像块去除，减少运算量，也达到降维的目的。最终，可将本研究识别问题简化为杂草和农作物的二分类问题，构造支持向量机（support vector machine，SVM）二分类器。采用交叉验证（cross-validation，CV）方法进行试验验证，将样本数据集随机划分为个子集，个子集轮流作为测试集进行模型训练，取次试验结果均值，即为最终识别模型的评估结果[22]。

1.5 图像块重构

识别结果能够获得菠菜和杂草的统计特征，但不够直观。为了直观的显示分类结果，本研究提出一种基于边缘扩充和投票窗口机制的图像块重构方法。由于原始图像块的重叠率为50%，可将原始×具有重叠区域的图像块构造为（+1）×（+1）无重叠区域的图像，图4为图像块重构过程。从图中可看出，图像块分类结果可采用基于2×2的窗口投票机制决定。当前重叠区域分类标签由四个图像块决定，图像块的分类标签为（=0, 1, 2），选择累计结果最多的类别为当前图像块的类别，如果标签数量相等，则依据识别误判规范化原则，即允许将杂草误判成农作物，但坚决不允许将农作物误判为杂草实现类别判定。边缘图像块的重构结果可通过图像块扩充方式构造投票窗口，通过投票机制得到无重叠区域的重构标签图，如图5所示。

注：0、1、2含义见表1，下同。

图5 图像块重构示意图

2 试验结果与分析

2.1 图像分块

本研究探究了杂草识别问题下的图像最优分块方法，以平衡识别时间与识别准确率之间的矛盾。为了充分运用图像的局部信息，设置分块重叠率为50%。通过试验验证，当分块大小为64×64像素时，原始图像可分为7×7=49块；当分块大小为32×32像素时，原始图像可分为15×15=225块；当分块大小为16×16像素时，原始图像可分为31×31=961块。不同分块大小如图6所示。综合考虑分块描述信息量、算法的时间复杂度等，本研究选取分块大小为32×32的结果进行后续研究。

a. 分块大小为64×64b. 分块大小为32×32 c. 分块大小为16×16 a. Block size is 64×64b. Block size is 32×32 c. Block size is 16×16

2.2 特征提取

2.2.1 颜色特征

当分块大小为32×32像素时，原始图像可分为15×15=225块。针对每个图像块提取HSV特征，则、、分量分别可以得到1 024维的颜色特征，则每个图像块获得的颜色特征为1 024×3维。为了减少运算量，本研究提取了每个图像块、、分量的均值、方差和三阶矩特征_mean、_mean、_mean、_var、_var、_var、_third、_third、_third，共9个颜色特征。表2为部分图像块颜色特征提取结果。

2.2.2 分形维数特征

表2 颜色特征提取结果

表3 分形维数特征提取结果

2.2.3 局部二元模式（LBP）特征

设置=8，=1，选取8邻域特征，半径为1。本研究共获得59个LBP等价模式类。

本研究采用多种算法提取图像块特征，包括：采用HSV颜色空间方法获得、、分量的9个颜色特征；采用LBP算法提取每个图像块的59个LBP特征；采用分形维数方法提取每个图像块的10个叶脉特征，共获得78维的特征向量，为训练（样本1 891）和测试（样本135）识别模型提供良好的试验数据。

2.3 重叠叶片杂草识别

通过筛选，选取15张菠菜杂草面积占比较大、重叠现象突出的图像进行研究，通过图像分块将每个样本拓展为225个图像块，则特征向量数据维度为3 375×78，去除黑色背景图像块，则用于识别的数据为2 026×78。通过多次试验验证，特征向量（2 026×78）提取过程的平均耗时66.92 s，在算法实时性方面性能较低。为了验证分类器的性能，将一副图像生成的子图像块作为验证集，剩余图像的子图像块作为训练集，采用交叉验证方式评判分类识别模型。通过试验验证，核函数为径向基核函数时，效果最优。图7为部分图像ROC（receiver operating characteristic）曲线和对应的AUC（area under curve）值，图中横坐标为假正类率（false positive rate），代表分类器预测的正类中实际负实例占所有负实例的比例，纵坐标为真正类率（true positive rate），代表分类器预测的正类中实际正实例占所有正实例的比例。通过统计得出，分类器的平均AUC值可达到0.983 3，说明分类器性能较好。表4为不同分类器的识别结果，从表4中可看出，采用的方法平均准确率为83.78%，高于其他分类器，与集成分类算法Adaboost相比，由于Adaboost算法需要足够的训练样本，对于奇异样本的处理效果劣于SVM的惩罚因子，因此采用SVM的识别准确率更高；在运行时间方面Adaboost集成学习算法为9.34 s，均高于其他分类器。

a. 样本图像1 ROC曲线和对应AUC值

2.4 图像块重构

图8为图像块重构结果，原始15×15的图像块被重构为无重叠区域16×16的图像块，图中背景、菠菜和杂草分别采用不同颜色标注。从图中可看出，与原始样本图相比，重构图能够较好地显示分类结果，说明本研究提出的方法可以较好地实现图像块的重构，为图像识别的可视化提供基础。

表4 不同分类器识别结果