基于图像自适应分类算法的花生出苗质量评价方法

杨　洋　苗　伟　张　铁　杨学军　刘　路　陈黎卿

(1.安徽农业大学工学院， 合肥 230036； 2.安徽省智能农机装备工程实验室， 合肥 230036；3.中国农业机械化科学研究院， 北京 100083)

0　引言

由于播种过程受环境或者播种机具性能影响，花生的出苗率在89%左右[1]，普遍存在查苗补苗不及时、长势较弱等问题，影响花生产量。随着精准农业的迅速发展，植株的出苗质量评价作为农作物产量预测[2]、精细植保[3]以及自动化补苗的重要依据，亟需开展研究。

从文献[4-8]可以看出，目前关于农作物出苗质量的评价主要依靠人工计数或目测的方法获取作物信息，其工作效率低、主观性大，而且有一些作物特征难以定量描述[9]，如农作物包络面积或者农作物出苗的均匀性等。随着适度规模农业的发展，提出一种适用于大田环境的农作物出苗质量评价方法，以提高农作物田间管理技术，推进农业信息化、精细化发展。

目前，机器视觉技术已广泛应用在农业植保领域中，在农业机器人田间行走方面，大量学者[10-11]开展了基于机器视觉的导航基准线生成方法研究，实现大田环境农业机械自动行走。在田间植保方面，邱白晶等[3]和赵栋杰等[12]提出了基于机器视觉识别作物中心线，实现了喷药喷头的自动对靶喷雾技术；权龙哲等[13]研究基于图像识别玉米品种，肖志云等[14]针对植物病害彩色纹理特点，开展植物病害分类识别，为植物的田间管理提供有效途径；宋鹏等[15]设计了基于计算机视觉的玉米单倍体自动分选系统，文献[16-18]还开展了田间杂草的识别技术，以便后期精确喷施农药和除草剂。还有学者[19-20]基于机器视觉技术，开展了农作物种子质量精选、分级研究，提高了农作物出苗质量。

综上所述，目前机器视觉技术已广泛应用于田间管理领域中，但是关注农作物出苗质量评价的研究较少。本文以花生苗为研究对象，设计花生苗出苗质量检测自走机器人，采用机器视觉技术提取花生出苗数量、花生苗几何特征和花生苗中心点坐标位置，准确快速评价大田环境下花生缺苗情况和花生生长状况。

1　出苗质量评价流程

1.1　花生出苗质量评价指标

对于花生出苗质量，主要从花生缺苗率和花生苗活力指数两方面进行评价。其中花生缺苗率用于表征花生出苗数量相对于理想状况(农艺规定)缺少的棵数，缺苗率直接影响到花生的种植密度，进而影响产量[5]。花生苗活力指数主要从花生叶片包络面积进行评价，叶片面积指数一方面可反映作物生长状况，另一方面可反映叶片对光能的利用情况，单棵花生叶片包络面积与花生产量呈正相关[2]。

通过花生出苗质量的评价，可以得到大田环境下花生缺苗以及长势较差花生的几何坐标位置，为后期补苗和田间植保提供信息。

1.2　评价分析流程

机器人采集图像并记录图像的位置坐标，然后采用基于自适应分类算法提取花生苗在所采集图像中的坐标位置、花生苗叶片包络面积以及花生苗数量。通过图像位置和花生苗在所采集图像中的坐标可以得到花生苗在田间的缺苗位置、花生苗长势较差位置，流程如图1所示。

图1　基于田间行走机器人的花生苗质量评价流程图Fig.1　Flow chart of quality evaluation of peanut sprout based on field walking robots

1.3　花生出苗检测系统

图像采集设备采用CMOS机器视觉摄像头，图像分辨率为1 024像素×768像素，单个像素对应地面尺寸为1.5 mm，相机镜头与地面保持平行，摄像头安装在远程遥控田间行走机器人前方，如图2所示。机器人行走路径通过GPS规划，基于纯路径跟踪算法，机器人按照已规划路径行走。机器人行走速度设定为1 m/s，图像采集频率为1 f/s，图像采集区域1 530 mm×1 150 mm，所拍摄的图像利用移动平台所装载的差分GPS标记图像的坐标信息。基于图像坐标序列，对图像进行物理拼接，形成整个大田作物图像信息。基于Alvarion网桥搭建数据链路，可同时传输指令和视频/图像信号，其中，图像传递和指令返回时间小于20 ms，图像处理平均时间180 ms，该采集系统能够实现动采集动处理功能。图像处理硬件采用Inter Core i7处理器，主频2.6 GHz，内存容量16 GB，显卡型号Nvidia Quadro M1000M，显存容量4 GB。

图2　花生出苗质量评价检测系统Fig.2　Peanut seedling quality evaluation and detection system

2　基于自适应分类算法的花生苗图像信息提取

2.1　花生苗图像颜色提取因子

图3　花生苗与土壤RGB统计结果Fig.3　RGB statistics result of peanut and soil

在农田环境中，植物部分主要呈绿色，土壤背景主要呈褐色，因此可以基于超绿特征算法提取花生绿色特征。随机选取50幅花生苗图像，提取图像中花生苗和土壤颜色样本点(每幅图像分别提取20个花生苗和土壤测试点)，进行R、G、B颜色特征分析。图3为花生苗和土壤颜色特征因子的统计结果，可以看出花生苗的G分量值显著大于土壤，因此可以基于G分量提取花生图像信息。

如果直接采用G颜色特征设置花生苗图像阈值，得到的结果如图4所示，可以看出直接采用G颜色分量无法有效将花生苗从土壤中完整提取出来，容易出现提取不完整或者过提取，且噪声较大。

图4　基于G颜色特征提取花生苗的试验结果Fig.4　Test results of peanut seedling extract based on G color characteristics

针对上述问题，基于R、G、B颜色彼此关系特征，建立花生苗颜色提取算子

(1)

式中Δgr——花生苗颜色算子G-R提取阈值

Δgb——花生苗颜色算子G-B提取阈值

按照式(1)定义的花生苗提取算子，对图像R、G、B值进行处理，得出颜色算子G-R和G-B的分布，如图5所示。根据颜色算子分布密度和分布区域，可以明显地将图像分为2类，有效地将土壤和花生苗进行分类。

图5　基于G-R和G-B的图像分类Fig.5　Image classification based on G-R and G-B

采用式(1)定义的颜色算子具有较好鲁棒性，通过设定花生苗颜色提取阈值Δgr和Δgb，开展花生苗图像信息提取有效性鲁棒试验，试验结果如图6所示，可以看出颜色提取阈值在10<Δgr<60和0<Δgb<30范围内都可以有效提取花生苗图像信息。

图6　花生苗图像提取鲁棒性试验结果Fig.6　Robustness test results of peanut images extraction

2.2　花生苗图像颜色提取阈值确定

由于气候环境、土壤水分等影响，不同时间段以及不同位置花生苗及土壤的图像信息都会呈现出不同的颜色特征，如果采用固定不变的花生苗提取阈值，无法准确地将花生苗图像信息从土壤背景中提取出来。为此，提出了基于K-均值聚类的图像自适应颜色阈值确定算法。K-均值聚类是基于空间距离的聚类算法，采用距离作为相似性评价指标，认为簇是由距离靠近的对象组成，因此将紧凑且独立的簇作为最终计算目标[21]。该算法首先按照图7的方式进行图像RGB采样，按照式(1)将采样点R、G、B值转换为G-R值和G-B值，作为分类样本点数据集。

图7　提取图像的样本点信息Fig.7　Samples of image

基于K-均值聚类算法对图像样本点数据集进行分类，分类结果如图8所示，可以看出通过聚类将G-R值和G-B值分为2类，其中聚类1中为土壤，聚类2中为花生苗。计算聚类2中的花生苗提取算子G-R和G-B的均值及其偏差，确定花生苗颜色提取阈值Δgr和Δgb

(2)

式中AG-R、AG-B——提取算子G-R和G-B的均值

SG-R、SG-B——提取算子G-R和G-B的偏差

图8　花生苗提取算子G-R和G-B值分类Fig.8　Classification of G-R and G-B

采用上述方法对花生苗进行提取，取原始图像左下角两棵花生苗进行放大，如图9所示，可以看出本方法较好地提取了花生苗图像信息，有效剔除了枯叶、杂物以及花生苗产生的阴影，花生苗图像信息未发生明显丢失。

图9　花生图像提取细节对比Fig.9　Detail comparison between peanut and extracts

2.3　图像分割

花生苗的分割属于完全分割，其结果是一组唯一对应于输入图像中物体的相互不相交的区域，图像R的完全分割是区域R1，R2,…,Rs的有限集合

(3)

图像数据的不确定性是图像分割的主要问题，通常伴随着噪声。本文采用图像全局分割和区域分割相结合的方法，准确分割花生苗图像信息，分割过程如图10所示。

图10　花生苗图像信息分割结构图Fig.10　Segmentation process of peanut image

图11　全局分割结果Fig.11　Result of global segmentation

通过图像自适应分类算法自动选取阈值进行图像分割，得到的结果如图11所示。图11白色区域表示花生苗，从图中可以看出，田地中存在少量的杂草，其颜色与花生苗叶片颜色相近，无法通过颜色特征剔除。因此，需要进一步对分割后的图像进行处理，进而确定花生苗数量。

采用腐蚀膨胀处理和形态学约束进一步剔除杂草噪声，首先，选择圆形结构元素因子对图像进行先腐蚀后膨胀处理，将外伸严重的花生叶片连为整体，避免机器识别过程出现花生苗分裂成若干棵花生苗的情况，导致误判现象，如图11椭圆标出部分。然后统计花生苗最小外接矩形几何特性(样本量1 000棵)，得到花生苗包络面积均值10 027 mm2，最小外接矩形长度和宽度均值分别为122 mm和126 mm。

基于花生苗几何特性对全局分割进行约束和检测，具体约束公式为

(4)

式中L、B——花生苗外接矩形的长度和宽度

S——花生苗包络面积

LAVE、BAVE、SAVE——外接矩形长、宽、面积的统计均值

LSTD、BSTD、SSTD——外接矩形长、宽、面积的偏差

采用上述公式对噪声进行处理，最终得到花生苗图像分割结果如图12所示。从图中可以看出，单棵花生较好地形成了一个整体，有效地解决了花生苗计数误判现象。

2.4　区域图像分割

当图像包络面积大于一定值后，有可能是两棵以上花生苗长到一起导致的，进而导致误判现象，如图13所示，因此需要对局部图像进行再次分割。

采用花生苗包络面积统计值的上线作为阈值，判断二次分割区域，采用分水岭分割法对局部图像进行二次分割，画出图形的等高线如图14a所示，确定分割界限，结果如图14b所示，最终两棵连在一起的花生苗得到正确分割。

图12　剔除杂草噪声后分割结果Fig.12　Weed noise removal

图13　误判现象Fig.13　Misjudgment of peanut

3　花生出苗评价指标计算

3.1　花生苗坐标位置确定

花生苗坐标位置的确定是开展花生苗田间缺苗率计算的前提，本文采用花生苗叶片包络面积中心点近似估计花生苗坐标位置。设第p列、第q行花生苗叶片包络面积中心点坐标值(Xpq,Ypq)，其中X坐标为水平方向，Y坐标为竖直方向，花生苗包络区域中心位置的计算方法为

(5)

式中f(x,y)——图像像素值

M——图像X方向像素数

N——图像Y方向像素数

(x,y)——像素点的横、纵坐标

基于式(5)对图15进行计算，得到花生苗叶片包络面积中心点分布如图16所示。

图15　花生苗缺苗示意图Fig.15　Illustration of peanut seedling deficiency

图16　花生苗中心点分布Fig.16　Peanut center point distribution

采用花生苗坐标位置计算花生苗株距，与人工测量花生根茎株距平均误差小于5.35 mm(偏差1.16 mm)。

3.2　花生苗田间缺苗率计算

花生苗田间缺苗率计算公式为

(6)

式中P0——基于农艺设计的单位面积花生苗数量，该参数在花生种植时由农艺师设定

ΔP——田间花生苗缺苗数量

对于第p列苗带，可以根据苗带中心坐标Ypq计算花生苗在苗带方向的间距Lpq，进而判断株距是否满足农艺要求。

Lpq=|Ypq-Yp,q-1|

(7)

对于式(7)可以分为3种情况：

(1)如果Lpq∈[L-LSTD,L+LSTD]，说明两棵花生苗在农艺要求距离范围内，归类于正常出苗，其中L为农艺要求值，LSTD为误差范围。

(2)如果Lpq∈(0，L-LSTD)，说明两棵花生苗距离太近，不符合农艺要求，虽然花生正常出苗，但是多出的苗对花生的产量并无显著影响，因此可以归类于异常出苗，不符合农艺要求。

(3)如果Lpq>L+LSTD，说明两棵花生苗距离过远，不符合农艺要求，可以判断缺苗，进一步判断具体缺苗数量。

(8)

式中round——取整函数

图15为田间拍摄花生苗图像，可以直观看出图中黄色阴影部分为缺苗部分，通过手工计算得到花生缺苗率为6.67%。图16中的∅符号所在位置表示缺苗位置，计算得到花生缺苗率为6.67%，可以看出，通过机器视觉得到的花生缺苗率与实际情况一致。

3.3　花生苗活力指数

相关文献指出[4-5]，花生苗叶片包络面积与花生产量成正比关系，因此本文以花生苗叶片包络面积表示花生苗活力。通过计算花生苗包络区域像素数值，然后根据比例关系得到花生苗包络面积Apq。基于花生苗叶片包络面积，结合农艺要求得到花生苗活力指数

(9)

式中A0——花生苗幼苗期叶片包络面积的标准值，本文以大田花生苗叶片包络面积均值作为标准值

Astd——可接受偏差

式(9)将花生苗活力指数归一化到[0,1]范围内，根据花生苗叶片包络面积将花生活力指数分为两类：当花生苗叶片包络面积在农艺要求范围内，赋值为1；当花生苗叶片包络面积小于农艺规定值的下线，属于取值越小越差型指标，按照式(9)进行归一化。

3.4　花生出苗质量试验评价

2017年6月11日在安徽农业大学工学院试验田进行试验，花生处于幼苗期(播种后35 d)。在田间随机开展10次试验，试验结果对比如表1所示。通过机器视觉识别花生苗数量的准确度最低为91.7%，最高为100%，平均准确度达到95.4%(±3.5%)。对于缺苗率，采用皮尔逊相关系数计算图像识别和人工识别的一致性为0.991。

通过花生苗叶片包络面积得到每幅图像花生苗叶片包络面积低于农艺规定值棵数、花生苗活力指数、花生苗叶片覆盖地面比例，结果如表2所示。其中，试验6花生苗活力指数为0.915(最低)，花生苗覆盖地面占比29.7%(最低)，基于此判断该采样点位置花生苗长势较差，结果可为精细植保提供依据。

表1　花生缺苗率试验结果Tab.1　Test results of peanut seedling deficiency rate

4　结束语

以花生出苗质量为研究对象，提出了花生出苗质量评价指标，设计了实时获取花生苗图像信息的田间行走机器人，基于机器视觉的方法开展了花生出苗质量评价研究。首先提出了鲁棒性强的花生苗图像提取算子，采用K-均值聚类算法对提取算子进行聚类，有效解决了气候环境对图像识别精度的影响，提高了图像识别适应性。将全局分割与局部分割紧密结合，并根据花生苗形态学统计结果设定分割目标属性判断准则，有效降低了花生苗数量误判。试验结果表明，采用所提出的花生出苗质量评价方法能够快速、准确评价花生出苗质量，缺苗率与人工计数的一致性为0.991。

表2　花生活力指数试验结果Tab.2　Test results of peanut vitality index

1张秀玲. 不同整地方法对土壤含水量及花生出苗率的影响[J].内蒙古农业科技, 2008(4):49.

ZHANG Xiuling. Effects of different soil preparation methods on soil water content and peanut seedling rate [J]. Inner Mongolia Agricultural Science and Technology, 2008(4): 49.(in Chinese)

2杨富军, 赵长星, 闫萌萌,等. 栽培方式对夏直播花生叶片光合特性及产量的影响[J]. 应用生态学报, 2013, 24(3):747-752.

YANG Fujun, ZHAO Changxing, YAN Mengmeng, et al. Effects of different cultivation modes on the leaf photosynthetic characteristics and yield of summer-sowing peanut[J]. Chinese Journal of Applied Ecology, 2013, 24(3):747-752. (in Chinese)

3邱白晶,闫润, 马靖,等. 变量喷雾技术研究进展分析[J/OL]. 农业机械学报, 2015, 46(3):59-72. http:∥www.j-csam.org/jcsam/ch/reader/ view_abstract.aspx?flag=1&file_no=20150309&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2015.03.009.

QIU Baijing, YAN Run, MA Jing, et al. Research progress analysis of variable rate sprayer technology[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(3):59-72. (in Chinese)

4金建猛, 谷建中, 刘向阳,等. 花生农艺性状与产量的灰色关联度分析[J]. 种子科技, 2009, 27(5):31-33.

JIN Jianmeng, GU Jianzhong, LIU Xiangyang, et al. Gray correlation analysis of peanut agronomic traits and yield [J].Seed Technology, 2009, 27(5): 31-33. (in Chinese)

5甄志高, 王晓林, 段莹,等. 不同种植密度对花生产量的影响[J]. 中国农学通报, 2004, 20(2):90-91.

ZHEN Zhigao, WANG Xiaolin, DUAN Ying, et al. Effect of different planting density on yield in peanut[J]. Chinese Agricultural Science Bulletin, 2004,20(2):90-91. (in Chinese)

6丁兴民, 王溯,李民. 不同种植密度对中间型大花生生物学性状与产量的影响[J]. 农业科技通讯, 2015(12):136-139.

DING Xingmin, WANG Su, LI Min. Effects of different planting densities on biological characteristics and yield of intermediate peanut[J].Journal of Agricultural Science and Technology, 2015(12): 136-139.(in Chinese)

7关小康, 杨明达, 白田田,等. 适宜深播提高地下滴灌夏玉米出苗率促进苗期生长[J]. 农业工程学报, 2016, 32(13):75-80.

GUAN Xiaokang, YANG Mingda, BAI Tiantian, et al. Suitable deep sowing increasing emergence rate and promoting summer maize growth in seeding stage under subsurface drip irrigation[J]. Transactions of the CSAE, 2016, 32(13):75-80.(in Chinese)

8张若宇, 坎杂, 马蓉,等. 基于RGB模型的脱绒棉种颜色特征与发芽状况的关系[J]. 农业工程学报, 2010, 26(10):172-177.

ZHANG Ruoyu, KAN Za, MA Rong, et al. Relationship between color features and germination of delinked cottonseed based on RGB color model[J]. Transactions of the CSAE, 2010, 26(10):172-177.(in Chinese)

9李志刚, 傅泽田, 李丽勤. 基于机器视觉的农业植保技术研究进展[J].农业机械学报, 2005, 36(8):143-146.

LI Zhigang,FU Zetian,LI Liqin. Advance in agricultural plant protection technology based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2005,36(8):143-146.(in Chinese)

10DONG F, PETZOLD O, HEINEMANN W, et al. Time-optimal guidance control for an agricultural robot with orientation constraints[J]. Computers & Electronics in Agriculture, 2013, 99(6):124-131.

11HIREMATH S A, GERIE W A M, EVERT F K V, et al. Laser range finder model for autonomous navigation of a robot in a maize field using a particle filter[J]. Computers & Electronics in Agriculture, 2014, 100(1):41-50.

12赵栋杰, 张宾, 王学雷,等. 基于图像矩的室内喷雾机器人自动对靶研究[J/OL].农业机械学报,2016,47(12):22-29.http:∥www. j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20161204&journal_id=jcsam.DOI：10.6041/j.issn.1000-1298.2016.12.004.

ZHAO Dongjie, ZHANG Bin, WANG Xuelei, et al. Automatic target of indoor spray robot based on image moments[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(12):22-29. (in Chinese)

13权龙哲,祝荣欣,雷溥,等.基于K-L变换与LS-SVM的玉米品种识别方[J].农业机械学报,2010,41(4):168-172.

QUAN Longzhe, ZHU Rongxin, LEI Pu, et al. Method of maize cultivars based on K-L transform and LS-SVM[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010,41(4):168-172. (in Chinese)

14肖志云,刘洪.小波域马铃薯典型虫害图像特征选择与识别[J/OL].农业机械学报,2017,48(9):24-31. http:∥www.j-csam.org/jcsam /ch/reader/view_abstract.aspx?flag=1&file_no=20170903&journal_id=jcsam.DOI：10.6041/j.issn.1000-1298.2017.09.003.

XIAO Zhiyun, LIU Hong. Features selection and recognition of potato typical insect pest images in wavelet domain[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2017,48(9):24-31. (in Chinese)

15宋鹏, 吴科斌, 张俊雄,等. 基于计算机视觉的玉米单倍体自动分选系统[J]. 农业机械学报, 2010, 41(增刊):249-252.

SONG Peng, WU Kebin, ZHANG Junxiong, et al. Sorting system of maize haploid kernels based on computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010,41(Supp.):249-252. (in Chinese)

16毛文华, 王一鸣, 张小超,等. 基于机器视觉的田间杂草识别技术研究进展[J]. 农业工程学报, 2004, 20(5):43-46.

MAO Wenhua, WANG Yiming, ZHANG Xiaochao, et al. Research advances of weed identification technology using machine vision[J]. Transactions of the CSAE, 2004, 20(5):43-46. (in Chinese)

17LIN Fenfang, ZHANG Dongyan, WANG Xiu,et al. Identification of corn and weeds on the leaf scale using polarization spectroscopy[J]. Infrared and Laser Engineering, 2016, 45(12):1223001.

18SLAUGHTER D C, GILES D K, DOWNEY D. Autonomous robotic weed control systems: a review[J]. Computers & Electronics in Agriculture, 2008, 61(1):63-78.

19叶凤林, 李琳, 杨丽明,等. 应用机器视觉技术筛选射干种子精选指标的研究[J]. 中国农业大学学报, 2016, 21(8):119-124.

YE Fenglin, LI Lin, YANG Liming, et al.Belamcandachinensis(L) DC. seeds selection based on machine vision technology[J]. Journal of China Agricultural University, 2016, 21(8): 119-124. (in Chinese)

20贾佳, 王建华, 谢宗铭,等. 计算机图像识别技术在小麦种子精选中的应用[J]. 中国农业大学学报, 2014, 19(5):180-186.

JIA Jia, WANG Jianhua, XIE Zongming, et al. Wheat seeds selection based on computer image recognition technique[J]. Journal of China Agricultural University, 2014, 19(5):180-186.(in Chinese)

21徐黎明, 吕继东. 基于同态滤波和K均值聚类算法的杨梅图像分割[J]. 农业工程学报, 2015, 31(14):202-208.

XU Liming, LÜ Jidong. Bayberry image segmentation based on homomorphic filtering and K-means clustering algorithm[J]. Transactions of the CSAE, 2015, 31(14): 202-208. (in Chinese)