基于计算机视觉的砀山梨分级系统

张卫民， 国 海， 刘帅帅

(安徽科技学院 机械工程学院，安徽 凤阳 233100)

安徽砀山县是水果之乡,拥有近百万亩连片果园。砀山梨作为砀山县主要经济作物之一,具有其特殊的地位,其中砀山酥梨的种植面积约为3.33万hm2,占产出水果面积的66%,产量约为7.5亿kg。目前砀山梨分拣工作主要由人工完成,工人无法长时间工作,随着工作时间的延长对分类的效率及精准度都会有所下降,而面临着砀山梨上市季节的大规模分类的要求单凭人工分拣无法完成。

针对水果品质检测的研究,Baigvand等[1]将无花果分为5个等级,并研究出一套完整的机器视觉系统,达到了实时检测的需求。Momin等[2]提取出芒果圆形度与周长等特征,研发出基于图像处理技术的芒果自动分级算法。Tao等[3]提取出土豆和苹果的颜色变量,通过色调直方图和变量判别式对样品进行区分,并建立相关的评价体系。钱文秀等[4]改进Grabuct分割方法,对各种复杂条件下的草莓进行有效筛选。何进荣等[5]采用改进经典卷积神经网络模型,对网络结构中的有效模块重新组合设计,在苹果测试集上实验准确率达到97.84%。李俊伟等[6]通过对单粒葡萄的质量以及果径的采集,提出一种基于机器视觉的预测葡萄质量与大小的分级系统,准确率约为85%。周海英等[7]对3种不同品种的梨进行缺陷提取,并提出一种区分花萼、果梗与缺陷的方法。何建国等[8]通过图像处理,采集芒果的外形特征,按照尺寸、形状等特征设计识别系统。

本研究检测的砀山梨,果实近圆柱形,顶部平截稍宽,果皮绿黄色,果点小而密,外观与其他品种梨有明显区别。国内尚未有针对砀山梨计算机视觉分级系统的研究成果发布。本研究开发基于计算机视觉的砀山梨分级系统,通过判断砀山梨的果形、缺陷及色泽等完成快速实时检测。

1 图像采集及预处理

1.1 图像采集

图像采集部分主要包括搭建光照箱和选择合适的光源,工业摄像机进行取样拍摄,通过采集卡获取采集的样本。光源设计上采用LED光源上方垂直照射,背景选用白色背景,提高对比度。摄像机采用迈德威视MV-GED200C-T工业相机,采集出的图像外观完整清晰,特征明显,满足进行图像预处理及分割的需求。

1.2 图像预处理

为提取出图像重要信息,去除与无关的其他背景信息及干扰,同时改善图片质量,增强图像相关信息可信度,需进行图像预处理。流程如图1所示。

图1 图像处理流程图Fig.1 Image processing flow chart

(1)灰度变换:采集到的砀山梨图像为彩色图像,其颜色信息会对后续提取砀山梨图像造成干扰,因此必须进行灰度变换。对比常用的几种灰度变换方法,得出加权平均法最容易区分背景区域,能够很好地提取出完整的砀山梨轮廓[9]。

(2)图像增强:在通过CCD相机采集砀山梨图像时会有各种因素的干扰,造成图像噪点过多,需要进行降噪处理,采用中值滤波的方式进行降噪。

(3)图像形态学处理:采用最大类间方差法(OTSU)对图像进行阈值分割,采集的图像中分割目标与背景的差别较大,灰度分布具有明显的双峰特性,因此采用OTSU阈值分割法效果最佳[10]。

(4)边缘检测:常见的边缘检测算法包括:Sobel算子、Log算子、Canny算子和Laplacian算子,通过4种算子提取效果比较来看,采用Canny算子的边缘最为清晰,符合低错误率原则、精准定位原则和单边界原则[11]。

2 特征提取

根据《梨外观等级标准》确定砀山梨特征的3个参数,包括几何特征、色泽特征和缺陷特征。几何特征由周长、面积和圆形度组成。色泽特征是指梨外表面的色泽,色泽均匀且明亮的梨有着更高的价值。缺陷特征是指梨的外伤、腐败、病虫害带来的缺陷。

2.1 几何特征提取

(1)周长。周长是砀山梨几何特征中的重要指标,是指砀山梨外边界一周的长度,通过计算处理后的图像边界f(x,y)上所有像素点之和得到周长L。

(1)

(2)面积。面积是指砀山梨图像所占空间的大小,把砀山梨图像的前景突出为白色,背景为黑色。对边界以内的所有像素点进行求和,即计算f(x,y)=1的数目,再和面积产生相应的映射关系。

(2)

(3)圆形度。圆形度用来衡量梨的圆轮廓接近圆的程度,圆形度越接近1,就说明梨的轮廓越接近一个完美的圆。圆形度受到面积和周长影响:

(3)

(4)

(5)

式中,L为梨轮廓的周长,S为梨轮廓的面积。

2.2 缺陷特征提取

统计砀山梨图像中的轮廓数量可以确定缺陷数量,按照顺序查找出二值图像或灰度图像中的不同像素值划分出的边界。所以完好的砀山梨图像中轮廓应该等于1。设出获取缺陷数量的公式:

(6)

其中,g为缺陷数量,k为轮廓总数,ceil()为向上取余。

在Opencv中调用findCountours()函数可以直接从二值图中查找轮廓,再用Canny算子进行边缘检测得出边缘图像。

2.3 色泽特征提取

外部色泽是砀山梨分级的重要指标之一,把图像RGB颜色模型转化HSV颜色模型,其中H值可以基本确定图像的颜色,使用Opencv中的mean函数提取出色泽(图2)。

图2 RGB图像转HSV颜色图Fig.2 RGB image to HSV color chart

图3分别对4个不同的砀山梨进行特征提取,表1为4个砀山梨的特征数据表。

图3 砀山梨轮廓边缘图像Fig.3 Dangshan pear contour edge image

表1 特征参数数值Table 1 Values of characteristic parameters

3 分级系统设计

本研究通过几何数值、缺陷数量和色泽程度3个方面进行检测分级。对所有图像的各个面进行重复实验,根据实验数据,可以确定具体所对应的映射关系:从几何数值上分级,圆形度大于等于0.85的砀山梨判断为合格果形,圆形度小于0.85的砀山梨判断为不合格果形。从缺陷数量上分级,按照国家标准规定,缺陷数量小于等于2个为合格,缺陷数量大于2个为不合格。从色泽程度上分级,平均色调H大于等于35的砀山梨判断为合格果形,色调H小于35的砀山梨判断为不合格果形。

按照《NY/T 440-2001梨外观等级标准》的定义,梨的标准分为特等、一等、二等和外果。其中特等果需要几何数值、缺陷数量和色泽程度3个方面都满足合格,一等果需要任意两个方面合格,二等果需要任意一个方面合格,没有一个方面合格的砀山梨将被分类为外果,不进入标准评级。

4 结果与分析

实验所用的砀山酥梨是从市场上直接采购的,实验样本共有100只,部分砀山酥梨有明显缺陷,尺寸大小不尽相同,且混合在一起。通过对这100只砀山梨图像分级实验,本研究实现了砀山梨图像的采集及采集环境的配置,具备图像处理功能,包括图像编辑、灰度变换、图像增强、图像形态学处理、边缘检测,可以完成对砀山梨的特征提取。通过砀山梨图像的圆形度计算,缺陷数量的统计和色泽程度的分级,并经过综合判断实现砀山梨外观的等级分类,采用多角度拍摄,获得多角度图片,经过相同的方法进行试验,若某一个角度的砀山梨质量不能达到同一等级,则判断为所有角度中最低等级,同时可以手动设置分类条件,对砀山梨分级的圆形度、色泽标准进行详细的设置。

图4 砀山梨分级检测系统程序图Fig.4 Program diagram of Dangshan pear grading and testing system

5 结论

针对砀山梨后处理中的外部品质分级问题,设计出一种基于机器视觉的检测分级系统,综合考虑影响梨外部品质的多种指标,并且每个梨分级耗时约为0.5 s,系统分级精准度约为95%。基于Opencv平台对采集的图像进行分割处理,去除背景,降低图像噪点,并按照相关标准进行分级,最终将分类的结果显示在界面之中,实现砀山梨品质的实时分类。