基于图像处理的果蔬分拣系统设计

李颀 王俊 高一星 杨柳 赵洁

摘要：针对目前果蔬分拣中果蔬互相掺杂问题，设计了一种基于图像处理的果蔬分拣系统。以实际分拣中容易相互掺杂的土豆、玉米和红薯为实验对象，土豆作为主果蔬，玉米和红薯为掺杂的副果蔬进行实验。对果蔬图片进行图像处理，提取果蔬特征，采用基于BP神经网络的KNN最邻近分类算法对果蔬进行分类，并在上位机界面中显示果蔬分类结果和果蔬掺杂率，将掺杂果蔬的位置信息结合形态信息发送给六自由度机械臂，实现对掺杂果蔬的分拣操作。实例验证：分类正确率达到98%左右，计算坐标与实际坐标在X、Y坐标上的误差在1mm内，可以实现对掺杂果蔬快速识别和分拣的目的。

关键词：图像处理;果蔬;BP神经网络;KNN分类;六自由度机械臂;特征提取;分拣

中图分类号：TN文献标识码：ADOI：10.19754/j.nyyjs.20190215001

引言

在果蔬物流分拣行业中，往往会出现互相掺杂的现象，同时大部分分拣工作都由人工完成，依靠人眼对水果和蔬菜进行分类识别，耗费大量劳动力，且工作效率低，严重影响了果蔬商品化的发展速度。

刘振宇等针对以往工业生产线分拣工件时存在的问题，提出了多目标分块处理算法和Hough变换与链码相结合的Hough-链码识别算法，但只适用于规则几何工件的识别和分拣[1]。李明等提出利用黄瓜果实图片的形状参数对黄瓜进行自动分级，平均精度为96.7%，实现了黄瓜的精确分级[2]。任磊等人研究的脱囊衣橘片自动分拣机器视觉算法实现了对橘片缺陷的自动分级[3]。Kheiralipour等提出利用图像处理技术和人工神经网络结合的方法对黄瓜果实的形状进行了分类，准确率较高[4]。Cui jinshi等提出利用机器视觉和热成像技术对番茄的形状和大小做了评估[5]。Irwin R等采用神经网络对芦笋段进行分类实验，准确性达到了90.2%[6]。

目前国内外在识别和分拣方面，分拣对象大多几何形状规则，而对几何形状不规则和大小不一的果蔬而言并不适用，并且果蔬的研究种类比较单一，大多用于某种果蔬的分级和分拣，而对于一种果蔬中掺杂多种其它果蔬的多分类和分拣情况而言没有出现类似的研究。针对该问题，本文以土豆、玉米和红薯3种果蔬为对象，设计了一种果蔬分拣系统，解决果蔬分拣中互相掺杂的问题。

1系统整体方案设计

本系统应用于果蔬物流公司的分拣流水线上，在流水线上设置40cm×40cm的图像采集区和40cm×40cm的果蔬分拣区，在图像采集区正上方50cm处放置工业相机，果蔬分拣区设有六自由度机械手臂。系统的总体结构如图1所示。

工业相机对其正下方的果蔬进行图像采集，然后将采集的果蔬图像传给PC机，在PC机上对果蔬图像进行处理、识别和分类，当识别出主果蔬中掺杂的副果蔬时，将副果蔬的质心坐标转换为实际空间坐标，并结合副果蔬的形态信息发送给机械手臂控制柜，当图像采集区的副果蔬被传送到果蔬分拣区域时，控制机械手臂将其分拣出来，实现对掺杂果蔬的自动分拣。

因此本系统主要包括图像采集模块、果蔬特征提取模块、果蔬分类模块和上位机平台4个部分。

2果蔬图像预处理

在果蔬图像采集的时候，图像中往往会包含流水线皮带以外的场景，由于相机被固定在流水线上方距离保持一定，通过设定感兴趣区域Region of Interest（ROI）将流水线皮带以外的场景去除掉。相机在采集图像时，受环境干扰导致果蔬图像包含高斯噪声。因此需要对果蔬图像进行去噪处理。为了方便提取单个果蔬的特征，需要进行图像预处理等操作。图像预处理的流程图如图2所示。

3果蔬图像特征提取

3.1果蔬颜色特征提取

由于本系统工作环境为室内，图像采集时往往会产生果蔬影子，但HSV模型相对于RGB模型来说受影子的影响较小，所以选择HSV颜色空间，作为果蔬图像的颜色提取。

利用颜色通道分离算法对HSV颜色空间中H（色调）、S（饱和度）和V（明度）3个通道分离分析，其中色調H与果蔬种类之间存在明显的相关关系。

因此，本文选取色调H均值和方差作为果蔬识别分类的颜色特征。

3.2果蔬形状特征和大小特征的提取

果蔬在图像中呈现的姿态各异，同一个果蔬不同姿态会影响特征提取结果，实际应用中只有第二Hu不变矩具有旋转、平移、尺度等不变的特性，可以很好的表征果蔬在不同姿态下的形状特征[8]。因此选用第二Hu不变矩来表征果蔬图像的形状特征。

果蔬的大小特征用果蔬图像轮廓所围面积来表征。利用opencv图像处理库中的面积函数contourArea，提取果蔬图像轮廓所围面积。

3.3果蔬定位和姿态检测

果蔬图像特征提取完后，需要对图像中的掺杂果蔬进行分拣，为了准确抓取掺杂果蔬，需要获取掺杂果蔬的位置信息和姿态信息，在果蔬形状特征提取中利用标准矩可以求取每个果蔬在图像上的质心坐标。

通过在流水线上40cm×40cm的果蔬放置区域内，检测出掺杂果蔬的偏转角度θ，来表示掺杂果蔬的形态信息。果蔬的偏转角度θ表示如图4所示。

以传送带果蔬图像采集区左上角为坐标原点，传送带向右运行，（x0，y0）代表果蔬的质心点坐标，偏转角度θ为果蔬长轴与x坐标正方向上的夹角，其范围为0°～180°。（xj，yj）和（xk，yk）分别表示长轴两端点的像素坐标，计算偏转角θ角如式3所示：θ=arctanyj-y0xj-x0（1）由于果蔬形状不规则，无法人工准确获取其实际质心，因此用椭圆柱和长方体积木模拟果蔬，进行定位实验。结果如表1所示。

由仿真结果可知，本系统的果蔬定位算法得到的坐标与实际的坐标在X、Y坐标上的误差在1mm内。

4果蔬识别分类

目前用于果蔬识别分类研究中的分类器主要有BP神经网络、SVM（支持向量机）和KNN（k-Nearest Neighbor，k最近邻）[9-10]。对于本系统果蔬种类多、数量大而言，需要对果蔬识别有较高的正确率。KNN分类器相比其它2种分类器而言，当出现分类错误时，可以灵活的进行添加调整，具有容错性和可扩容性。因此本系统选用KNN分类器进行果蔬的识别分类。

4.1基于BP神经网络的KNN分类器设计

常用的KNN分类算法有直接分类法和距离加权分类法。相比直接分类法，距离加权法可以克服大容量类的样本占多数而导致误分类的问题。

图5基于BP神经网络的KNN分类器原理图

但距离加权系数往往由人为主观确定，并不能得到较优的距离加权值，为了得到较优的距离加权值，本系统采用BP神经网络代替KNN算法中的距离加权网络，能够自适应地调节距离加权系数。其分类原理如图5所示。

x表示测试样本;N1、N2和N3分别表示土豆、玉米和红薯的样本数;

di（1），di（2），…，di（k） i=1，2，3表示测试样本在土豆、玉米和红薯样本中经过KNN分类器后得到的k个最近距离且按升序排列，k可取3～5，综合分拣系统快速性和准确性考虑，选取k=4。k个最近距离经过BP神经网络得到距离加权值，3种果蔬可得到3个距离加权值，最终选择最大的距离加权值所对应的种类索引，即为测试样本x的最终分类结果。

4.2BP神经网络的设计

4.2.1BP神经网络的输入层节点数m与输出层节点数n的确定

网络的输入为k个最近距离，k取4，所以输入层节点数为m=k=4。输出层为k个最近距离的加权和，即输出层节点数n=1。

4.2.2隐含层层数和节点数的确定

隐含层层数选择3层，足以完成输入到输出的任意映射。隐含层的节点数可通过式（4）经验公式确定：h=m+n+a（2）h为隐含层节点数，m为输入层节点数4，n为输出层节点数1，a为1～10的调节常数。因此，隐含层节点数h的取值在3～12范围内进行实验，选取使预测误差最小的值。

4.2.3激励函数的确定

隐含层的激励函数选择较常用的Sigmoid函数f（x）=11+e-x;输出层的激励函数选择线性函数f（x）=x;设定目标误差为0.05。

4.3分类实验仿真与分析

4.3.1实验数据

采集土豆、玉米和红薯图片各100张和两两果蔬混合图片分别100张，共600张果蔬图片，土豆824个，玉米686个，红薯752个，在PC机上采用python+opencv对其进行图像预处理和特征提取，H色调的均值与方差、第2个Hu不变矩和果蔬面积4种特征来表示1个四维特征点，建立土豆、玉米和红薯3种果蔬的特征点库。

4.3.2实验仿真

取每种果蔬的特征点库的70%作为训练样本集，30%作为测试样本集。

分别采用非加权KNN算法、距离加权WK-NNC算法和本系统的基于BP神经网络的KNN算法进行对比实验，结果如表2所示。

本文设计的基于图像处理的果蔬分拣系统，实验证明本系统果蔬识别正确率高、定位准确，可以解决传统人工分拣效率低、人工成本高的问题。文设计的基于图像处理的果蔬分拣系统，实验证明本系统果蔬识别正确率高、定位准确，可以解决传统人工分拣效率低、人工成本高的问题。

参考文献

[1] 刘振宇，李中生，赵雪，等.基于机器视觉的工业机器人分拣技术研究[J].制造业自动化，2013，35（17）：25-30.

[2] 李明，房俊龙，乔翊博，等.基于机器视觉黄瓜果实自动分级方法[J].农机化研究，2016，38（11）：229-233.

[3] 任磊，张俊，陆胜民.脱囊衣橘片自动分拣机器视觉算法研究[J].浙江农业学报，2015，27（12）：2212-2217.

[4] Kheiralipour， Kamran;Pormah，Abbas.Introducing new shape features for classification of cucumber fruit based on image processing technique and artificial neural networks[J]. Journal of Food Process Engineering，2017， 40（6），506-523.

[5] Cui，Jinshi;Yang，Myongkyoon;Son，Daesik;Cho，Seong-In.Machine vision and thermographic imaging for determining of grading oftomato on postharvest[C].ASABE Annual International Meeting，2017，7.16-7.19.

[6] Irwin R. Donis-González，Daniel E.Guyer. Classification of processing asparagus sections using color images[J].Computers and Electronics in Agriculture，2016，6（1）：236-241.

[7] 陳泽宁，张学习，彭泽荣，等.基于机器视觉的工件定位和识别[J].电子科技，2016，29（04）：99-103.

[8] 刁彦华，孟子钰，王晓君.基于Hu不变矩的图像形状特征提取研究[J].网络安全技术与应用，2017（10）：46-47.

[9] 曾勇，舒欢，胡江平等.基于BP神经网络的自适应伪最近邻分类[J].电子与信息学报，2016，38（11）：2774-2779.

[10] 张帆，李绍明，刘哲，等.基于机器视觉的玉米异常果穗筛分方法[J].农业机械学报，2015，46（S1）：45-49.