基于机器视觉的虫蚀葵花籽识别与分选系统

王卫翼 张秋菊

WANG Wei－yi 1，2 ZH ANG Qiu－ju 1，2

（1.江南大学机械工程学院，江苏 无锡 214122；2.江苏省食品先进制造装备技术重点实验室，江苏 无锡 214122）

（1.Jiangsu Key Laboratory of Advanced Food Manufacturing Equipment and Technology，Wuxi，Jiangsu 214122，China；2.School of Mechanical Engineering，Jiangnan University，Wuxi，Jiangsu 214122，China）

葵花籽俗称瓜子，是向日葵的籽实，同时也是中国最具传统特色、历史最为悠久的炒货食品。根据对瓜子所做的消费者需求市场调研，消费者认为现有瓜子产品的主要不足排在首位的是“有坏的”，可见，对葵花籽的分选，尤其虫蚀葵花籽的精选，直接影响产品的品质和市场销售。迄今为止，虫蚀葵花籽的识别和分选仍需要依靠人工完成。人工分选不可避免地存在着人工视觉疲劳、误判漏判，分选效率低，出错率高，已成为严重影响产品质量和生产效率的瓶颈问题。

随着机器视觉技术的快速发展和逐步成熟，视觉检测技术被广泛应用于各个领域。近年来，由于具有处理速度快、信息丰富、非接触性等优点，利用机器视觉技术对水果、谷物、禽蛋等农产品进行自动检测盒分级是学术界研究的热点之一［1］。中国农业大学和北京大学成功研制了谷物品质检测系统，用图像技术代替人工进行大米分选［2］。周一红［3］通过分析西瓜子表面特征和形状特征，利用机器视觉和图像处理技术，实现了西瓜子表面纹理特征的提取和描述。黎移新［4］应用机器视觉技术实现了柑橘病虫害疤痕的识别。施健等［5］应用机器视觉技术，实现了鲜枣的大小分级，并设计了鲜枣分级系统。但是针对葵花籽的视觉分选，尤其是针对有虫蚀的葵花籽视觉精选技术的研究，目前尚未见有相关研究报道。

本研究拟选用市场占有率最高的美葵5009作为研究对象，首先分析葵花籽的虫蚀特征，针对虫蚀葵花籽的识别设计专用的虫蚀葵花籽识别分选系统。采用机器视觉和图像处理技术，实现对葵花籽虫蚀特征的有效提取，为实现虫蚀葵花籽的自动化识别和分选提供有效手段。

1 虫蚀葵花籽的识别原理

在实际应用中，为保证虫蚀葵花籽的识别效率，每次采集的图像中将包含多个葵花籽个体，其中包括正常葵花籽和虫蚀葵花籽。① 采集多个葵花籽的图像，包括在合适的正面光照亮度下的特征面虫蚀图像和仅有背光光照下的葵花籽所有个体图像；② 采用图像阈值分割方法对采集到的葵花籽所有个体图像进行处理，分割出每个葵花籽的单独个体；③ 对所有葵花籽个体逐个进行识别，判断其是否为虫蚀葵花籽，同时根据个体形心进行个体定位，以便于随后的分拣。虫蚀葵花籽识别流程见图1。

图1 虫蚀葵花籽识别流程图Figure 1 The flow chart of wormhole sunflower seeds sort

2 虫蚀葵花籽的识别与分选系统

2.1 系统总体构成

针对葵花籽双侧弧面的特点，必须对葵花籽进行双面识别才能保证不发生虫蚀葵花籽漏检。因此，设计虫蚀葵花籽的识别与分选系统时，必须考虑葵花籽的翻面装置，以及分别针对葵花籽两个弧面的葵花籽输送、识别和分选机构。针对葵花籽的虫蚀特征，采用机器视觉系统进行葵花籽特征的采集和虫蚀特征的识别。经过分选后的葵花籽可通过输送机构用于后续加工处理。

根据以上分析，基于机器视觉的虫蚀葵花籽识别与分选系统主要由以下部分组成：

（1）葵花籽输送部分。该部分主要有传送带、动力滚筒、交流电机、变频器、同步带等组成，主要是实现识别过程中对葵花籽运输的功能，使葵花籽能够顺利流畅的经过整个系统的每个功能部分；

（2）虫蚀葵花籽视觉识别部分。该部分主要由机器视觉相关组件构成，包括光源系统、工业相机、光照箱等，是整个分拣系统的关键部分之一。视觉识别部分的主要功能是实现虫蚀葵花籽的识别和定位，其通过对传送带上多个葵花籽进行图像采集，并对采集到的图像进行分析和处理，识别出虫蚀葵花籽个体，并对每个个体进行标记和定位。

（3）虫蚀葵花籽分拣部分。该部分采用两自由度SCARA机械手作为分拣装置。机械手末端为真空吸嘴。通过机械手运动，将末端的真空吸嘴快速定位至位于传送带上的虫蚀葵花籽的上方，利用真空负压将虫蚀葵花籽吸走，通过气管输送至分类容器，实现虫蚀葵花籽的分拣和储存。

（4）葵花籽翻面机构。针对葵花籽两个特征弧面的特点，该部分通过两条传送带同步工作，利用翻面滚筒，实现对葵花籽的翻面。在虫蚀葵花籽经过第一套视觉识别系统的识别和第一套分拣系统的分拣后，剩余的葵花籽经过翻面机构，将自身未经过检测的特征弧面朝向上方，以便第二套视觉识别系统进行识别和定位。

（5）控制系统。控制系统包括总体控制系统、视觉控制系统、运输控制系统、分拣控制系统。其中，总体控制系统的功能是完成各个分控制系统的总体逻辑与顺序控制和相关辅助功能；视觉控制系统实现视觉识别部分的控制，包括光源的亮度、开关状态、相机采集图像等；运输控制系统主要实现传送带的运动控制；分选控制系统主要实现SCARA机械手的运动控制和其末端吸嘴的控制。

综上所述，基于机器视觉的虫蚀葵花籽识别分拣系统组成框图和功能示意图见图2、3。由图3可知，未经分选的葵花籽通过上料端进入系统，首先经过第一次视觉识别后，识别出一个特征弧面具有虫蚀特征的虫蚀葵花籽，并进行定位。然后进入分拣系统，由分拣机械手1进行分拣。剩余的葵花籽经由翻面机构实现翻面处理，并进入传送带2，进行第二次视觉识别，识别出虫蚀葵花籽并进行定位，并由分拣机械手2进行分拣。至此，一批葵花籽两个特征弧面均进行了检测，识别完成，剩余的优良葵花籽经出料端进入下一加工环节。

2.2 机器视觉光源系统设计

根据对葵花籽虫蚀特征的分析，在虫蚀葵花籽的识别过程中，需要对两类虫蚀特征进行提取。为得到清晰有效的葵花籽图像信息，同时保证图像中葵花籽的虫蚀特征便于分析和提取，本研究设计了一套适用于虫蚀葵花籽视觉识别的图像采集系统，包括光源系统和相机。

在虫蚀葵花籽视觉检测系统中，首先需要正面照射光源为葵花籽表面提供光线。同时，由于葵花籽个体独特的双弧面形状，在正面光源的照射下，会产生阴影，故需要背光光源以消除阴影，并凸显葵花籽个体的轮廓特征。同时，为保证较大视野中多个葵花籽个体光照均匀，采用环绕正面光源的方式。

因此，葵花籽视觉检测系统中的光源系统采用“环绕正面光源与背光光源”的组合方式。同时将4个相同的正面照射光源分别放置在背光光源的四周，轴线与背光光源平面呈一定的角度，并均指向被测葵花籽。光源系统示意图见图4。

这种光源系统的每个光源均可独立控制亮度和开关状态，可根据不同的葵花籽图像采集要求设置不同的亮度和开关状态组合。针对虫蚀特征图像的采集，则根据预先设置的光源亮度，同时开启正面光源和背光光源来完成图像采集；针对虫蚀葵花籽的边缘轮廓特征图像的采集，则单独开启背光光源来凸显其轮廓特征，完成图像采集。采用该光源系统，能够很好的完成葵花籽虫蚀特征和轮廓特征的采集，获取完整清晰、特征明显的目标图像，为后续虫蚀特征的提取和识别工作奠定基础。

图2 系统组成框图Figure 2 Components of the system

图3 系统功能示意图Figure 3 Schematic diagram of the system function

图4 虫蚀葵花籽图像采集专用光源系统Figure 4 The light source system for wormhole sunflower seeds image acquisition

3 葵花籽虫蚀特征分析

正常葵花籽单个个体小，轮廓外形为长水滴形，两侧面隆起形成弧面，成为两个特征面。两个特征面上分布着纹理与斑块，颜色主要以黑色和白色为主。根据《中华人民共和国国家标准 GB／T 11764—2008》［6］，虫蚀葵花籽指的是被虫蛀蚀、伤及籽仁的颗粒。虫蚀葵花籽表面具有明显的虫蚀特征，即虫洞。本研究所用的虫蚀葵花籽均为具有虫蚀特征的黑葵花籽，见图5。

图5 虫蚀葵花籽Figure 5 Wormhole sunflower seeds

根据分布位置不同，可将虫蚀特征（虫洞）分为两类：特征面虫蚀和边缘虫蚀，如图5所示。若虫蚀位于葵花籽的特征面上，则在葵花籽的特征弧面上将出现虫蚀造成的虫洞，虫洞穿透葵花籽的外壳通入葵花籽内部；若虫蚀位于葵花籽的边缘轮廓上，则葵花籽的轮廓边缘将出现残缺，使其失去长水滴形边缘的完整性。同时，根据对葵花籽虫蚀分布情况的抽样统计可以发现，虫蚀位于特征面上的虫蚀葵花籽数量远大于虫蚀位于边缘轮廓的虫蚀葵花籽，特征面虫蚀的出现概率约为边缘虫蚀的数十倍。

4 葵花籽虫蚀特征的提取

4.1 特征面虫蚀特征的提取

4.1.1 孔洞的“吸光效应” 物体表面存在孔洞且其他表面较平滑时，若采用合适角度的光线照射其表面，部分光线照射进入孔洞中，由于漫反射导致这部分光线的反射光线被孔壁阻挡，从而出现孔洞部分亮度低于周围平滑表面亮度的现象，将这种现象称为孔洞的“吸光效应”。“吸光效应”原理示意图见图6。散射光线从不同角度照射到物体表面时，由于表面较为平滑，形成类似镜面反射或漫反射，光线能量损失小，反射光线亮度强；而光线若照射至表面的孔洞中，光线由于在孔洞内部进行漫反射而导致大部分光线无法反射出孔洞，反射光线能量低，从而导致表面孔洞部分亮度低。试验表明，对于平面孔洞和弧面孔洞，在设置合理的光线角度和光源亮度后，均可出现较为明显的孔洞“吸光效应”。

4.1.2 葵花籽特征面虫蚀图像的采集 本研究针对葵花籽的特征面虫蚀的孔洞特征，根据孔洞“吸光效应”原理，采用图4所示的光源系统，为正面光源设置合适的照射角度和亮度，利用工业相机对葵花籽（包括正常葵花籽和虫蚀葵花籽）进行拍摄，采集葵花籽特征面虫蚀特征。葵花籽特征面虫蚀特征采集图片见图7。其中图7（b）为设置了合适的正面光源亮度后采集到的葵花籽特征面虫蚀图像，图7（a）为设置正面光源为低亮度后采集的葵花籽原图（包括正常葵花籽和虫蚀葵花籽），以便观察对比，实际识别中无需采集。由图7可知，图中包含虫蚀葵花籽和正常葵花籽，应用本研究设计的葵花籽特征面虫蚀特征提取方法，能够凸显葵花籽的特征面虫蚀，采集清晰有效的特征图像，同时自动屏蔽正常葵花籽图像的相关特征，为虫蚀特征的进一步识别奠定基础。

图6 “吸光效应”原理图Figure 6 The light absorbing effect

图7 葵花籽特征面虫蚀Figure 7 The wormhole feature in the face

4.1.3 特征面虫蚀特征的提取 针对图7（b）图像，采用图像阈值分割［7］的方法进行处理，从原图像中分割出特征面虫蚀特征，其分割阈值采用Otsu法［8］确定。

Otsu法的基本思想是使用阈值T将图像像素点的灰度值分为两类，当这两类的类间方差最大时即为阈值T的确定值。具体实现过程：设待处理图像的灰度范围为［0，L－1］，根据阈值T将图像的像素点分为两类C0和C1，即类C0中的像素点的灰度值均分布在［0，T］的区间上，类C1中的像素点的灰度值均分布在［T＋1，L－1］的区间上。计算得出整幅图像灰度均值uT，类C0的灰度均值u0和类C1的灰度均值u1，C0和C1两类的出现概率w0和w1，则类C0和类C1的类间方差为

令T在区间［0，L－1］中依次取值，当σ2最大时，此时的T即为选取的阈值。

根据Otsu法确定的阈值，对特征面虫蚀特征图像进行阈值分割，得到分割后仅包含特征面虫蚀特征的图像，如图8所示，其中黑色斑块即为分割得到的葵花籽特征面虫蚀特征。

4.2 边缘虫蚀特征的提取

葵花籽虫蚀特征中的边缘虫蚀可能不会造成葵花籽表面虫洞，但是其会破坏葵花籽的完整轮廓，使葵花籽边缘出现明显的内凹，如图5（c）所示。通过分析包含边缘虫蚀的葵花籽的真实轮廓，利用多边形拟合与图像运算提取边缘虫蚀特征。

4.2.1 葵花籽边缘轮廓的生成 为提取边缘虫蚀特征，需分析葵花籽的轮廓信息。采用图4所示的光源系统，关闭正面光源而仅开启背光光源。由于无正面光线，葵花籽表面亮度低，表面纹理和斑块暗淡、不清晰，而背光光线充足，使葵花籽所在的背景亮度高，与葵花籽表面的低亮度形成鲜明的对比，使得葵花籽的轮廓信息清晰、完整，特征明显。

针对特征清晰完整的葵花籽轮廓图像，首先采用本文介绍的图像阈值分割方法对葵花籽轮廓图像进行分割，获得葵花籽个体。其次对葵花籽个体图像进行处理，提取其轮廓信息。

采用Canny算法对分割后的葵花籽个体进行处理，得到葵花籽的真实边缘轮廓。Canny算法具有既能滤去噪声又能保持边缘特性的边缘检测最优滤波器，采用一阶微分滤波器。此算法采用二维高斯函数的任意方向上的一阶方向导数为噪声滤波器，通过与图像卷积进行滤波；然后对滤波后的图像寻找图像梯度的局部最大值，以此来确定图像边缘。根据对信噪比与定位乘积进行测度，得到最优化逼近算子［9］。应用以上过程生成的葵花籽边缘轮廓见图9。

4.2.2 葵花籽边缘的多边形拟合 针对提取得到的葵花籽边缘轮廓，采用多边形拟合的方法，对葵花籽的边缘轮廓进行近似建模，得到葵花籽真实轮廓的多边形模型。葵花籽真实边缘轮廓和拟合多边形见图10。

多边形拟合是一种常用的曲线形状描述方法，它根据一定的规则，利用直线对目标曲线进行近似拟合，只保留曲线上关键点的信息，剔除冗余的无用点信息，实现曲线轮廓的简化［10］。通过多边形拟合可以大大减少表示数字曲线所需要的数据量，把不规则的数字曲线拟合成规则的多边形，使得一些特征量的计算变得方便，同时极大限度地保留原始数字曲线的形状特征［11，12］。

采用“最大距离法”对葵花籽边缘轮廓进行多边形拟合，该算法具体步骤如下：

图9 葵花籽边缘轮廓图像Figure 9 The wormhole feature at the edge

图10 葵花籽真实轮廓和拟合多边形Figure 10 The real contour and the polygonal approximation of sunflower seeds

（1）设置算法迭代终止参数dmin。该参数指的是待拟合曲线上所有点到多边形的最短距离。设pk（xk，yk）为待拟合曲线上的一点，pi（xi，yi）、pj（xj，yj）分别为多边形某一条边的两个顶点，则pk点到多边形的边pipj的距离d的计算公式为

当曲线上各个点到多边形的距离均小于终止参数dmin时，算法迭代终止。

（2）遍历曲线上的所有点，寻找出曲线上两个距离最远的点，并绘制第一条线段，将这两个点连接起来。

（3）在曲线上各个点中寻找到该线段距离最远的点，分别连接第一条线段的两个端点到该点间的线段，得到第二条和第三条线段，形成第一个多边形。

（4）以此类推，不断寻找曲线上各个点中到已知多边形距离最远的点，并将这些点作为多边形新的端点，重新拟合多边形。

（5）算法迭代，直到满足迭代终止条件，即曲线上各个点到多边形的距离均小于终止参数dmin时，算法停止，此时得到的多边形即为曲线的拟合多边形。

采用的多边形拟合算法中的终止参数dmin是该算法的关键参数，该参数将直接决定拟合得到的多边形的复杂程度。同时，合适的终止参数，可以保证拟合得到的多边形既能描述葵花籽真实轮廓的关键信息，如边缘虫蚀，又能自动去除会造成干扰的冗余信息，如葵花籽边缘自然形成的微小凹陷。本文通过试验，确定该参数为葵花籽轮廓总长度的0.005倍，使用该值能够获得理想的多边形拟合效果，为边缘虫蚀特征提取奠定良好的基础。

4.2.3 边缘虫蚀特征的提取 通过对葵花籽真实边缘轮廓进行拟合，能够得到葵花籽边缘轮廓拟合多边形，并对该多边形的凹凸性进行判断［13］。若多边形为凹多边形，则说明葵花籽边缘轮廓存在内凹，有边缘虫蚀；若多边形为凸多边形，则说明葵花籽边缘轮廓无内凹，不存在边缘虫蚀。

5 结束语

虫蚀葵花籽严重影响食用葵花籽的品质质量。采用虫蚀葵花籽自动化识别分选技术取代人工分选，是食用葵花籽工业化加工的迫切需求和必然发展趋势。本研究介绍了一种基于机器视觉的虫蚀葵花籽识别分选方法，通过对两类不同虫蚀特征的分析和提取，实现了单个及多个葵花籽个体中虫蚀葵花籽的识别，为实现虫蚀葵花籽的自动化识别和分选提供了有效手段。本研究对于籽实类农产品分类、识别等问题的解决与研究同样具有一定的参考和借鉴意义。

1 田绪顺，李景彬，坎杂，等.基于机器视觉的红枣双面检测分级装置设计［J］.食品与机械，2012，28（5）：138～140.

2 侯彩云，李慧园，尚艳芬.稻谷品质的图像识别与快速检测［J］.中国粮油学报，2003（4）：80～83.

3 周一红.西瓜子智能识别系统核心技术研究与实现［D］.苏州：苏州大学，2007.

4 黎移新.柑橘病虫害疤痕的计算机视觉识别［J］.食品与机械，2009，25（3）：78～81.

5 施健，何建国，张冬，等.基于计算机视觉鲜枣大小分级系统研究［J］.食品与机械，2013，29（5）：134～137.

6 中国国家标准化管理委员会.GB／T 11764—2008葵花籽［S］.北京：国家标准出版社，2008.

7 刘金，金炜东.噪声图像的快速二维Otsu阈值分割［J］.计算机应用研究，2013（10）：3 169～3 171，3 200.

8 Otsu N.A threshold selection method from gray level histograms［J］.IEEE Transactions on Systems Man and Cybernetics，1979（1）：62～66.

9 冯珂，朱敏，钟煜，等.一种改进的Canny边缘检测AGT算法［J］.计算机应用与软件，2012，29（3）：265～300.

10 谢明鸿，张亚飞，付琨，等.一种基于矩和支配点检测的多边形拟合算法［J］.模式识别与人工智能，2007，20（2）：219～224.

11 Shen C T.Using cross－ratios to model curve data for aircraft recognition［J］.Pattern Recognition Letters，2003（24）：2 047～2 060.

12 Ediz Saykol，Gürcan Gülesir，Ugur Güdükbay，et al.KiMPA：A kinematics－based method for polygon approximation［J］.Lecture Notes in Computer Science，2002，2 457：186～194.

13 丁健，江南，芮挺.基于边方向角长度表示的多边形方向、凹凸性及点包含算法［J］.计算机辅助设计与图形学学报，2005（6）：1 233～1 239.