面向薯片生产线上残次品筛选的视觉检测定位

应伟军，范兴铎，李映平

（浙江农林大学暨阳学院，浙江 诸暨311800）

0　引言

近年来，机器人技术在食品行业中得到了广泛应用，特别是一些自动化要求较高的食品行业。在薯片生产企业中，由于机器人技术的应用，不仅提高了薯片的生产效率，降低了劳动力成本，还有效保证了食品的安全，为企业带来了更大的经济效益。但在薯片质检岗位上，依然采用人工的方式进行薯片残次品的检查和剔除，其主要原因是目前大多数工业机器人仍利用“示教-再现”的方式，控制机器人完成点到点的工作[1-3]。人工质检薯片的方式不仅费时耗力，而且长时间工作会导致眼部不适，据报道人工检测最多只能够达到80%的有效性。针对以上问题，本文旨在研究一种薯片生产线上残次品筛选的视觉检测定位系统。由工业机器人和视觉系统来协调完成薯片残次品筛选的工作。

1　残次品筛选系统工作流程

本文设计的薯片残次品筛选系统工作流程如下，首先进行摄像机标定，完成世界坐标系和图像像素坐标系之间的转换；接着开启系统进行工作，薯片图像由工业相机采集，通过图像采集卡将采集的图像信号转换成数字信号传输给计算机，计算机通过OpenCV对图像进行预处理。预处理结束后，进行薯片残次品的识别和定位，并将定位坐标传输给工业机器人，由工业机器人完成拾取薯片残次品的拾取工作[4-5]。具体流程如图1所示。

图1　筛选系统工作流程

2　摄像机标定

摄像机标定是视觉系统实现测量工作的基础，要让机器人根据视觉信息完成目标动作，必须完成像素坐标系（Ouvuv），世界坐标系（O-XwYwZw）之间的转换，使图像中的点跟与工作平面中的点对应起来，这就要进行摄像机的标定，实现坐标系在世界坐标系下的统一[6]。其坐标关系如图2所示。

（1）摄像机坐标系与世界坐标系之间的关系

摄像机坐标系与世界坐标系之间的关系可通过旋转矩阵和平移矢量来描述，具体关系式如下：

其中（x，y，z）为摄像机坐标系，（Xw，Yw，Zw）为世界坐标系，R为3×3的正交旋转矩阵，T为3×1的平移矢量。

（2）图像坐标系与摄像机坐标系之间的关系

图像坐标系与摄像机坐标系之间可通过数学相似三角形相关原理获得：

其中（X，Y）为图像坐标系，f为焦距。图像坐标系与像素坐标系之间的转换关系[7]

图像坐标系与像素坐标系之间的转换关系如下式所示：

其中（u0，v0）为图像坐标系原点，sx，sy为单位长度上的像素数量。

由以上（1）、（2）、（3）所得世界坐标系与像素坐标系之间的关系为：

3　薯片图像预处理

通过视觉进行薯片残次品识别定位之前需要进行薯片图像预处理工作。预处理主要包括图像滤波去噪和二值化处理。在图像采集过程中，虽然薯片颜色与工作台面的颜色有较大的区别，但薯片的图像质量依然会受到照射光源强弱和光线均匀性、工作台面平整度和反光等因素的影响，而这些干扰因素将会大大降低图像质量，因此本文通过OpenCV视觉库采用图像双边滤波的方法进行图像降噪处理，尽可能减少干扰信号。接着将对图像进行二值化处理，本文采用了动态阈值寻找最佳二值化图，大大缩短了二值化处理的工作量。其主要代码如下所示：

//双边滤波

bilateralFilter（srcImg，filterImg，30，25*2，25/2）；

//灰度图像

cvtColor （filterImg，grayImg，COLOR_BGR2GRAY）；

//动态二值化处理

for（int i=100；i<254；i+=2）

{

waitKey（200）；

threshold （grayImg， thresholdImg， i， 255，THRESH_BINARY_INV）；

imshow（"二值图像"，thresholdImg）；

}

通过二值化处理后的图像如图所示，图3为薯片残次品原图，图4为薯片残次品二值化图。

图3　为薯片残次品原图

图4　薯片残次品二值化图

4　薯片残次品的识别与定位

目标对象的识别方法通常分为两类：相关性匹配法与特征匹配法。相关性匹配法通过比较待测图像和模板图像之间的相关性来判断目标对象，其最经典的方法是逐点匹配法，逐点匹配法通过对待测图像和模板图像进行逐行逐列扫描匹配实现。这种方法抗干扰能力强，能够胜任较复杂的外界环境，但也使得该匹配方法的计算量大大增加，图像处理耗时、效率低下，因此相关性匹配法适用于响应速度慢、而匹配精度要求高的场合。特征匹配法仅匹配待测图像和模板图像的个别或某些特征，比如周长、面积、特征角点、图片质量等。因此大大减少了计算量，提高了图像处理的效率，保证了图像识别实时性，但由于匹配特征少，使得特征匹配法的抗干扰能力差。所以特征匹配法适用于外界干扰较小并要求响应速度快的场合[8]。

在薯片生产线中，工作台面与薯片颜色区别较大，工作台面无其他杂物，相机与室内光源比较稳定，因此在薯片残次品识别中外界干扰较少。此外，相机需要捕捉移动中的薯片轮廓，进行图像处理，并将处理结果传送给工业机器人进行薯片残次品的拾取，因此在保证硬件设备响应速度前提下，图像处理环节中也应具有较高的实时性。根据实际情况，本文选择特征匹配法中的面积匹配进行薯片残次品识别。选用面积匹配法，其原因在于：（1）薯片生产中，具有严格配方和工艺流程，并且通过同一模具生产，因此生产出来的完整薯片间的面积差较小；（2）薯片残次品筛选中，目的为了筛选缺口大的残次品，较小缺口和微小变形的薯片视为合格品；（3）面积匹配法算法简单、效率高、实时性好，保证识别精度前提下，提高薯片图像处理实时性，为后续提高定位速度提供保证。图5为本文薯片残次品识别流程图。

图5　薯片残次品识别流程图

面积匹配法主要通过OpenCV进行图像轮廓识别，再进行轮廓内像素点计算，计算所得像素点与预设值进行比较，若计算结果小于预设值即可判定为薯片残次品。具体方法如下：

假设图像的长和宽分别为M、N，像素值为P（i，j），P（i，j）的值只能为 0 或者 1，i为像素坐标的横坐标，j为像素坐标的纵坐标，则对于二值化图像而言，图像的面积为：

其中A表示薯片像素点面积。

本文通过实验视觉系统对100片完整薯片进行面积测量，并通过像素尺寸和物理尺寸的转换，可得薯片面积在185 mm2～193 mm2之间，面积幅度较小，这与薯片尺寸相符。因此通过实验数据和厂方要求，将薯片合格品面积设定为大于等于180 mm2.

本文薯片残次品定位方法采用质心定位，薯片残次品质心坐标可表示为：

式中，u，v表示质心点坐标。

其主要代码如下所示：

//寻找轮廓

vector＜vector＜Point＞＞ contours；

vector＜Vec4i＞ hierarcy；

findContours （thresholdImg，contours，hierarcy，RETR_TREE，CHAIN_APPROX_SIMPLE）；

//求轮廓面积

double value_contour=contourArea（contours[1]，false）；

//计算轮廓的质心，画出质心，实心圆

circle（ filterImg，mc[1]，6，Scalar（ 0，255，0），-1，8，0）；

薯片残次品识别和质心定位图如图6所示。

图6　薯片识别定位图

5　实验

5.1　系统搭建

薯片残次品筛选系统主要由Staubli-TX90XL工业机器人、康耐视7200型号工业相机、编码器、传送带组成。实验设备场景如图7所示。

图7　实验设备场景图

5.2　实验步骤及结果分析

本实验首先进行摄像机标定，完成世界坐标系和像素坐标系之间的转换；接着利用OpenCV视觉库对图像进行预处理，预处理包括双边滤波、动态二值化处理，本文所提的动态二值化处理能够帮助快速得到最好的二值化效果图；然后通过特征匹配法中的面积匹配进行薯片残次品的识别，并进行定位。

识别定位实验分为两部分，第一部分是流水线的视觉检测区域内随机摆放了薯片残次品，记录视觉识别的残次品质心位置和实际质心位置并进行比较，观察其误差值。第二部分是将含有10片残次品的一些薯片随意放置在流水线上，如图8所示。流水线上薯片依次通过工业相机检测，观察工业机器人残次品拾取完成率。

图8　薯片残次品识别定位实验图

第一部分视觉识别定位实验中，视觉识别的残次品质心位置和实际质心位置如下表所示，并通过差。通过实验得到质心位置偏差均小于2 mm，能够满足工业机器人拾取要求。

第二部分实验是流水线上薯片依次通过工业相机检测，观察工业机器人残次品拾取完成率。实验结果表明，本文设计的薯片残次品识别定位系统均能识别10片残次品薯片并进行定位，工业机器人也能完成相应拾取工作。

6　结束语

本文提出了一种薯片残次品视觉检测方案，采用Open CV视觉库进行残次品的识别定位，实验结果表明本文所提方案具有一定可行性和可靠性，实现方便，效率高。但由于本系统的实验次数少，未进行工厂长时间运行检验，因此离实际投产使用还需要一段时间。

参考文献：

[1]屠海斌.基于机器视觉的搬运机器人系统研究与软件实现[D].南京：东南大学，2015.

[2]周 娜.基于单目视觉的摄像机定位技术研究[D].南京：南京航空航天大学，2007.

[3]谢 云，杨宜民.基于单目视觉的自主足球机器人自定位研究[J].电路与系统学报，2006，11（1）：29-34.

[4]林 琳.机器人双目视觉定位技术研究[D].西安：西安电子科技大学，2009.

[5]梁 冰，洪炳铭，曙 光.基于视觉与行为模型的机器人目标跟踪[[J].通信学报，2004，25（1）：92-99.

[6]何 涛，赵燕伟，陈 建.面向单向器星轮自动化装配的视觉检测定位[J].计算机测量与控制，2015，23（5）：1460-1463.

[7]张宪民.机器人技术及其应用[M].北京：机械工业出版社，2016：172-176.

[8]寿开荣，钟鹏飞，陈 昆.基于机器视觉的锯条自动化装盒系统设计[J].计算机测量与控制，2015，23（12）：4060-4063.