图像处理耦合pLC的视觉引导与测量系统应用研究*

史小春，刘国庆，郑笔耕

(1.四川工程职业技术学院 计算机科学技术系，四川 德阳　618000；2.荆楚理工学院 电子信息工程学院，湖北 荆门　448000)



图像处理耦合pLC的视觉引导与测量系统应用研究*

史小春1，刘国庆1，郑笔耕2

(1.四川工程职业技术学院 计算机科学技术系，四川 德阳618000；2.荆楚理工学院 电子信息工程学院，湖北 荆门448000)

摘要：电视显示器组装工作量大，且精度要求高，如果依靠手工或者单纯机器来完成组装作业，往往不能保证产品质量。对此，文章提出了基于图像处理与pLC的视觉引导与测量系统来完成零部件panel的pBA压合作业。首先，对标定板进行目标识别，得出标准点的坐标和物理距离换算比例；随后，对panel目标进行识别，计算出偏移，并基于ModBus通信协议实现pC端软件与pLC交互，完成pLC补正，即视觉引导。在完成压合作业后，进行整体视觉检测，完成目标距离测量。实验测试结果表明：根据作业速度和准确度，与当前技术相比，文中机制具有更好的引导和测量效果，高效的完成压合作业，提高了效率和准确度。

关键词：视觉检测；pLC；图像处理；视觉引导；ModBus

0引言

随着产业结构调整和经济转型概念的深入和实施，电子制造业正在向智能机器化方向不断地发展。工厂开始越来越多的带视觉功能的机器代替作业员，实现自动化生产，这样不仅可以提高生产效率和产品质量，还可以节约人力成本，将宝贵的人力成本流向更需要的行业[1-4]。本文研究的主要问题是电视显示器生产过程中，重要零部件panel的pBA压合作业，用机器视觉引导机构pLC压合，然后机器视觉自动检测完成压合的产品质量，即panel的Connect与十字mark的间距是否在标准范围内。如果间距在标准范围内，则判为良品，否则判为不良。视觉引导功能体现在压合作业前，先计算出间距偏移，然后发送给机构pLC进行机械补正，完成补正后再压合。panel是电视显示器的重要零部件，按照以往的工作方法是安排熟练作业员，手动翻折panel的pBA并完成压合，再用人眼进行检查，是否压合准确。这样的缺点是作业时间长，效率低，同时存在主观误判。以往的工作方法还有是依靠不带视觉引导与检测的设备完成压合作业，然后基于人眼检查。这样的缺点是压合前的偏移并不能得到补偿，并且压合后人眼检查，依然存在误判，受人员主观影响。如果采用高倍工业相机实时取像，传送至带智能图像分析的pC机处理和检测，使设备具有引导和检查功能，将提高这个生产线的作业准确度和效率。

实际上，近几年来机器视觉测量技术已经在该领域内得到广泛应用，并且已在很大程度上推动了制造业发展[5-7]，尤其是在产品外观检测上面。目前，已有部分学者设计了相应的测量算法，并且达到了一定的效果[8-9]。这些算法的实验结果表明其具有良好的检测效果。

尽管上述这些测量机制能够取得较好的效果；但是当目标背景复杂或者特征不明显的时候，这些算法的测量精度较低，存在明显的测量偏差[10-12]。

对此，本文提出了一个基于图像处理与pLC的视觉引导与测量系统机制。并通过实验，验证了本文带视觉引导和测量的机制与传统机制的性能。

1本文整体引导与测量机制

本文测量的零部件为panel和标定板，panel上的两个十字mark与中connect是图像识别目标，识别完成后，得到三者物理坐标，容易计算出mark与connect间距。本文研究的标定板是panel的模板，标定板的圆和矩形，它们的中心点对应panel的mark、connect的中心点。如图1所示为标定板的三个待识别、测量的目标分别为：左圆、中间矩形、右圆。如图2所示为标定板panel的三个待识别、测量的目标分别为：左mark、中间connect、右mark。

图1　标定板

图2　panel中的目标

本文的机制主要是：先基于工业相机完成对标定板、panel实时图像采集。对标定板三个目标进行识别，得到目标图像坐标；同时计算出物理距离与图像距离的换算比例，标定板物理坐标为已知，即完成了系统标定。接着对panel三个目标进行识别，得到目标图像坐标；基于系统标定得到的标定板目标图像坐标、物理坐标、距离换算比例，得到panel目标的物理坐标。计算出panel目标mark与connect的间距，再与标准范围比较得出偏移，基于Modbus协议传递pLC完成机械补偿。最后完成压合作业，对panel三个目标整体视觉检测。整体机制流程如图3所示。

图3　本文机制架构

为了能够实现本机制，本文基于C++和OpenCV来实现本机制软件的引导、检测功能。基于串口和Modbus协议进行pC视觉软件与pLC的数据通信。本机制在标定板原图中用红色框标注，panel原图以绿色框标注，以展示识别效果。最后用OK或NG图标展示测量结果。

2标定板识别与系统标定

首先对标定板的圆、矩形进行识别，得出中心点图像坐标、圆半径、矩形长宽。由于标准件目标中心点物理坐标、物理长度是给定的，从而容易得到距离换算比例、panel目标中心点的物理坐标，如式(1)、(2)所示。

(1)

(2)

式(1)中，bili为物理距离与图像距离换算比例，Wuli_Distance为物理距离，panel_Distance为图像像素距离。式(2)中BWL、BWC、BWR为标定板左圆、中间矩形、右圆的物理坐标。pWL、pWC、pWR为panel左mark、中间connect、右mark的物理坐标。bili为物理距离与图像距离换算比例。BIL、BIC、BIR为标定板左圆、中间矩形、右圆的图像坐标。pIL、pIC、pIR为panel左mark、中间connect、右mark的图像坐标。

标定板目标(如图4、图8所示)识别步骤：

(1)灰度化处理，最大类间阈值分割[13]得到包含目标的二值图(如图5所示)。

(2)基于OpenCV函数cvFloodFill和Imfill对目标内部进行填充处理，见图6与图9。

(3)基于面积、形状度特征分析，评判是否识别到目标(如图7、图10所示)。 图中绿色框是经过图像识别后的目标标定框，代表识别到的目标位置。绿色标定框准确的围着标定板的圆形目标与矩形目标，代表本机制识别算法效果精准。

图4　原图

图5　二值图

图6　填充图

图7　定位效果图

图8　原图

图9　填充图

图10　定位效果图

标定板识别部分代码：

IplImage*imagei=cvCreateImage(cvGetSize(image1),IpL_DEpTH_8U,1);

cvCvtColor(image1,image,CV_BGR2GRAY);

cvCvtColor(image1,imagei,CV_BGR2GRAY);

IplConvKernel*element=cvCreateStructuringElementEx(5,5,1,1,CV_SHApE_RECT,0);

cvDilate( image, image, element, 1);

cvErode( image, image, element, 1);

cvSaveImage("D:/image.bmp",image);

CvMemStorage *storage=cvCreateMemStorage();

CvContourScanner scanner=NULL;

CvSeq *contour=0;

CvSeq *con=0;

Cvpoint pt1,pt2;

scanner=cvStartFindContours(image,storage,sizeof(CvContour),CV_RETR_CCOMp,CV_CHAIN_AppROX_NONE,cvpoint(0,0));

contour = cvEndFindContours(&scanner);

s=cvBoundingRect(con);

cvFloodFill(image,pt,cvScalarAll(255));

3基于ModBus通信协议的pC软件与pLC

交互

本机制基于串口和Modbus协议进行pC视觉软件与pLC的数据通信。先对panel目标Connect进行识别，与之前标定板标定数据得出panel目标Connect的物理坐标，再与标定板矩形框中心点物理坐标进行比较，得出偏移。然后传递给pLC进行机械补偿，传递方式基于串口、将偏移数值转换为16进制，根据Modbus协议格式传递给pLC偏移寄存器。pLC读取偏移寄存器数值后即实现机械补偿，并发送通知给视觉软件后，完成压合。最后视觉软件接收到压合作业完成消息后，开始进行整体的视觉检测。整体流程如图11所示。

图11　pLC与Vision软件交互整体流程图

4基于机器视觉的panel目标识别与测量

首先对panel的mark、connect进行识别，得出中心点图像坐标。由于标准件目标中心点物理坐标、距离换算比例已知，根据标系统式(2)，容易得到panel目标中心点的物理坐标。最后计算出mark与connect间距，并与标准范围比较，从而进行视觉测量与判断。

panel目标(如图12、图15所示)识别步骤：①灰度化处理，形态学处理得到包含目标的二值图(如图13所示)。②基于OpenCV函数cvMatchTemplate对目标进行模板匹配。③基于周长、形状度特征分析，评判是否识别到目标(如图14、图16所示)。

图12　原图

图13　二值图

图14　识别结果

图15　原图

图16　识别结果

panel目标识别部分代码：

cvSetImageROI(image,cvRect(xmin,ymin,xmax-xmin,ymax-ymin));

cvSetImageROI(imagei,cvRect(xmin,ymin,xmax-xmin,ymax-ymin));

IplImage*ROI=cvCreateImage(cvGetSize(image),image->depth,image->nChannels);

IplImage*src=cvCreateImage(cvGetSize(imagei),imagei->depth,imagei->nChannels);

IplImage*dst=cvCreateImage(cvGetSize(imagei),imagei->depth,imagei->nChannels);

cvCopy(image, ROI, NULL);

cvResetImageROI(image);

cvErode( ROI, ROI, element, 3);

cvAnd(src,ROI,dst,NULL);

CvScalar pixel;

5实验与讨论

为了验证本文机制的可行性与优越性，选取2组panel进行作业，每组100个。A组为本文机制下作业；B组为不带视觉功能的设备作业， 并将其视为对照组。经过统计，实验结果如表1所示。本机制在保证标定板、panel目标识别准确前提下，更快地计算出目标间物理距离，精准测量出目标距离。从表中可知，本文机制的准确度和效率明显优于B组，说明本文机制的自动化程度更高，更精确。

表1　测试数据表

图17、图18分别为本文机制标定板识别标定、panel目标识别测量的软件UI图。从图中可知，本文机制可成功识别标定板与panel目标、标定系统物理距离与图像像素距离换算比例、测量目标间物理距离，最后得出测量结果，从而实现的视觉引导和视觉检测的功能。

图17　标定板识别、标定系统软件UI图

图18　panel识别、测量系统软件UI图

为了比较不同算法的检测精确度，本文采用对同一枚panel检测，先用文献[11]的技术进行检测；然后再用本文机制检测，得出识别结果如图19、图20所示。可知，当目标背景有较大干扰时，本文算法的定位精度比传统技术要高，定位偏移非常小；而传统的异物定位技术产生了较大的偏移。

图19　文献[11]技术的识别结果

图20　本文技术的识别结果

6结论

为了实现panel pBA压合作业的自动化和精准化，依靠不带视觉引导与检测的设备，较困难的问题，本文提出了一个基于OpenCV与pLC的视觉引导与测量系统，来完成零部件panel的pBA压合作业。首先，对标定板进行目标识别，再对panel目标进行识别，计算出偏移。然后，计算出系统物理距离与图像像素距离换算比例。并基于ModBus通信协议实现pC软件与pLC交互，完成视觉引导。最后进行视觉检测，完成目标距离测量。实验测试结果表明：本文机制具有更好的引导和测量效果，提高了效率和准确度。

[参考文献]

[1] 刘振宇, 李中生, 张涛. 基于机器视觉的码垛机器人系统研究[J]. 组合机床与自动化加工技术，2014(4)：9-14.

[2] 袁清珂, 张振亚, 吴晖辉，等. 基于机器视觉系统的自动检测系统设计与开发[J]. 组合机床与自动化加工技术，2014(11)：119-121.

[3] 赵霁文.机器视觉测量中成像系统光瞳球差对测量影响的研究[J]. 光学与光电技术，2014, 36(4)：181-185.

[4] 隆昌宇. 移动视觉测量中基于空间交会的匹配方法[J]. 光学学报，2014, 21(7)：1906-1913.

[5] 马品奎. 超塑性自由胀形的双目立体视觉测量研究[J]. 金属学报，2014, 33(10)：2886-2890.

[6] 许晓臣. 基于CUDA的动态视觉测量像面特征点中心快速定位算法[J]. 计算机工程与科学，2014, 23(2)：371-376.

[7] Noori H, Saryazdi S. A bilateral image inpainting [J]. IJST Trans Electr Eng，2011, 25(E2)：95-108.

[8] 李虹. Bp神经网络在列车异物检测中的应用[J]. 统计与管理, 2014,18(15)：482-4387.

[9] JEhmann, Tpappas, DNeuhoff. Structure Texture similarity metrics for image analysis and retrieval [J]. IEEE Transactions,, 2013, 22(7): 2545-2258.

[10] 龙水军. 基于彩色轨迹引导的AGV视觉导航方案研究[J]. 工具技术, 2014,18(15)：42-47.

[11] 郭新年, 白瑞林, 王秀平. 结构光视觉引导的焊接机器人系统自标定技术[J]. 计算机工程与应用，2013, 50(9)：262-267.

[12] Y Kuang, L Zhang, Z Yi. An Adaptive Rank-sparsity K-SVD Algorithm for Image Sequence Denoising [J]. pattern Recognition Letters，2014, 33(17)：1021-1032.

[13] Xu X Y,Xu S Z,Jin L H, et al.Characteristic Analysis of Otsu Threshold and Its Applications. pattern Recognition . 2011,2(1):124-128.

(编辑李秀敏)本刊欢迎订阅!

欢迎在线投稿!

欢迎刊登广告!

http:∥www.zhjcz.com.cn

The Study on Visual Guide and Measure System Based on Image processing and pLC

SHI Xiao-chun1,LIU Guo-qing1,ZHENG Bi-geng2

(1.Department of Computer Science Technology, Sichuan Engineering Technical College, Deyang Sichuan 618000, China;2. College of Electronics and Information Engineering ，Jingchu University of Technology, Jingmen Hubei 448000, China)

Abstract：In the flat panel computer assembly workload, and the accuracy requirement is high, if rely on manual or simple machines to complete the assembly work, often can not guarantee the quality of products. Therefore, this paper presents a vision based guidance and measurement system of OpenCV and pLC, to complete the components of panel pBA press operation. First of all, the calibration board for target recognition, it is concluded that the standard point coordinates and the physical distance conversion ratio; then, to identify panel targets, calculate the offset, the realization of pC client software to interact with the pLC communication protocol based on ModBus, complete the pLC correction, namely visual guide. Finally, the pressing operation is completed, the overall visual inspection, the completion of the target distance measurement. The experimental results show that: according to the operating speed and accuracy, compared with manual operation, simple machine operation, guiding and measuring effect this mechanism has better, efficient completion of the pressing operation, improve the efficiency and accuracy.

Key words：machine vision; pLC; image processing; visual guide; ModBus

中图分类号：TH166;TG506

文献标识码：A

作者简介：史小春(1978—)，男，四川渠县人，四川工程职业技术学院讲师，硕士，研究方向为计算机应用与自动化控制、模式识别，(E-mail) SCGCZYShixiaoC1978@163.com。

*基金项目：四川省科技支撑计划(2011GZ0149)；四川省创新基金(YJCX20110014)

收稿日期：2015-03-02