基于机器视觉的表针自动码垛系统

珠海格力电器股份有限公司 广东珠海 519000

1 设计背景

随着全球钟表工业的迅猛发展，国内钟表市场竞争加剧。传统的表针生产过程中，采用人工码垛的工作模式,不仅效率低,人力成本高,而且常因操作不慎而造成表针损伤，提高了表针的次品率。表针自动码垛系统作为新型智能化精密设备,不仅能提高生产效率,降低劳动强度,而且能提高产品质量[1],对于钟表工业的产业升级而言具有重要意义。

机器视觉技术能有效解决表针自动码垛系统对精度和智能化的苛刻要求,只需要针对具体表针制作相应的模板,在表针自动码垛系统中应用机器视觉技术，实现对多种不同规格表针的灵活处理。在机器视觉的辅助下，表针自动码垛系统对环境的依赖性相对较低,并且可以有效提升整体稳定性[2]。平面关节型机器人因具有较高速度和精度、较大自由度、较小安装空间等优点，在工业自动化生产中得到了大规模应用[3]。搭配机器视觉技术的平面关节型机器人能够获取更多外部环境信息，实现对动态目标的识别及定位,并通过动态调整末端治具的空间位姿，实现对目标的智能抓取[4],大大提升系统的柔性和智能化程度。

笔者设计了基于机器视觉的表针自动码垛系统,可以完成对多种不同规格表针的自动码垛。这一系统主要由机器视觉模块、平面关节型机器人模块、可编程序控制器模块和运动机构等组成。机器视觉模块负责图像采集、手眼标定、图像处理等,可以对送料转盘上随机分布的表针进行识别与定位。平面关节型机器人模块在机器视觉模块的引导下，完成对表针的精准抓取和码垛。可编程序控制器模块与运动机构实现有效衔接和配合,并整体统筹设备的高效运行和异常处理。这一系统定位精度高，码垛效率高，并且稳定性高,达到了预期的研发目标，满足了工业要求。

2 系统硬件

表针自动码垛系统主要由工业相机、工业镜头、工业光源、工控机、平面关节型机器人、送料转盘、料盘升降机构、旋转吸嘴、X/Y移动平台、可编程序控制器和触摸屏等零部件组成,总体结构如图1所示。

▲图1 表针自动码垛系统总体结构

工业相机固定安装在平面关节型机器人第二手臂前端,平面关节型机器人运动时不仅结构紧凑美观,而且节约空间。选用搭配ON Semiconductor MT9P031感光芯片的德国Basler acA2500-14gm工业相机,分辨率为2 592像素×1 944像素。选用日本RICOH FL-BC1618-9M工业镜头,焦距为16 mm，视场为80 mm×80 mm,视觉定位精度为0.05 mm。选用日本EPSON LS3-401S平面关节型机器人,臂展为400 mm,负载为3 kg,重复定位精度为±0.01 mm,满足系统0.1 mm的定位精度要求。选用直径为400 mm、厚度为8 mm的普通半透明茶色玻璃材料送料转盘,由高精度三坐标测量仪测量得到整体平面度为0.04 mm,有效保证平面关节型机器人吸取表针的成功率和稳定性。对于同等规格尺寸的钢化玻璃和光学玻璃,经过多次验证，其整体平面度分别约为0.5 mm和0.15 mm,平面度较差,无法满足系统0.1 mm的平面度精度要求。表针在送料转盘上为随机分布,为了有效识别表针的位置信息和正反面信息,设计了一种新颖的照明方案。利用送料转盘的半透明特性,在表针待吸取区域的上方和下方分别安装一个组合条光源和一个背光源。通过送料转盘上方组合条光源采集的图像，可以提取表针的正反面特征。通过送料转盘下方背光源采集的图像，可以提取表针的几何轮廓特征。结合正反面特征图像和几何轮廓特征图像，可以确定送料转盘上待吸取区域内每一根表针的位置和正反面信息,然后控制平面关节型机器人自动吸取表针。

3 系统软件

应用以机器视觉技术为核心的表针自动码垛系统,要进行手眼标定,建立图像坐标系与平面关节型机器人坐标系之间的映射关系,确保平面关节型机器人对表针自动抓取的准确性和稳定性。手眼标定完成后,由可编程序控制器分别触发送料转盘上方的组合条光源和送料转盘下方的背光源,工业相机分别采集图像1和图像2,利用几何轮廓定位和斑点分析等图像处理技术,结合图像1和图像2提取出送料转盘上待吸取区域内的表针特征,包括位置信息和正反面信息。如果在待吸取区域内没有发现表针,则可编程序控制器控制送料转盘旋转20°,进入新的待吸取区域。重复以上流程,直到发现表针。码垛好的表针应正面向上,反面向上的表针需经过翻转机构翻转为正面向上后才能码垛,因此翻转机构的效率成为制约整个码垛系统节拍的瓶颈。为了提高码垛系统的整体效率,减少过程等待时间,对正面表针和反面表针进行间隔交替码垛。正面表针由平面关节型机器人吸取之后，直接码垛放在料盘上。反面表针由平面关节型机器人吸取之后，放在旋转吸嘴上,旋转吸嘴旋转180°，将反面表针翻转为正面表针后，再进行码垛。正面表针和反面表针间隔交替码垛,直到送料转盘上待吸取区域内的表针全部被码垛,再由可编程序控制器控制送料转盘旋转20°，重新采集图像获取新的表针特征。如果当前料盘放满表针,那么可编程序控制器控制料盘升降机构，将层叠的空料盘举升一个料盘的高度,将放满表针的料盘下降一个料盘的高度,再由运动机构自动更换新的空料盘后继续码垛。如果空料盘用尽，那么发出声光报警，并停止码垛系统工作,提醒人工更换料盘，同时在送料转盘上添加新的表针。表针自动码垛系统工作流程如图2所示。

4 表针吸嘴优化设计

表针被拾取过程中，所受到的力有范德瓦耳斯力、表面张力、静电力、吸附力和重力等。表面张力可以通过恒温恒湿环境减小,静电力可以通过接地、去静电处理等方式减小,因此，表针被拾取过程中只需要考虑范德瓦耳斯力、吸附力和重力的影响[5],并满足以下条件:

Fvdw+Fvac>fvdw+G

(1)

式中：Fvdw为表针与表针吸嘴之间的范德瓦耳斯力；Fvac为吸附力；fvdw为表针与送料转盘之间的范德瓦耳斯力；G为表针的重力。

范德瓦耳斯力由H/(6πz3)计算得到。H为哈马克常数,一般为0.4×10-19～4×10-19,z为目标与接触面之间的距离。

实际Fvdw和fvdw之间的关系为:

Fvdw-fvdw≥0

(2)

Fvac是由表针吸嘴内部真空回路与大气之间的压力差而产生的,其计算式为:

Fvac=SΔp=πr2Δp

(3)

式中：S为吸附面积；Δp为真空回路与大气之间的压力差；r为表针孔心半径。

针对表针细小、轻薄及部分存在镂空的特点,同时为了满足多种不同规格表针的拾取,笔者根据表针拾取过程中的应力分析，优化设计了表针吸嘴结构,如图3所示。

这一表针吸嘴吸针端模仿表针形状设计为细条状,拾取表针过程中不会对附近表针造成任何影响。端面均布五个直径为0.4 mm的通孔,不仅吸附力强,而且可以补偿结构误差,提高系统鲁棒性。

5 手眼标定的应用

手眼标定通过求取相机内外参数来获取目标物体在平面图像中的像素坐标与平面关节型机器人空间坐标之间的映射关系,从而确定目标物体在平面关节型机器人空间中的位姿信息[7-8]。在实际工程应用中,为了实现平面关节型机器人对表针的精确拾取,需要充分考虑镜头的加工和装配误差导致的非线性畸变,相机成像关系在线性模型的基础上加入畸变的非线性部分[9-10]。工业相机线性几何成像模型可表示为:

▲图3 表针吸嘴结构

=M1M2XW=MXW

(4)

式中：s为比例因子；fx为u轴上的尺度因子；fy为v轴上的尺度因子；R为3×3正交单位矩阵；t为三维平移向量；O=(0,0,0)T;M为3×3投影矩阵;(u0,v0)为图像坐标系的原点；(XW,YW,ZW)为世界坐标系的坐标点；M1为工业相机外部参数,由fx、fy、u0、v0决定；M2为工业相机外部参数，由工业相机相对于世界坐标系的姿态决定。

非线性畸变主要由径向畸变和切向畸变引起,矫正模型可表示为[11]:

(5)

式中：(xp,yp)为理想的平面图像归一化坐标点；(xd,yd)为畸变的平面图像归一化坐标点；k1、k2、k3为径向畸变参数；p1、p2为切向畸变参数。

表针自动码垛系统基于Halcon图像处理平台进行手眼标定,标定板由圆心距为5 mm的7×7圆点矩阵及左上角确定坐标系方向的黑色三角块构成,如图4所示。在实际工程应用中,为了获得良好的标定精度,需要遵循以下原则:① 获取10到20张不同姿态的标定板图像，用于手眼标定;② 避免标定板图像出现反光现象;③ 标定过程中镜头光圈不能改变,如果手眼标定完成后更改镜头光圈,那么需要重新标定;④ 标定过程中工业相机相对于平面关节型机器人的空间姿态不能改变;⑤ 获取的标定板图像需要以不同的角度和倾斜度覆盖整个相机视野;⑥ 标定板以占据1/4相机视野为佳。同时,为了便于码垛系统简洁和高效运行,使平面关节型机器人坐标系与世界坐标系重合[12]。此外,鉴于表针平放在送料转盘上,即在平面关节型机器人空间中表针的高度保持不变,可以通过示教的方式直接确定表针在平面关节型机器人空间坐标系中的固定值。通过九点标定法,在相机视野中表针待拾取区域内最大范围均布九个点,类似于田字,获取这九个点的平面图像像素坐标,并通过示教的方式获取这九个点的平面关节型机器人空间坐标,代入Halcon图像处理平台，即可完成手眼标定。

▲图4 标定板

6 表针正反面有效识别算法

为了实现对多种不同规格表针的自动识别与定位,需要根据不同表针制作相应的标准模板,模板信息包含表针的几何轮廓特征和正反面特征[13]。表针几何轮廓特征通过送料转盘下方背光源采集的图像提取,如图5所示。表针正反面特征通过送料转盘上方组合条光源采集的图像提取,如图6所示。

▲图5 表针几何轮廓特征提取图像

几何轮廓特征提取主要基于几何轮廓匹配图像处理算法进行。在几何轮廓特征提取图像中，选择任意一根表针作为模板，制作目标表针。创建矩形感兴趣区域，覆盖目标表针。矩形感兴趣区域比目标表针最小外接矩形略大,保证目标表针的所有几何轮廓特征都会被提取。矩形感兴趣区域中心坐标大致位于目标表针正上方,保证后续平面关节型机器人能准确到达表针的正上方。同时调节最小匹配度,保证几何轮廓特征提取图像中的所有表针都能够被正确识别与定位,获取每根表针相对于目标表针的旋转平移齐次矩阵。正反面特征提取主要基于斑点分析图像处理算法进行。在图像中，正反面特征表现为凸台向下像素灰度值较大,凸台向上像素灰度值较小。根据末端装配孔处的凸台朝向,可以判断表针正面向上还是反面向上。在正反面特征提取图像中，再次选择同一模板制作目标表针,创建圆形感兴趣区域覆盖末端装配孔。圆形感兴趣区域比装配孔外圈最小外接圆形略大,圆形感兴趣区域中心坐标大致位于装配孔中心。如果圆形感兴趣区域中存在一定面积的白色反光区域,那么代表对应表针正面向上,反之代表对应表针反面向上。通过设置圆形感兴趣区域像素灰度值直方图中白色反光区域灰度值上限、灰度值下限及最小面积作为判断阈值,同时使圆形感兴趣区域跟随每根表针的旋转平移齐次矩阵作相对运动,这样可以对正反面特征提取图像中每根表针是正面向上还是反面向上进行有效区分。

▲图6 表针正反面特征提取图像

7 试验验证

针对多种不同规格的表针分别进行试验验证,表针自动码垛系统都能实现对送料转盘上任意摆放的表针进行自动识别定位与码垛,运行主界面如图7所示。经过多次长时间的系统测试和统计分析,这一系统手眼标定精度为0.65像素,重复性与再现性精度为0.05 mm,表针识别率为99.8%,综合码垛效率为1 300个/h,远高于目前的人工码垛效率800个/h。这一基于机器视觉的表针自动码垛系统不仅定位精度高,而且码垛效率高,同时具备良好的稳定性和鲁棒性,可以满足实际工业生产要求。

▲图7 表针自动码垛系统运行主界面

8 结束语

笔者基于机器视觉技术和平面关节型机器人技术,设计了表针自动码垛系统,并对其所涉及的关键技术进行了详细分析与研究。这一系统经过试验验证,可以实现多种不同规格表针的自动码垛,满足实际工业生产要求。

基于机器视觉的表针自动码垛系统能够高效、稳定地完成表针码垛工作,不仅大大提高了生产效率,节约人力成本,而且提高了自动化程度和产品质量,在钟表工业产业升级中具备良好的工业应用价值与广阔的市场推广前景。