包装生产线视觉上料控制系统研究

鲁刚强，叶霞

（1.成都农业科技职业学院，成都 611130；2.杭州师范大学钱江学院，杭州 310027）

在包装自动化生产线中，柔性上料装置的应用比较广泛。柔性上料大多采用抖动或旋转方式完成上料，通过振动调整物料姿态，机器人利用机器视觉完成物料识别和定位，最终完成物料抓取[1-2]。振动式上料过程可以描述为：首先将物料添加到某平台上，利用马达驱动该平台振动；通过设计不同振动模式实现物料移动或姿态调整[3]。该方式具有速度快、结构简单等诸多优势，但是振动效应会影响生产线中的精密器件、视觉模块等工作。振动会产生噪声，影响工厂工作环境；另外，振动上料的吞吐量比较大，一次振动会造成多个物料姿态发生变化，而抓取、包装等工艺往往针对某个特定物料，振动上料效率不高[4-7]。为解决此问题，需要设计一种目的性更强的柔性上料装置，即从物料传送带上抓取特定物料，将其放到包装生产线的特定位置，或者监视送料装置，判断当前视域内是否存在物料、物料是否存在缺陷。如果缺料，则命令机器人抓取物料进行填补；如果物料存在残缺，则剔除并替换新的物料。随着工业机器人技术的不断发展，机器视觉的应用越来越成熟，特别是“手眼”视觉系统相关研究越来越多。赵久强等[8]FlexiJet 柔性上料综合创新实验平台，可实现远程选料、柔性上料、视觉辅助、喷气调节位姿、机器人取放等功能。曹启贺[9]以KUKA 机器人为研究对象，确定了各坐标系之间的转换关系以及相关参数。谢丰隆等[10]以六自由度机械臂为研究对象，基于OpenCV 算法库设计了一种快速的标定方法，该标定方法结合标定板、霍夫变换和线性回归拟合，可获得准确的标定结果。

综上所述，文中以物料传送装置监视机器人为研究对象，设计一种包装生产线视觉上料系统，以实现物料检测、填料、补料等操作，并通过实验验证所述视觉上料系统的有效性。

1 摄像机成像原理

视觉成像是机器人正常工作的基础，因此文中首先阐述摄像机成像原理。摄像机成像过程类似于小孔成像，通过摄像机镜头成像将物体形状在相机成像平面展示出来。从本质上讲，摄像机成像的标定过程就是不同坐标系之间的关系换算。综合考虑，文中建立了4 种坐标系，即摄像机坐标系、图像坐标系、世界坐标系及图像像素坐标系，前3 种坐标系单位为mm，最后1 种坐标系单位为像素[11-12]。各坐标系示意图见图1。

图1 各坐标系Fig.1 Diagram of coordinate system

如图1 所示，世界坐标系为Ow-X wY w Zw，摄像机坐标系为Oc-X c Yc Zc，图像物理坐标系包含X和Y两轴，图像像素坐标系包含U和V两轴。通过刚体变换、透视投影、图像离散等几个图像处理方法便可将物体的世界坐标系进行转换，得到图像像素坐标。

2 视觉标定

所谓刚体变换，就是通过适当的平移和旋转将世界坐标系转换为相机坐标系，其转换过程可描述为：

式中：R为旋转变换矩阵；T为移变换矩阵。利用齐次坐标变换可以将式（1）进行转化，见式（3）。

式中：旋转变换矩阵R可分解为绕Xw轴的旋转矩阵α；绕wY轴的旋转矩阵β；绕Zw轴的旋转矩阵γ，即满足：

文中所述视觉系统，取机器人坐标系为世界坐标系，摄像机的光轴Zc和机器人Zw轴基本平行，可以理解为缸体变换过程中旋转角度α和β均非常小。根据上面的分析，如果忽略角度α和β点的影响，那么式（4）就可以表示为：

摄像机成像其实就是一个透视投影过程，通过确保像距和焦距相等便可保证实像的清晰度。根据相似三角形之间的关系，成像过程可以用式（6）进行描述。

通过摄像机得到图像后，为了后期图像的分析处理，需要将物理图像进行离散化处理，离散后的数据再传送到计算机中，即需要将物理坐标系转换为像素坐标系。

一般情况下，成像平面均匀分布一些传感器阵列。图像到达成像平面时，阵列上相应位置传感器会获得该区域的灰度值，即像素点。上述过程可称之为图像离散化，可描述为：

式中：dx为x方向上单位像素的物理尺寸；dy为y方向上单位像素的物理尺寸。由式（5）、（6）、（7）联合可以得到图像坐标系和世界坐标系之间的变换关系，即：

在包装过程中，物料的厚度与竖直平移坐标系相比可忽略不计，因此假设物料的高度为0，将式（8）进行简化处理后可得：

在得到原始图像后，计算机会利用图像二值化、轮廓提取等方法，获取物料的轮廓和中心；根据实际情况判断当前位置是否存在物料以及物料是否完整；若物料缺少或者是物料不完整，那么就可以根据视觉标定的结果得到完整的填充位置的坐标，同时将准确的坐标发送给视觉机器人，视觉机器人在得到准确的坐标值后，就会自动抓取物料填充到对应的位置[13-15]。

3 控制系统结构设计

基于包装生产线视觉上料控制系统的结构，见图2。该控制系统采用工控机作为总控制器，处理主逻辑流程。该工控机配有多个I/O 模块、RS232 和RS485通信模块、2 个以太网接口以及工业交换机等，可与机器人控制器、视觉采集模块、多个传感器相连接，实现控制指令下发和传感器信号接收等功能[16-17]。

图2 控制系统结构Fig.2 Structure of control system

文中选用ADT-8948A1 作为运动控制卡，该运动控制卡能够实现对机器人多个轴电机的同步运动控制。运动控制卡ADT-8948A1 是一种高性能、多轴伺服电机控制器，其内核有2 片专用的运动控制芯片MCX312，该芯片不仅支持DSP 架构，而且还拥有多种接口；该芯片具有编程简单、使用方便等特点。

文中伺服驱动器为MIINASA5，该款伺服驱动器具有较高的定位精度，且拥有较强的抗干扰能力，该款伺服驱动器同样具备转矩控制、速度控制以及位置控制3 种控制方式。通过该款伺服驱动器可以实现机器人的高精度定位以及定位精度反馈，从而实现机器人的闭环自动控制。

传感器信号获取模块主要用于获取机器人各轴位置，进而判断抓取执行末端的具体位置。视觉采集控制包括工业相机、图像采集卡以及视觉采集模块，工业相机选用高分辨率、大视域、快速响应类抗干扰相机。

人机界面为常见的触摸屏。

包装生产线视觉上料流程可以描述如下。

1）备用物料到位，由机器人通过视觉标定确定备用物料位置并存储其坐标，便于以后使用。

2）送料装置正常运转，借助机器人末端执行器的大视角工业相机采集送料装置图像。

3）通过图像处理判断当前物料是否完整或缺料。

4）如果物料残缺或缺料，则执行剔除操作，通过视觉标定获取目标位置坐标并传送至机器人，机器人根据物料坐标和目标位置坐标实现抓取、补料等操作。

4 实验测试

为了验证该系统的性能，进行了以下几个方面的测试，其测试内容主要包括定位精度、抓取速度以及填料成功率。

搭建前文所述控制系统并将其移植到某厂包装生产线，见图3。机器人连续工作1 h，传送速度分别设定为30、40、50、60、70、80、90、100、150、200 mm/s，每个传送速度下随机抽取100 个样本，计算定位精度并取平均值。首先，设定理论坐标值并存储到计算机；然后，根据设定值和反馈值之差生产控制信号并将其传送至机器人控制器；接着，驱动机器人完成相应动作；最后，记录机械手实际位置，具体结果见表1。

图3 实验装置Fig.3 Experimental device

由表1 可以看出，随着传送带速度增加，定位精度虽有下降，但是定位精度仍然很高，最大绝对误差只有0.7 mm，说明所述视觉上料控制系统具有较高的定位精度。

表1 实验结果Tab.1 Experimental results

在抓取速度方面，受益于工业相机和控制系统的快速响应能力，机器人完全可以适应传送带的高速度，基本不会出现漏抓、误抓的情况。实验表明，采用文中所述控制系统传送带速度可以达到220 mm/s。

在填料成功率方面，当传送带速度低于100 mm/s时，可以确保填料成功率为100%，当传送带速度增加，偶尔会出现误抓或漏抓情况，但是整体成功率仍可以达到99.5%以上。

综上所述，包装生产线视觉上料控制系统具有响应速度快、定位精度高、填料成功率高等优点，可满足包装过程高速、高精度要求。

5 结语

以包装生产线上料过程为研究对象，针对送料装置可能存在缺料或物料不完整等情况，设计了一种基于视觉的自动机器上料系统。文中着重论述了机器视觉标定的整个过程和控制系统的设计方法。对空料、物料不完整等情况，控制系统会自动剔除并抓取备用物料进行填补。根据实验得出的结果可知，该系统具有较高精度的定位、响应速度快等特点，可满足包装生产线的控制要求。下一步，可从物料形状识别、不同缺陷判定等方面入手，进一步增加系统功能，提高智能化程度。