切片机烟包切层霉变及杂物视觉识别系统

苏伟东，伍颖翔，程棉昌，张钊毅，冯志斌

（广东中烟工业有限责任公司广州卷烟厂，广东 广州 510385）

0 引言

制丝车间现有霉变烟和杂物的检测方式是人工观察。虽对员工进行了检测标准的培训上岗，但标准的执行过程中存在因人而异，无法统一现象，且检测效率会随着检测人员的工作时长而下降，容易出现漏检现象。所以这种人工观察方式较落后，不利于规范化管理。

因此，探索研制一套适应切片机烟包切层霉变及杂物视觉识别系统，以智能技术方式检测霉变烟和杂物，提高制丝生产线的自动化控制水平，稳定烟草产品内在质量，实现企业生产自动化、智能化，提升卷烟生产水平。

1 整体方案设计

1.1 系统硬件设计

系统结构见图1，主要包括烟包切层霉斑和杂物硬件检测平台和烟包切层霉斑和杂物软件检测系统。烟包切层霉斑和杂物硬件检测平台主要包括光源、CCD工业相机、固定装置等。检测系统通过网络与相机相连，实时获取烟包的切面图像，按烟包批次信息保存图像，并快速地进行霉斑和杂物检测，如果检测到当前切层有霉斑和杂物，则立刻报警。烟包在推送装置的作用下向前位移，进入待切割区域后停止推送。切割完成后，烟包切割系统（或中控系统）将控制信号传给检测系统，检测系统控制工业相机获取烟包图像，并检测是否存在霉斑和杂物，如果检测系统发现有霉斑或杂物，则检测系统发出声光报警，通知现场操作人员进行查验。操作人员对每条报警记录进行查验，查验后确认有霉变或杂物的通过按钮确认。

图1 系统结构示意图

1.2 光学系统的设计

光学系统主要包括工业相机和光源。工业相机的分辨率应该根据所要检测的物体的大小和要求的检测精度来确定，由于检测的烟包切面大小约为（1000×1000）mm，检测的杂物面积最小为（20×20）mm，为增加系统稳定性不会只用一个像素单位对应一个测量精度值，故单向分辨率至少为50×20，由于相机并非正对烟包切面，要保证烟包处于视野范围内，故假设烟包占整个相机视野范围的一半，要求分辨率应至少为200万像素。在此方案中工业相机应用在切割烟包的过程中，在相机曝光时间内烟包不发生位移，所以应该采用CCD芯片的面阵工业相机，由于对系统对采集速度没有太大要求，取参考帧率为20～30fps。由于工业相机距离工控机距离较远，故选择的通信接口形式为GigE接口。综合以上考虑，本方案选择大恒图像生产的CCD工业相机MER-201-25GC，相机的相关参数如下图所示，满足本项目要求。相机安装位置距离烟包切面中心约为1200mm，结合相机的靶面大小，选择大恒图像的9mm定焦镜头，型号为HN-0914-2M-C2/3X。

机器视觉中的光源主要起到以下三个作用：

（1）照亮目标，提高亮度。

（2）形成有利于图像处理的成像效果，降低系统的复杂性和对图像处理算法的要求。

（3）克服环境光干扰，保证图像稳定性，提高系统的精度、效率。

LED（发光二极管）光源以其形状自由度高，使用寿命长、响应速度快、单色性好、颜色多样、综合性价比高等特点在机器视觉行业内广泛应用。因此本方案选择LED光源作为视觉检测系统的光源。LED光源按形状可以分为环形光源、背光源、条形光源等。其中条形光源是较大方形结构被测物的首选光源，颜色可根据需求搭配，自由组合，照射角度与安装随意可调，因此在此方案中首选条形光源。同时由于烟包的霉变和异物多为白色或相近颜色，故首选白色光源对异物有较好的反射效果。综上，本方案选择大恒图像生产的DHK-L系列的白色条形光源对检测目标进行照明。

1.3 安装方案的设计

如图2所示，拍摄前方的工业相机通过工业相机支撑架固定在烟包切片机机架上的压板导轨侧面，工业相机支撑架可上下或者左右调节工业相机的拍摄方向，光源通过光源固定架固定在压板两侧的烟包切片机机架立柱上。拍摄下方的工业相机通过工业相机支撑架固定在传送带上方的烟包切片机机架上，工业相机支撑架可上下或者左右调节工业相机的拍摄方向，光源通过光源固定架固定在工业相机下方。

图2 工业相机和光源的安装位置示意图

如图3所示，工业相机支撑架包括工业相机连接角码、光轴、立式光轴支撑座、十字光轴固定夹和菱形光轴支撑座。工业相机通过螺钉与工业相机连接角码固定。工业相机连接角码通过螺栓与立式光轴支撑座固定。光轴与立式光轴支撑座上的孔配合，立式光轴支撑座可在光轴上滑动，可通过紧定螺钉将光轴与立式光轴支撑座固定。光轴与十字光轴固定上的孔配合，十字光轴固定夹可在光轴上滑动，可通过紧定螺钉将光轴与十字光轴固定夹固定。光轴与十字光轴固定夹上的孔配合，十字光轴固定夹可在光轴上滑动，可通过紧定螺钉将光轴与十字光轴固定夹固定。光轴与菱形光轴支撑座上的孔配合，可通过紧定螺钉将光轴与菱形光轴支撑座固定。菱形光轴支撑座通过螺钉固定在烟包切片机机架上。

图3 工业相机支撑架结构示意图

1.4 检测算法设计

本方案使用传统的计算机视觉技术对烟包对切层进行霉变和杂物的检测。检测算法采用C++作为主要开发语言，利用开源计算机视觉库OpenCV实现相关功能，分别对两个相机采集的图像进行计算。相机检测算法流程见图4。

图4 侧边相机检测算法流程

由于侧边相机安装位置倾斜，故需要对图片进行透视变换，从而将切面图片进行矫正。将透视变换矩阵保存至配置文件，处理时直接读取，针对第一面和后面的切面分别设置了两个不同的变换矩阵。

由于光照原因，图像中烟包范围亮度不均匀，部分过暗，因此需要对图片进行亮度的调整。首先采用伽玛变换的方法对图像整体进行调节，消除过亮和过暗的区域，对图像进行渐变叠加的亮度调整。

检测区域分割。为了正确识别出烟包切面的霉变情况，需要分割出烟包区域的范围，本课题采用传统机器视觉的分水岭分割算法，根据先验图像将图像分割为两个部分：烟包区域部分和背景部分。

对上述检测区域进行处理，获取异常的图像部位。这里首先采用Galbar滤波的方法取sigma值为3.3，分别对0°、45°和90°三个方向进行处理，并将三个结果进行叠加，得到结果二值图。在结果二值图中去除检测区域轮廓的影响，然后对二值图进行形态学操作，去除独立的小点，将距离相近点合并，

对结果二值图进行轮廓查找操作，并得到外接矩形，将面积较小的忽略，将面积较大的部分外界矩形绘制并输出，同时输出绘制的外接矩形个数。

输入图像是在RGB颜色空间的图像，但是人眼对于这三种颜色分量的敏感程度是不一样的，RGB颜色空间是一种均匀性较差的颜色空间。在图像处理中使用较多的是HSV颜色空间，它比RGB更接近人们对彩色的感知经验。非常直观地表达颜色的色调、鲜艳程度和明暗程度，方便进行颜色的对比。因此首先将图像转化到HSV颜色空间，见图5。

图5 图像在HSV颜色空间的显示

将烟包的正常颜色范围和传送带颜色进行选择并在二值图中像素置0（黑色），其他颜色位置设为255（白色）。

由于传送带的两侧存在两条固定的白色线条会对检测结果造成影响，故本方案将其轮廓存储至配置文件，算法运行时会生成如图6所示的掩膜图像，在处理上述生成的二值图时会将掩膜白色部分进行忽略，然后执行形态学开操作去除独立的小白点，然后轮廓查找操作，并得到外接矩形，将面积较小的忽略，将面积较大的部分外接矩形绘制到输入原图上并输出如图7所示，同时输出绘制的外接矩形个数。

图6 传送带白边的掩膜

图7 输出图像

2 系统功能

上位机软件运行在工控机Windows系统上，基于C#语言开发，主要完成相机的采集、图像的显示、与中控的通讯等功能，将上述检测算法封装为动态链接库dll，上位机软件通过调用该库实现图像的处理。

检测程序界面布局如图8所示，总体分为两行三列，最上方显示当前的生产信息：生产批次、烟牌编码和烟牌名称，最左侧一列显示侧边相机的采集和处理结果，上面显示实时视频，下面显示处理后的图片和当前烟包信息；工控机采集切片机状态信号并自动抓拍切面图像，上方的【手动抓拍】按钮可选择手动抓拍图像并进行处理。中间一列的垂直相机的采集和处理显示同左列相同。

最右侧一列为历史记录信息，上方的历史数据表中在当前生产批次中所有抓拍并处理的结果和时间戳，下方结果视图显示处理的图片和检测结果，【原图】按钮用于调出当前处理结果的原始图片。最上方的三个按钮【刷新】、【上一张】、【下一张】用于历史记录表的遍历和结果视图的显示刷新，【报警确认】按钮用于当系统发生报警时，解除警报，见图8。

图8 检测程序界面

3 成果应用分析

本系统通过视觉识别技术，研制出切片机烟包切层霉变及杂物视觉识别系统，实现了如下功能：

（1）在切片机中加装两套工业摄像机，其中侧面相机用于采集分切前、分切后第一面、第二面的图像，垂直相机采集分切后第三面的图像。按当前切片机3刀4片的设置，系统与切片机PLC通信，实现共4个烟包截面的图像采集。

（2）与上位管理系统实现通信，读取当前牌批号信息，同一牌批次的烟包截图，存放于一个文件夹内，供后续查阅历史检测记录。

（3）通过使用计算机视觉技术实现样本图像烟包边缘识别，将烟包区域的图像保留，背景进行去除。区分出烟包图像后，再对图像进行处理。通过采集正常烟包、常见杂物、霉变烟的信息。分析出烟包切面上的正常烟包、常见杂物、霉变烟在颜色、灰度和纹理上的差别，以OpenCV中的相关算法为基础，统计图像的颜色和纹理分布，再采用不同的理论和方案，提取图像特征，从而实现对图像中的霉斑和杂物进行识别和标记。

（4）系统运行界面分区显示，分别有：生产信息区，侧边相机区，垂直相机区和记录信息区，具体显示及功能如下图。侧边相机区，垂直相机区的设置是为了便于操作人员观察实时的烟包切面情况。记录信息区提供本批历史所有烟包切面截图查阅，还可通过检测结果快速定位系统报异常的烟包进行翻查，确认本批次的烟包是否有夹杂杂物或存在霉变现象。

（5）当识别出烟包切面上有霉斑或杂物时，通过现场报警灯，向现场操作人员发送报警指令，提醒操作人员检查相关烟包。

4 结束语

采用机器视觉设计了一种基于机器视觉的切片机烟包切层霉变及杂物视觉识别系统，通过在切片机上安装侧边相机和垂直相机来进行切片在不同角度的杂物识别，采用图像生产的DHK-L系列的白色条形光源对检测目标进行照明拍摄，以此减少克服环境光干扰，保证图像稳定性，提高系统的精度、效率。利用开源计算机视觉库OpenCV实现相关功能，分别对两个相机采集的图像进行计算。通过对相机拍摄到的切片图片进行分析并存储，通过切片机烟包切层霉变及杂物视觉识别系统具有可靠性高、响应速度快和可操作性强等优点，以达到自动检测，自动报警的要求。