基于物联网的智能无人生产线系统研究

郑一鸣　崔文琦

摘要：传统的人工生产线效率较低，无法适应大规模工业生产需求。鉴于此，提出了一种基于物联网的射频识别与机器视觉相结合的智能无人生产线系统。该系统以射频识别（RFID）为技术基础，通过识别零件上的标签来实现控制和管理，以空间坐标系化的算法使机器人自动装配，基于深度学习的机器视觉算法实现零件装配成功率检测，通过相机拍摄的大量装配照片形成数据集，搭建并训练神经网络模型进行检测。生产线各部分通过局域网连接，从而实现生产线的无人化和智能化作业。

关键词：物联网;人工智能;智能制造;射频识别;Baxter机器人

0    引言

物联网被称作计算机和互联网之后的第三次信息技术革命浪潮，以物联网和人工智能为基础的工业理念正成为现实，各大企业也纷纷推出自动化生产解决方案，如宝马、特斯拉等汽车企业推出无人工厂，波音公司采用数字化工厂实现全方位、全周期生产管控，这样可以在制造环节显著提高生产效率并降低质量缺陷率，获得显著的经济效益[1]。智能制造即借助计算机建模仿真和信息通信技术的巨大潜力，優化产品的设计和制造过程[2]。

本文提出的无人生产线系统具有以下创新点：

（1）技术创新。在对零件的处理过程中，不同于使用条形码等具有视距约束的标签进行识别的传统方法，本项目采用智能RFID（射频识别）技术，利用电子标签储存信息，具有非视距识别和自动更新标识信息的特点，实现了人、机、物的动态交互，从而做到精准控制与管理。

（2）全自动生产线。通过智能算法实现不同工位机器人协同操作，在物联网系统下，即只需一个管理设备便可对整个制造流程进行控制，实现了整个制造流程的智能化、全自动化和可视化作业，利用机器可以持续工作的优势，提高零件的生产效率与产量，节约劳动力。

（3）功能模块化。对系统进行模块化设计，分为识别模块、加工模块和图像识别模块，在实际生产中可以迅速替换故障模块，保证生产的稳定性。

（4）充分利用“机器换人”。利用Baxter机器人作为加工中心，通过计算机建模仿真来模拟机械臂抓取动作，通过训练提高其工作效率。

1    生产线模型概述

为便于研究与落实成果，将生产线分为3个模块，分别为RFID识别模块、机械臂加工模块、图像检测模块，3个模块通过建立局域网连接。具体模块及流程如图1所示。

1.1    RFID识别模块

RFID识别模块的主要作用是读写零件的电子标签，一是读取零件的基本信息与环境位置，反馈到机械臂引起机械臂的加工操作;二是更新零件的装配信息，对零件的加工情况进行记录。

1.2    机械臂加工模块

机械臂加工模块是生产线的核心，负责对传送带上的零件进行装配加工。零件的装配要考虑到各种装配工艺，故第一阶段决定采取较为简单的螺母与螺栓装配，采用基于RFID的自定位深度学习抓取算法。

具体操作是当零件进入RFID读写器的识别区时，自动将零件此刻位置初始化为坐标原点，建立空间坐标系。当零件运动到定位电子标签时，传送带停止运动，机械臂通过读取的零件标签的环境坐标，基于深度学习自行仿真运动路线，机械臂进行自身的位姿计算和抓取规划，最终进行固定的装配操作，项目目标是装配成功率达到90%。此种算法可以解决图像处理速度慢、受环境光照因素影响大、只能进行单个零件识别的弊端。

1.3    图像检测模块

图像检测模块用于检测螺栓与螺母装配工序是否成功，这是保证零件批次质量的重要一环。基于目前广泛应用的机器学习以及视觉检测技术的发展，本项目提出基于CNN深度学习卷积神经网络编码实现对螺栓与螺母是否装配成功的检测。

2    V-rep/ROS的rethink机器人仿真

V-rep是一款动力学仿真软件，主要用于机器人仿真建模领域。仿真使用Python作为远程控制，第一步是进行V-rep场景配置，在model browser中找到Baxter机器人，拖动至场景中。去除left-arm和right-arm的threaded child scripts。在head的non-threaded脚本内部调到Init（）函数内部的最后部分，添加控制语句，再修改左、右机械臂的关节设置。第二步为连接Python和V-rep配置，将V-rep安装目录中与Python方式下相关的remote API文件和V-rep场景文件导入到相应路径中。V-rep中生产线结构示意图如图2所示。

ROS是机器人操作系统（Robot Operating System）的英文缩写，是用于编写机器人软件程序的一种具有高度灵活性的软件架构。在计算机中安装ROS系统，使用下载的rethink机器人模型，也可用Python代码来控制。相比于虚拟机，ROS系统内置硬盘有更高的处理速度。

3    基于CNN深度学习卷积神经网络的故障检测

目前有很多识别算法被应用于故障诊断领域，主要包括人工神经网络、遗传算法、支持向量机、模糊推理等。其中模糊推理[3]能够基于模糊语言表达实现系统推理，但是其数据学习能力有待提高;而人工神经网络具有较好的数据学习和预测能力，所以采用人工神经网络算法来实现图像检测。本项目提出基于CNN深度学习卷积神经网络编码实现对螺栓与螺母是否装配成功的检测，利用Python卷积神经网络实现。

在算法方面，实现图像检测主要有3个步骤：

3.1    处理模块即库的搭建与训练

首先建立测试集与训练集，通过查阅资料在网上下载部分数据集，同时对螺栓、螺母手动配合后在各个角度拍照，得到的照片与下载数据集混合，筛选部分为测试集，大部分为训练集。遍历并通过多次有放回的取样，使得检测时更趋向于真实，提高准确率。暂定螺栓、螺母配合后有两个检测特征，分别为螺母与螺帽缝隙和螺母拧入螺栓后距离螺栓底部的距离，创立jpg文件导入numpy数组中，即创立测试集。后续写入4个.py文件，dataprocess.py截取源文件数据（即将照片截取后的螺栓、螺母配合部分引入到下一个文件夹中，并将之标签化，每种特征分别标记0/1/2等）。

3.2    卷积神经网络部分算法的实现

卷积神经网络部分Zhuwenjian.py，第一步，权重初始化，用少量的噪声初始化权重，以防止对称性破坏，并防止0梯度;第二步，卷积和池化卷积，设置步幅大小为1，并在周围填充0，以便输出与输入大小相同;第三步，设置多层卷积以及密集连接层，目的是修正正反向的传播误差[4-6]，此后网络输出的直接就是每个输入样本的特征分类预测概率。随着提供的数据的增多，网络可以逐步进行微调，直至损失最小。将pooling层中的张量重塑为一批向量，乘以权重矩阵，添加一个偏差，并应用一个ReLU，减少过拟合，在输出层之前应用dropout。选用交叉熵作为损失函数，激活函数选用常用于多分类任务的Softmax函数，该训练部分试验中准确率已达接近90%的水平，但是还需要继续完善。

3.3    装配是否成功的检测（理论应用于实践）

编写Test.py，即自己拍一张螺母与螺栓配合不成功的图片，导入并测试[7]。该部分试验较为成功，顺利将图片引入并做了测试，成功把图片中的配合部分截取为48×48像素，并检测出了配合不成功的结果。

3.4    图像检测模块小结

在神经网络算法之外，将检测结果反馈到电脑终端，使用RFID读写器将装配是否成功的信息改写到电子标签中，从而使每个零件都有自己的个体信息，可以随时读取零件的信息，降低了重复操作的可能性。

CNN卷积神经网络的构建，解决了人工检测重复性大且效率低的问题，但同时也带来了新的问题，比如特征的取值种类过少对于检测准确率的影响等。卷积算法的实现简化了视觉检测中图像采集的扫描输出步骤，降低了系统与物体协调运动的要求，实现了非接触测量。采用图像处理的方法，后续将在算法上引入识别金属零件表面划伤、残缺、变色、粘膜等缺陷，使故障检测更为便捷智能化，并指导机械传动系统将残缺品剔除，提高检测效率。

4    结语

本文提出了构建全自动化无人生产线系统，通过比较后采用了智能RFID（射频识别）技术，利用电子标签储存零件信息，不仅具有非视距识别的特点，而且可以自动更新标识信息，实现人、机、物的动态交互，从而对生产流程实施精准控制与管理。同时，系统采用了新型的装配检测过程，运用卷积神经网络的原理[8-9]，通过程序的深度学习，可以快捷、准确地检测零件装配情况，检测成功率更高且更加便捷。通过人工智能算法实现不同工位机器人的协同操作，全局通过局域网连接，即只需一个管理设备（输入端）便可以对整个制造流程进行控制，实现了整个制造流程的智能化、全自动化和可视化作业[10]。利用机器可以持续工作的优势，提高了零件的生产效率与产量，节约了劳动力。因此，该系统的开发应用前景广阔[11]。

[参考文献]

[1] 周济.智能制造——“中国制造2025”的主攻方向[J].中国机械工程，2015，26（17）：2273-2284.

[2] 张曙.工业4.0和智能制造[J].机械设计与制造工程，2014，43（8）：1-5.

[3] 李昕，刘路.基于视觉与RFID的机器人自定位抓取算法[J].计算机工程，2012，38（23）：158-161.

[4] 李传朋.基于机器视觉和深度学习的目标识别与抓取定位研究[D].太原：中北大学，2017.

[5] 刘宁.基于VMD混合特征提取和ANFIS的滚动轴承故障诊断方法[J].煤矿机械，2020，41（6）：164-168.

[6] 郭晨霞，杨瑞峰.数字视觉精密测量光纤环绕制状态参数[J].中北大学学报（自然科学版），2014，35（3）：337-341.

[7] 张伟.基于卷积神经网络的轴承故障诊断算法研究[D].哈尔滨：哈尔滨工业大学，2017.

[8] 王建民.工业大数据技术综述[J].大数据，2017，3（6）：3-14.

[9] 吴静然，丁恩杰，崔冉，等.采用多尺度注意力机制的旋转机械故障诊断方法[J].西安交通大学学报，2020，54（2）：51-58.

[10] 李春林，熊建斌，苏乃权，等.深度学习在故障诊断中的应用综述[J].机床与液压，2020，48（13）：174-184.

[11] 李伟.复杂系统的智能故障診断技术现状及其发展趋势[J].计算机仿真，2004，21（10）：4-7.