基于视觉的机器人码垛错位检测系统和方法

李 翀，付文杰，王 浩，孙晓腾，李 兵

（国网河北省电力有限公司营销服务中心，石家庄 050000）

0 引言

在工业生产的流水线中，自动码垛作业大部分是由机械式码垛机完成或人工搬运。在一些实际场景中，码垛机器人一次能搬运一整层箱子，典型的码垛机器人工作状态图如下所示：

然而，在实际生产中，码垛的的多层箱体会出现错位堆叠的情况，导致码垛机器人和后续的生产流水线过程出现抓取和流水线错误的情况，现有的方案是人工对流水线上的码垛箱体排列情况进行监控，工作强度高，也会出现漏检的情况。针对该问题，业界先后有提出基于红外、激光、视觉的方法，但都不能很好的解决该问题。

本文借助计算机视觉、深度学习和大数据分析技术，提出并实现了一种码垛错位智能检测和闭环反馈系统，在本文提出的系统和方法中，首次提出并实现了基于端、边、云协同的检测、反馈及大数据分析方法，并引入了一种新的IOU Loss损失函数的深度学习网络模型，有效的解决了码垛错位视觉检测问题[1]。

图1 智能码垛机器人工作示意图

1 基于视觉的智能码垛检测和闭环反馈系统

1.1 系统结构

本文首次提出并实现了基于端、边、云协同的检测、反馈及大数据分析方法，整个系统结构如图2所示：

图2 码垛错位视觉检测系统结构设计

本系统通过端、边、云协同工作，实现了一套检测和闭环反馈工作机制，主要分为三大模块：

端模块：主要由视觉采集相机和挡板控制机构组成，实现前端图像视频数据的实时采集的及时控制。……