基于3D 视觉鞋底自动打磨系统关键技术研究

何钊滨

（1.泉州华中科技大学 智能制造研究院，福建 泉州 362000；2.泉州华数机器人有限公司，福建 泉州 362000）

0 引言

鞋底打磨是制鞋成型工艺中影响质量的最重要工序之一。由于鞋底材质较软易变性、换款频繁等特点导致了鞋底的打磨工作基本都是依靠人工现场打磨完成的[1]。这不仅需要技术工人具有丰富的打磨经验，而且还要耐得住长时间的重复性工作，以及打磨产生的粉尘造成的环境恶劣问题，不仅对工人存在安全隐患，而且鞋底的打磨质量稳定性无保障，易造成后期成型鞋子的开胶问题。因此，对鞋底打磨均匀性、位置准确性尤其重要。

目前在鞋底打磨领域的自动化设备研发处于初始阶段，技术还不成熟，研发出的产品只能实现一部分功能的自动化，比如鞋底装夹功能和自动打磨功能，但是缺点在于不能根据每一类鞋底精准的快速获取鞋底夹具，也不能根据每一只鞋底快速生成精准的打磨轨迹，进而造成鞋底整体打磨效率低下，不能满足客户实际需求[2-3]。同时，鞋底打磨是柔性化打磨，打磨区域形状复杂，鞋底尺寸精度低，造成均匀打磨难度大。需要采用实时在线手眼配合扫描轨迹生成的方式，才能实现机器人的自动化打磨。

本文针对以上需求，开发了基于3D 视觉的鞋底自动打磨系统主要针对鞋底定位、鞋底夹具快换、鞋底扫描数据打磨轨迹提取等进行研究。通过3D 相机扫描获取鞋底轮廓数据，提取打磨轨迹，并根据鞋底打磨工艺流程，实现鞋底打磨上料、扫描、打磨、下料等环节全自动化操作。鞋底打磨系统自动化程度高，集成鞋底上料、鞋底扫描、鞋底打磨、鞋底下料多个系统为一体，体现了鞋底的精准装夹、鞋底夹具的快速获取、鞋底夹具的快速更换。通过3D 视觉扫描快速精准地获取每一只鞋底的打磨轨迹。打磨系统针对不同种类的鞋底通用性更强，并解决了传统产业劳动力不足、工人难招、受人为因素影响打磨质量不稳定等问题。还解决了因工作环境恶劣造成人身安全的问题，提升鞋底打磨效率，提高鞋底生产质量，推动制鞋产业智能制造的转型升级。

1 基于3D 视觉的鞋底自动打磨系统整体方案

鞋底自动打磨系统包括3D 视觉鞋底扫描系统和机器人打磨系统两大部分，主要由机器人固定架、机器人系统、打磨机及打磨头装置、3D 扫描相机、鞋底打磨夹具装置、直线模组输送及相关装置、上位机等组成，如图1 所示。首先，将鞋底放置于柔性夹持机构中夹紧，随后直线模组带夹紧的鞋底进入线结构光相机扫描区域。在设定区域中触发相机进行周期性拍照，同时上位机将直线模组上的编码器位置值与拍照的每一帧图片绑定。上位机通过相机回调函数对每一帧的图像处理重建鞋底三维点云。通过相机标定、相机手眼标定等多个坐标系转换关系，把图像位置和编码器位置转换成鞋底点云并进行三维重建，将其坐标转换到机器人工件坐标系下。通过点云处理算法在线提取鞋底打磨轨迹，生产机器人运行PRG 程序。当鞋底到达打磨作业区域时，机器人执行打磨鞋底PRG程序，完成鞋底打磨[4]。自动打磨系统控制流程图，如图2 所示。

图1 鞋底自动打磨系统结构图

图2 鞋底自动打磨系统控制流程图

2 基于3D 视觉鞋底扫描系统

2.1 鞋底3D 扫描系统组成

鞋底扫描系统主要由鞋底夹持机构、直线移动模组、3D 扫描相机及其安装支架等组成，由3D 线扫描相机配合搭载由伺服电机组成的模组实现鞋底随动扫描，并以此获取鞋底打磨的3D 轮廓，生成鞋底三维点云。鞋底3D 扫描系统结构如图3 所示。

图3 鞋底3D 扫描系统

2.2 鞋底三维点云处理技术

鞋底经线结构光扫描相机扫描获取鞋底的三维数据并进行处点位信息提取显示出来[5]，采用3D 相机对直线模组上运动的鞋底按照一定帧率进行拍照，并通过直线模组上的编码器反馈所拍摄照片在3D相机坐标系统的位置，将所拍照的全部照片按拍照顺序拟合生成鞋底内缘的三维空间模型和鞋底外轮廓的三维空间点云模型[5-6]。当处理完所有采集数据后即完成鞋底3D 点云生成如图4 所示。

图4 鞋底点云生成示意图

对鞋底3D 点云进行均匀的纵向竖直切割[7]，如图5 所示。提取切割的每一片点云两端的最高点，如图6所示，同时删除每一片点云的在两端最高点外围的点，把提取的每一片点云两端的最高点按顺序排列起来即得的鞋底最高外轮廓点，如图7 所示。把删除了在两端最高点外围的点的每一片点云组合起来即得到的鞋底内部点云，切除了在最高外轮廓外围点的点云，如图8 所示。

图5 对鞋底点云进行纵向切割示意图

图6 提取切片点云两端的最高点示意图

图7 鞋底最高外轮廓点

图8 鞋底内部点云

对鞋底内部点云进行类似如图5 所示的纵向切割，对切割的每一片点云进行平面特征拟合，由于鞋头或鞋后跟因3D 相机有视野盲区导致部分特征点云缺失及鞋头特征的特殊性，故在进行分段拟合平面特征的操作前，先剔除鞋头和鞋后跟处的点云以防干扰[8]。拟合出切割的每一片点云的平面特征后，删除每一片点云中距离拟合的平面距离大于指定值的点，进而可得到鞋底内底面的点云，如图9 所示。

图9 鞋底内底面特征点云

2.3 鞋底机器人打磨轨迹提取算法研究

由于鞋头或鞋后跟因3D 相机有视野盲区导致部分特征点云缺失及鞋头特征的特殊性[9]，在提取打磨轨迹时鞋头和鞋后跟区也单独处理。上一步操作已分段拟合出了鞋底内底面各段的平面特征并得到了鞋底内底面的点云，针对中间区的打磨轨迹提取，先把中间区的鞋底最高外轮廓点投影到鞋底内底面各段的平面上，然后在鞋底内底面点云上查找距离各投影点最邻近的点，进而把鞋底最高外轮廓点“拉”到鞋底内底面上，即得到中间区的打磨轨迹点位，如图10所示。

图10 中间区打磨轨迹提取

在提取鞋底内底面特征点云时切除了鞋头和鞋后跟区的点云，由于鞋底内底面通常是连续且平滑的，故可以把鞋头和鞋后跟区的最高外轮廓点分别投影到距离鞋头和鞋后跟最近的那段鞋底内底面的平面上，然后分别计算鞋头鞋跟与中间区交接的最高外轮廓点相对打磨轨迹的内缩量，如图11 中所示，根据此内缩量对投影到鞋底内底面上的投影点进行内缩处理，进而得到鞋头和鞋后跟区的打磨轨迹点位，如图12 所示。

图11 鞋头鞋跟与中间区交接的最高外轮廓点相对打磨轨迹的内缩

最终得到整只鞋底的打磨轨迹，如图13 所示。由于鞋头和鞋后跟区打磨轨迹是通过上述的特殊的拟合算法拟合出来的，故当鞋底掉转180°扫描的鞋头处因3D 相机视野盲区导致的点云出现特征缺失时也不影响打磨轨迹的计算，如图14 所示。

图13 完整鞋底的打磨轨迹

图14 鞋头区点云特征缺失时提取的打磨轨迹

3 机器人自动打磨控制系统

3.1 机器人打粗控制系统

采用工业机器人替代人的手臂，3D 视觉相机替代人的眼睛，浮动打磨头替代传统打磨设备，将传统手持鞋底在静止的打磨设备上打磨改为工业机器人手持打磨头对静止的鞋底进行打磨，如图15 所示。

图15 工业机器人手持打磨头

机器人控制系统、上位机、线结构光3D 相机、直线模组通过HUB 交换机连接并实现数据交换，机器人通过EtherCAT 协议与各个伺服驱动通信，控制外部轴的直线模组运动，带动上面的编码器来触发相机采集，相机高频率的采集结构光条照片，并将数据传送到上位机打磨控制系统软件进行图像处理。同时，上位机下发机器人PRG，机器人执行对当前鞋底进行打磨作业，如图16 所示。

3.2 鞋底打磨3D 控制软件的开发

开发软件集成了3D 相机扫描系统、机器人控制系统、鞋底打磨系统、监控报警系统等等。3D 相机扫描系统可控制3D 相机进行视觉扫描以生成3D 点云。机器人控制系统可控制机器人加载、运行、卸载机器人打磨PRG 文件。鞋底打磨系统具有打磨轨迹时时提取功能、机器人打磨PRG 文件生成功能、打磨压力调整功能等。监控报警系统具有整个软件运行状态的显示模块，当有故障时会以红色醒目字体显示报警信息。鞋底打磨3D 视觉软件如图17 所示。

图17 鞋底打磨3D 控制软件界面

3.3 磨头选型及打磨效果

参考其他工件打磨工况[10-11]，选用不同形状和材质的几款打磨头进行鞋底打磨测试，如图18 所示。经过打磨测试，带40 目砂纸打磨头打粗效果较好，如图19 所示，相对人工打磨部位粗糙度均匀，打粗节拍快、效率高。

图18 不同材质的磨头

图19 鞋底打磨后效果

4 结语

基于3D 视觉鞋底的自动打磨系统能通过线结构光扫描成型的原理，对鞋底进行实时扫描并生产三维点云模型。借助对鞋底3D 点云轮廓的处理，对鞋底外轮廓及内轮廓边缘进行轨迹点位规划。机器人打磨轨迹提取算法，实时规划出目标鞋底的打磨轨迹，进而下发给机器人动作。机器人带浮动打磨头对鞋底进行打磨作业，实现鞋底打磨的自动化。解决了传统产业劳动力不足的问题，工人难招问题，受人为因素影响打磨质量不稳定的问题，因工作环境恶劣造成人身安全的问题，提升鞋底打磨效率，提高鞋底生产质量，推动制鞋产业智能制造的转型升级。