基于U-Net分割与弧支撑线段拟合的锻件直径在线检测

邹家豪，黄志开*，王 欢，王荣杰，盖黎霞

（1.南昌工程学院 信息工程学院，南昌 330099；2.无锡派克新材料有限公司，无锡 214000）

0 引言

目前，各领域对于大型环形锻件的应用需求增加，对精度的要求也日益提高。但锻件直径越大，锻件加工的废品率越大，降低了企业的生产效率，因此迫切需要一种更高效的锻件检测方法。如今国内外大型锻件的尺寸检测方法可以分为接触式和非接触式。接触式测量法采用点对点测量，但误差大、精度低，而且对操作人员的伤害较大。非接触式测量法则有效避免操作人员与高温锻件直接接触，提高了测量精度，因此在学术领域成为研究热点。李雪娇[1]等人研究了基于机器视觉的大型零件尺寸测量系统，该系统由小波去噪去除复杂环境引起的噪声，使用SIFT和加权平均算法进行图像拼接，得到工件的整体图像，从而实现对其尺寸测量，但其计算过程复杂且需要对新环境重新标定降低了检测效率。王邦国等[2]对大型锻件的热态尺寸测量系统进行了研究，该系统利用光源与热态锻件辐射出射度波长的关系确定相机的光谱，进行图像采集，以主动视觉标定为基础解决车间环境复杂相机难以标定的问题，但标定精度对尺寸检测的精度有较大影响。ZHU S[3]等人研究了基于机器视觉的大型结构件表面横切特征点三维坐标的测量方法，该方法采用立体视觉技术采集检测目标的左右两张图像，实现对横切特征点坐标的测量，但是整个过程检测速度较慢。WANG Z[4]提出的大尺寸工件的尺寸测量方法，该方法利用图像拼接技术获取大尺寸工件的完整图像，但受环境的干扰较大。

椭圆的检测一般可为两类：

1）霍夫变换检测圆、椭圆。如连志强[5]等基于霍夫变换算法设计了一种自动压铆对位系统。但计算量大且内存消耗多，直接应用不切实际。

2）边缘搜索，其使用了边缘像素之间的连通性、弧段的凸性和几何约束，一般先使用Canny[6]或Sobel[7]边缘检测获得的二进制边缘和相应的梯度，然后细化二进制边缘弧段以进行椭圆拟合，但是检测较慢。

环形锻件检测面在不同观测角度都可表示为椭圆环，且基于谭仁虎等[8]基于轮廓边缘的直线拟合算法的研究，本文提出一种基于U-Net网络分割与弧支撑线段拟合相结合的方法，有效且能在线测量环形锻件直径。

1 有效区域的分割提取

Unet 网络以往应用在医学细胞分割中，相比于DeepLab系列等经典网络其训练数据量少且精度高，也可用到锻件分割领域。Unet网络可分为主干特征提取网络结构与加强特征提取网络结构，在主干网络中使用3×3卷积+ReLU激活提取特征以及逐步对特征图进行2×2最大池化下采样，使得特征图的尺寸逐渐减小、通道数逐渐增加。在加强特征提取网络中对特征图进行2×2转置卷积以及1×1卷积，逐步恢复图片细节，使得特征图的尺寸逐渐增加，通道数逐渐减少，最终输出语义分割标签，标签归一化乘以原图可分割提取有效区域。在该分割模型中，特征图融合由解码器与编码器之间跳跃连接实现，其网络构如图1所示。

图1 Unet网络结构原理

2 图像预处理及锻件标定

相对于RGB空间，HSV空间能够非常直观的表达色彩的明暗，色调，以及鲜艳程度[9]。如图2所示，HSV色彩空间变化并调整阈值后图像二值化，亮度影响减小，使边缘更加清晰，便于边缘的线段提取。假设RGB图像的阈值范围为[0,1]，Max=max(R,G,B)，Min=min(R,G,B)，则转换到HSV空间的计算为式(1)～式(3)接着使用opencv中的inRange函数调整阈值：

图2 HSV空间变换

在经过变换后，为精确得到圆环的直径，需要对得到的图像进行尺寸标定，为此本文通过计算图像中固定参照物的像素尺寸的方法，间接标定算出椭圆环的内外径。

大姐一走了之。妻子心里有气，专门对付我。晚上睡觉，妻子的胳膊腿不再搭在我身上，却要我翻侧身，伸两只胳膊搂她睡。我说，这样我的两只胳膊放松不下来，怎么睡得着？妻子说，刚结婚那一阵子，哪一夜你不是这样搂我睡觉。我无话可说。

假设参照物的实际长度与像素长度分别为l和lp，则标定系数k为式(4)：

可在机床上设置一固定长度且区别于锻造台与目标锻件的直线来作为参照物，在实际场景中可设置一根区别明显的钢棒。参照物直线由色彩空间变换得到。具体如图3所示。

图3 参照物的提取

提取参照物后，计算其像素长度。其计算流程如图4所示，其中houghpeaks和houghlines为MATLAB的函数。

图4 参照物的尺寸计算流程

3 弧支撑线段拟合

3.1 椭圆拟合的叠加原理

一个椭圆由若干个弧支撑线段拟合，这些线段表示为n个点的集合Γ={(x1,y1)，(x2,y2)...，(xn,yn)}，首先计算集合Γ的散点矩阵S=DTD，D如式(5)所示，其次求解广义特征方程S-1C，其中C是常数约束矩阵如式(6)所示。得到的具有正特征值的特征向量是点集Γ拟合出椭圆中的几何参数。但属于一个椭圆的点集有多个，需要计算这些点集来拟合出最合适的椭圆，计算过程在之前的计算结果上不断叠加。

3.2 椭圆直径检测过程

锻件图像预处理之后，其直径检测过程及所用参数说明如下：

1）弧支撑线段提取，先使用Canny算子提取锻件的若干边缘，这些边缘所在的区域为弧支撑区域。目标椭圆的某个椭圆弧的整体梯度方向和弧支撑区域方向一致，如图5(a)所示，则线段极性为正且弧支撑线段上像素点的角度逆时针改变，如图5(b)所示，反之相反。设弧支撑线段质心为C如图5(b)所示，则该区域的主方向角度∠AB由公式7求得，其中Pi为弧支撑区域的像素点，如图5(a)水平线角度m为该点梯度方向顺时针旋转90°得到。角度∠AC、∠CB也可由该公式求得。若∠AB、∠AC和∠CB同时为顺或逆时针变换且{∠AB，∠AC}和{∠AB，∠CB}的角度间隔大于Tai，则弧线段满足条件被提取为弧支撑线段，其余线段被滤除如图5(b)的直线AB所示，从边缘中筛选出若干条有相同方向和极性的弧支撑线段。

图5 弧支撑线段提取

2）若干个弧支撑线段组成若干个弧支撑组。支撑像素点的水平线角度与弧支撑区域主角度的偏差应小于α，具有相同的几何特性且连续的弧支撑线段才能形成弧支撑组，两个连续的弧支撑线段主角度偏差小于2α。Si表示弧支撑组中每两个连续弧支撑线段的间隔角度累加除360°，Si越大，弧支撑组对椭圆的显著性越大，越可能为拟合椭圆的组成部分。

3）若干个弧支撑组对拟合出初始椭圆集。TSS表示目标椭圆跨越角度除360°，弧支撑组可以优先选择拟合到大于TSS的目标椭圆。如跨越角度360°的目标椭圆显著性TSS为1，可优先被拟合。两个弧支撑组配对，则他们在相互的有效区域内，满足式(8)，如图6所示，其中为弧线段首尾组成的向量顺时针旋转90°。

图6 弧支撑组生成初始椭圆示意

4）椭圆集的聚类，用mean-shift[11]聚类方法去除椭圆集中重复的椭圆。初始椭圆集的参数由5维转为3维，在椭圆集的基础上逐步按中心、方向和长半轴聚类。

5）椭圆集的验证。聚类后的每个椭圆，由若干个弧支撑线段组成，这些弧支撑线段连成的长度与目标椭圆的周长比为Tr，弧支撑拟合线段连接处角度间隔累加的跨越角度为Tac。L为每个椭圆上线段长度之和，S为目标椭圆的周长，G为优度评分如式(9)所示，依据G验证并筛除椭圆集中优度评分较低的椭圆。

6）最终椭圆集由椭圆叠加原理可求出每个椭圆几何参数的特征向量包括长轴，再经过参数赋值、三角函数变换将其转换为一般形式，从而得到椭圆的长轴即锻件的内外环直径像素长度。

椭圆拟合检测过程示意如图7所示。

图7 检测实例目标椭圆拟合的过程

假设检测到和实际锻件的直径为r和R,则他们之间的绝对误差可表示为M，如式(10)所示：

4 实验结果

模型在Inter酷睿i5-10400F 16GB的CPU和 NVIDIA GeForce RTX3060 12GB的GPU设备上训练，在windows10系统上配置pthon3.8、torch1.8.0、cuda11.1和cudnn8.0.4。U-Net模型训练使用的是6类不同状态290张数据集和对应用labelme工具标注的标签，按9:1分配训练集和验证集，数据集包括实地锻造点采集的2类数据和模拟场地的4类数据。模拟场景中锻件在700℃～1000℃之间，摄像头距锻件约为1.2m。训练过程设置步长为12的冻结阶段和解冻阶段各300次叠代。测试集使用的是此6类不同状态锻件的745张图片，前4类为模拟场景，后2类为实际场景。其中训练集和测试集图片大小均为512×512。该模型在不同亮度场景分割效果较好，如韩振浩等人对果园路径的分割[12]，因此后面不对分割指标进行分析。整个实验基本流程如图8所示。

图8 基本的椭圆直径检测流程

在测试集分割出锻件后，测算其内外直径,该方法引用LU等人[13]，主要参数设置如下：

1）Tai为2.25°。2）α设置为22.5°。3）TSS设置为0.25。4）ρd固定为-3。5）ε设置为2个像素。6）Tr设为0.2～0.6。7）Tac设为90°～165°。

流程结束，6类锻件检测结果如表1，测得各类锻件内外径的像素、实际长度和算得内外径绝对误差、总时间均由各类锻件各自总和取平均值。

表1 锻件检测结果

与其他方法比较，结果如图9所示，除方法4在Visual Studio Code平台运行，其他方法都在MATLAB平台运行：

图9 锻件检测方法的比较

1）LU C等人提出的方法，会检测出多余的锻件；

2）方法ELSDc[14]，只能检测出一系列弧段。

3）方法RHT[15]，存在锻件漏检和误检；

4）opencv库的函数不能有效检测锻件；

5）本文方法在方法(1)基础上，加上语义分割和色彩空间变换，可以很好的拟和检测出锻件，且检测速度较快。(1)与其他的检测方法不同，没有进行色彩空间变换是因为其他的方法在RGB图像空间的检测性能没有(1)好，而方法(5)在方法(1)上创新，因此(5)方法较其他的方法综合性能更好。

由以上检测结果可知，检测锻件内外环直径的绝对误差较小，检测速度较快。在复杂的背景下，且锻件件处于高温高亮状态，能较好的剔除背景，提取出锻件边缘，非接触地拟合检测出锻件的直径。

5 结语

本文利用U-Net语义分割提取有效区域，HSV色彩空间变换调整阈值锐化边缘，利用弧支撑线段的局部区域整体梯度方向、弧支撑方向和极性等多种几何特征对直线段进行滤除，最后利用鲁棒性的椭圆叠加拟合原理生成初始椭圆集，提高了锻件直径检测的效率。椭圆的验证既保证了高的定位精度和鲁棒性，又减少了最终椭圆漏检或误检的情况。在实时直径测量中，无需传感器和人为的目测，可根据锻件的直径反馈，控制辗环机的启动、锻造力度以及停止。因此在非接触式锻件直径测量邻域具有借鉴意义。但在具体的锻件直径检测过程中，由于参照物与目标物存在着图像景深的差别，所以个别检测出的锻件直径存在着一定的误差，后期会对此问题进一步研究。