基于数字孪生的生产线三维检测与交互算法研究

陈末然，邓昌义，张 健，郭锐锋

1(北京航空航天大学 仪器科学与光电工程学院，北京 100191)

2(国家工业信息安全发展研究中心，北京 100040)

3(中国科学院 沈阳计算技术研究所，沈阳 110168)

E-mail:dengchangyi@sict.ac.cn

1 引 言

随着自动化技术的发展，视觉检测算法被广泛应用于智能化生产线以提高自动化水平，可用于生产线异常检测、机械臂加工，质量分拣等环节中.近年来，视觉检测技术在图像领域有着极大的发展[1，2].但是由于二维目标检测方法仅可以分类目标的像素坐标，缺乏物理世界参数信息，所以在三维场景的实际应用中存在一定的局限性[3].

三维目标检测方法，旨在识别三维场景中的目标物体，并且获取目标物体的位置以及姿态等几何信息，目前算法大致分为两类：基于神经网络的方法和基于特征描述的方法.基于神经网络的方法在检测准确性和实时性方面有待进一步发展，以DSS[4]、3D-SSD[5]为代表的三维空间卷积的方法，将三维空间栅格化，利用图像卷积的思想完成网络的搭建，但是三维卷积产生了大量的空卷积计算量，并且点云自身的缺陷也导致在精度上不及图像检测.以F-PointNet[6]为代表的基于彩色图像和点云的双通道卷积网络融合的方法，将2D检测网络的结果通过2D-3D的对应关系确定点云目标区域，虽然提高了检测精度和效率，但网络结构复杂，且超参数类似于“黑箱”，人工很难解析高维参数的作用并针对专用场景的约束进行优化.基于特征描述的方法应用较为广泛，旨在寻找模型点云和场景点云中特征点的对应关系，常用的FPFH[7]等算法，但是在杂乱背景和噪声的环境中，仍有抗干扰能力不强的问题，表现在传统的特征匹配方法往往存在大量伪对应关系.Linemod算法[8]综合二维RGB梯度与三维法向量特征，但在实际应用中仍需要精细配准.生产线是专用化的机械、微电子、传感器系统，但往往检测算法相对独立，不利于指导工件检测环节的约束与优化.随着生产各环节之间的内在关联与约束在生产任务中的地位越发突出，亟需结合设计环节中已有先验信息的检测分析算法，将算法的通用性转化为特定产线的专用性.

以数字孪生[9]驱动的检测算法相对于传统方法有以下的优势：一方面可利用工件数据库、传感器标定数据、产线结构等信息作为指导，促进检测算法和设备的匹配，改进设计缺陷，降低设计冗余，减少伪对应关系等.并且反馈回的信息可以通过产线数字孪生平台呈现，不再是抽象的数据而是可读性强的直观数据或影像，进一步作用于产线的控制.

本文提取被测工件数字模型的特征描述构建数字孪生体，在特征描述的基础上优化传统的最近邻特征匹配算法，引入霍夫投票机制在产线孪生空间中寻找标志点位置，以筛选剔除特征匹配后的伪对应关系，提高工件类别、位置、姿态等状态变量的检测准确率与鲁棒性，实现算法与检测设备、工件模型和产线环境的融合，改善产品生产质量管控过程.

2 问题描述与方案

目前基于三维特征描述的方法，需要从大量点云数据中提取物体的局部特征.三维检测技术一般分为两个环节.首先在场景中识别被测物的类别标签，再定量计算被测物体的位置姿态矩阵.

所以检测任务是两个任务模块，第一个是获取场景S(P1,P2,P3,…，Pi)中可能存在的候选模型M(p1,p2,p3,…pj)，二是获得每个候选模型可能的姿态假设H(h1,h2,h3,…hk).若只采用关键点的位置，则需要至少三个特征对(δm,δs)、(εm,εs)、(θm,θs)，能计算场景与一个候选模型之间的变换关系,其中δm,δs,εm,εs,θm,θs表达式为三组分别在模型中和在场景中的对应点坐标.若同时采用关键点的位置和法向量δm,δs,Nm,Ns，则至少需要两个特征对才能计算一个变换关系，Nm,Ns为点对的法向量.如采用局部坐标系，则只需一个特征对vm,vs即可实现变换关系计算，vm,vs为局部坐标系相对于标志点的向量.

在生产线中存在机械臂与装配运输操作，使得工业检测从3个自由度扩展到6个自由度.由于三维场景中包含大量的局部特征，每个局部特征对应一个高维描述向量，一个确定的位置姿态需要确定六维向量(x,y,z,α,β,γ)，其中有三个平移自由度，三个旋转自由度，构造多维的参数空间进行广义霍夫变换计算存在效率低下的问题.需要指出的是，特征对应关系既包含正确的，也包含错误的.为精确计算假设，需要采用有效的方法从包含错误特征点对的集合中尽可能准确的获取场景与模型之间的变换关系.因此需要从模版数据中提取描述性强的特征，并构建向量投票空间.使用上述局部坐标系的方法，可以减少传统算法的特征维度、计算量，提高匹配精确性.

本文针对传统检测方法中特征匹配存在大量伪对应关系和参数空间维度高计算量大的问题，引入数字孪生技术建立特征描述的物理模型：在静态的离线环节提取工件点云SHOT(signatures histogram of orientations)[10]特征和局部坐标系，将工件的数字模型质心作为标志点，计算投票向量作为特征描述模型.在动态在线环节中构造孪生的霍夫投票空间，通过投票机制在投孪生空间中计算出局部极大值位置.再由绝对定向等后处理，得出位置姿态的平移旋转向量.并且数字孪生平台可以虚拟现实技术呈现生产线实时物理状态，这种转化方式使得生产过程更加直观.

3 数字孪生模型

数字孪生模型是被测物理实体中局部坐标特征描述和生产线实体物理环境的数字孪生体，被测物抽象成数字模型为检测环节提供所需的先验信息，基于产线实体环境的孪生空间为检测添加约束.数字孪生模型由图1中三部分组成：

1)离线模型：特征提取的环节总结为静态性能的物理模型.通过工件点云模型提取SHOT特征点，建立基于局部坐标系的特征描述，作为检测模版内置于数据库中.

2)在线模型：检测阶段霍夫投票机制为动态模型.传感器深度数据通过标定参数进行点云转化，提取场景点云的特征描述，与模版数据匹配检测.

3)在后处理和假设验证阶段，对投票空间进行非极大值抑制，投票点极大值对应的点对进行最小二乘法计算绝对定向，ICP精确迭代后提高平移旋转计算准确性.

图1 数字孪生模型的设计框架

3.1 离线静态模型

在三维目标检测中，点云的特征描述占据着重要地位，特征点可进行匹配以达到物体检测的目的，此过程需借助特征描述.选取特征点的鲁棒性、描述性、旋转不变性等能力将决定检测算法是否能准确完成识别匹配等任务.其中研究表明[11]，局部特征描述与全局描述相比，具有旋转不变性，尺度不变性，更能准确的检测目标物体.

3.1.1 特征选择与初始匹配

特征类型及其作用如表1所示.局部坐标系LRF(Local reference frame)对于一个特征描述符至关重要，本文选取SHOT(Signatures histogram of orientations)特征，充分结合了直方图(Histogram)和标签(Signature)两种特征的优势，并具有独特唯一的局部坐标系，有良好的噪声鲁棒性、尺度不变性、旋转不变性等.

SHOT特征构造过程是在法向量与局部坐标系建立后，对球形支持域结构内形状信息和纹理信息进行统计.首先在特征点处建立一个半径为R的球形领域，在球形领域中分别将高度二平分、经线二平分、方位角八平分，离散化成32个等分球壳.在每个球壳内划分11个单元的Histogram直方图，各Histogram内统计单元值是特征点处法向量与邻域点法向量夹角的余弦值.

表1 特征类型及作用对比

Table 1 Type and effect comparison of key points

MethodCategoryUnique LRFTexture3D-SURF[12]SignatureYesNoPFH[13]HistogramRANoFPFHHistogramRANoSHOTHybridYesYes

(1)

在得到点云模型与场景的描述子后，通过初始特征点匹配方法获取在两者之间特征点对应关系.常采用基于KdTree搜索的FLANN[14]算法，并有较快的匹配速度，再通过匹配阈值筛选得到模型与场景的初始对应集合.但是场景中有与目标物体特征描述近似的特征时，初始对应点集合存在大量伪对应关系.

如表2的匹配结果中，正确的匹配比例远小于伪对应关系，所以针对该问题将工件的特征描述存储为静态物理模型，在动态检测环节中引入三维霍夫投票机制，减少伪对应关系.

表2 传统检测算法正确匹配关系占比

Table 2 Proportion of correct matches of traditional detection algorithm

点云数量特征提取数量正确匹配占比(%)目标537928819.5场景966822503

3.1.2 局部特征描述

在目标物体模板的SHOT特征点上建立局部坐标系，计算每个特征点到标志点的局部坐标作为投票向量，标志点取模板点云的质心.

(2)

3.2 在线动态投票环节

3.2.1 构造投票空间

深度传感器获得的空间点云三维坐标值是由深度图像素值根据标定转换模型计算得到，所以首先建立量值传递模型[15].

(3)

利用相机量值传递模型可以将深度图中的点映射到三维空间中，通过遍历的方式计算所有目标对应的深度图上的坐标值，将每个坐标值转换成三维空间坐标，最终组合成点云文件.以点云场景的范围建立栅格化的孪生空间确定投票空间范围，栅格分辨率决定位置姿态计算的量化误差与复杂度.

3.2.2霍夫投票机制

针对上节中匹配出现伪对应关系的问题，引入3D霍夫投票机制[16]，完成点云场景多目标的识别.如果要确定场景中目标物体的位姿，就要确定六个参数，即6DoF(平移参数和旋转参数)，所以理论需要构造两个三维霍夫空间，计算量会随着维度的上升而指数增长.但是借助局部坐标系唯一的特性，只引用一个三维投票空间即可完成目标的识别与姿态估计.

图2 离线阶段和在线阶段关系图

如图2的离线和在线阶段的关系图，两者是通过霍夫投票机制关联的，即在获得了模型和场景之间的大量对应关系后，对场景中的标志点的位置进行投票.由于投票向量是局部坐标系计算的，此特征也具有平移和旋转不变性.投票后取得标志位置极大值后再将局部坐标转换到全局坐标系.

图3 标志点投票与坐标转化

图3表示将孪生模型中的投票向量按照初始匹配的结果，在孪生空间中进行投票，每一匹配关系对应一次投票.

(4)

即可在孪生空间中得到标志点可能存在的位置分布，投票分数较高的位置标志点的确信度越高.

3.3 后处理环节

后处理部分，在孪生投票空间寻找极大值点，应用快速排序方法寻找最大极值点.若实际空间中存在多个目标，则在投票空间中，就会对应有多少个极大值点存在.位置姿态矩阵由绝对定向法求解，通过精确配准与假设验证定量评价检测结果.

1)非极大值抑制

对于投票空间中极值不集中或多个实例混叠的情况，需要对投票空间进行高斯滤波，汇聚邻域内的票数更为准确.并且设定分数阈值，当分数大于特定阈值的位置作为对象的质心.

2)绝对定向

对给定的一组对应关系，需要确定模型和场景之间的6DoF变换.给定这个假设，问题可以通过绝对方向在封闭解决方案中结算旋转平移矩阵.给定一组n个精确对应关系c1={p1,m，p1,s}，…，cn={pn,m，pn,s}，得到旋转矩阵R和平移向量T为：

(5)

向量的推导由最小二乘估计得到最优解.

3)ICP精确配准姿态

精细配准一般指ICP(Iterative Closest Point，ICP)注册方法[17]，主要用于已经初始匹配的点云，需要提升注册精度的情况.ICP方法是三维到三维常见的位姿估计算法，但是其对初始姿态的要求很高，否则很容易陷入局部最优解，所以需要借助全局的初始点云配准注册方式.

迭代最近点算法原理为以下流程：

1.由初始匹配后的场景和模型点云P′和Q，作为精确注册的初始点集；

2.对模型点云P′中的每一点pi，在场景点云Q中寻找距离最近的对应点qi，作为该点在模型中的对应点，建立一组初始对应关系；

3.使用方向向量阈值拒绝错误点对；

4.优化旋转矩阵R和平移向量T，使各对应点对之间的欧式均方误差最小；

5.将源点云P′点乘上一步得到的旋转和平移矩阵得到转换后的点云P″，计算欧式距离误差.设定某一阈值ε和最大迭代次数Nmax，如果迭代次数大于Nmax或者误差小于阈值ε则迭代结束，否则继续重复上述步骤，直至满足收敛条件.

最大迭代次数、收敛条件是均方误差小于阈值、两次变化矩阵之间的差值、对应点对之间的最大距离.在PCL库中的registration模块可实现ICP算法.

4)全局假设验证

假设验证是在特征描述匹配之后剔除位置姿态假设中的FPs(false Positive)保留TPs(true positive)的过程，全局假设验证算法[18]使用模拟退火法求解优化聚集点对集合，确定场景中对象假设的实例，减少误报的数量.

3.4 算法实现

算法实现流程如图4所示，将前台和检测算法与后台的模版数据结合起来，在虚拟的空间中进行目标位置的投票和姿态的计算.在离线阶段提取模型文件的SHOT特征点，根据局部坐标系计算特征描述，存储为静态的特征孪生模型.动态环节在孪生的空间中进行投票，可以检测模版在场景中的模版标志位置.通过最小二乘法计算绝对定向，最后利用ICP迭代的结果验证姿态的假设.

图4 算法实现流程

4 实验与验证

4.1 实验平台

生产线硬件平台主要包括立体仓库区域、自动化生产线区域及设备区域.自动化生产线区的末端是成品检测环节.检测环节对加工完成的产品进行类别与位置姿态检测，包括是否有漏装错装及各部件的相对位置姿态是否正确.产品经过检测工位检测后，根据不同的检测结果及下线需求，分为三种结果：

1)合格成品直接送出：六轴机器人抓取合格成品放置于出料输送线上，经出料窗口送予访客.

2)合格成品入库：六轴机器人从缓存工作台上将合格成品的托盘搬下，放置于AGV上，由AGV送至立体仓库进行入库.

3)不合格品回收：六轴机器人从托盘上抓取不合格品，放置于不合格料箱内，待全部生产完成后，由人工统一回收处理.

图5 模型在场景中的检测结果

过程中，数字大屏中可实时显示检测数据.软件主体为基于Unity3D的三维可视化方案，可以综合三维建模、虚拟现实、编程控制等，内置生产线的设计参数与生产状态数据，为孪生模型提供编程接口，并可有效的反馈检测的结果，转化为产线控制信号.

4.2 实验结果与分析

实验中深度传感器采用微软Kinect2[19]设备，其获取的深度图分辨率为512×424pix，对模型和场景点云首先进行降采样，根据重建点云的分辨率，分别设置局部坐标系计算半径、SHOT特征计算半径，匹配群集大小和霍夫变换阈值.

在检测平台上放置随机数目和种类的不同工艺品，检测目标类别与摆放姿态.实验中将模型物体附加上平移与旋转，定量测试正确的特征匹配占比与检测准确率.

图5为场景中多目标三维检测的结果.图6为模版工艺品中关键点提取和关键点匹配情况.

从表3可以看出相同条件下，本文方法在特征点匹配的精确性和检测识别率方面优于其他方法，传统方法表现在伪对应关系过多，导致识别率较低，而改进的方法在离线和在线环节通过广义霍夫投票进一步筛选出正确的匹配关系，有效的提高了识别率.

从平移与旋转的鲁棒性分析特征点匹配的正确占比，将模型模板围绕Z轴旋转不同的角度，从0°到180°，测试引入霍夫投票机制后，各算法结果正确对应关系占比.

由图7结果可以得出结论，引入霍夫投票环节后，相对于直接使用传统的匹配算法，伪对应关系下降明显，正确的对应关系占据大多数匹配关系，并且算法对于角度的变化有更加稳定的表现，故检测算法在6DoF检测中有良好的旋转不变性表现.

表3 三维检测实验结果

Table 3 Three-dimensional detection experiment results

目标点云SHOT+FLANN正确匹配占比识别率LineMod+ICP 正确匹配占比识别率FPFH+RANSAC正确匹配占比识别率SHOT+3D HoughVoting正确匹配占比识别率142.54946.85276.08189.897241.44553.65879.68889.296347.15354.66477.78288.396449.25445.25377.48189.495549.65845.74879.48093.493641.24254.86279.88491.497749.25250.35178.78588.696840.64146.85575.87791.394均值45.149.249.755.378.082.290.195.5

图7 附加旋转角度检测结果

5 结束语

本文基于数字孪生技术改进检测算法并应用于生产线检测环节中，建立数字模型连接物理实体与虚拟数字空间，使实时数据结合先验信息进行合作性的检测.检测模型分为离线环节和在线环节.在离线环节中提取模型点云的SHOT特征点，建立局部坐标系，将相对于标志点的局部投票向量作为模版.之后动态在线检测环节仅采用单独的孪生三维投票空间，利用局部特征描述唯一的性质降低了计算维度，并且投票结果极大值点的确定排除了其他伪对应关系，提高了检测算法的准确性.在搭建数字孪生的产线中重复实验，特征点的正确匹配占比方面有大幅度的提升，并且匹配准确率不随实验附加平移旋转向量的增加而有明显变化，说明了方法对三维检测具有较好的准确性和稳定性.

下一步将充分利用数字孪生平台驱动服务系统和物理设备的能力，提升交互控制效果，探索数字孪生技术在产品全生命周期中落地应用.