基于机器视觉的增强现实盲区装配方法

王增磊, 晏玉祥, 韩德川, 白晓亮,2, 张树生

(1.西北工业大学 机电学院, 陕西 西安 710072; 2.东莞市三航军民融合创新研究院, 广东 东莞 523808)

装配是产品生命周期中的一个重要环节，产品的装配时间和装配质量直接影响着产品的开发成本和使用性能。在当今中国制造业中手工装配仍占据着重要地位[1-2]，其费用高昂且属于产品研制工作的后端，提高装配效率和可靠性所带来的经济效益远比简单地降低零件生产成本所带来的经济效益显著[3]。

在手工装配中经常会遇到一些盲区手工装配的情况，所谓的盲区手工装配是指在装配过程中的人手、目标位置、手持零部件或手持工具等出现在盲区或者狭窄区域中，使得装配过程的必要视觉信息丢失，从而对装配过程造成困难，甚至难以进行。对于这种特殊情况，装配工人在作业过程中需要不断调整身体姿态，才能部分地看到装配部位，导致装配效率低、错误率高、工人容易疲劳等，甚至是无法进行装配。Boothroyd等[4]通过研究表明装配过程中存在工件被遮挡的情况，被遮挡的程度越大装配难度越大。此外，Jovanovic等[5]通过研究表明，装配过程中的身体姿态越复杂装配难度越大。

增强现实(augmented reality,AR)技术具有同时展现真实世界信息和虚拟世界信息的能力，能够将计算机生成的装配引导信息(如三维模型、装配动画、文本提示等) 在装配现场中“无缝”叠加，能大大提高装配操作效率和质量[6]，在解决上述问题中具有很大的潜力。

为了在装配现场中"无缝"叠加虚拟装配引导信息，需要对虚拟信息进行三维注册。三维注册技术是虚实融合效果的基本要求，实现三维注册的关键为摄像机定位追踪。早期的增强现实所采用的摄像机追踪算法都是基于人工标志点的，最具代表性的为美国华盛顿大学HIT实验室开发的ARToolkit[7]，通过图形处理找到标识物的角点像素坐标及标识物的世界坐标，利用PnP[8-9]算法求解相机位姿。由加拿大研究院开发的ARTag[10]使用了一种边缘启发式搜索算法，用来降低标识识别的误检率，使其在具有一定抗遮挡能力的同时，具有较低的姿态估计误差及内部编码率。基于人工标志点的摄像机追踪算法具有算法复杂度低、追踪稳定性强、追踪精度高、漂移小等特点，在增强现实装配领域，机械产品追踪精度要求高[11]，因此基于人工标志点的摄像机追踪方法具有显著优势。

增强现实可视化方式除了传统的PC显示外，其他显示方式概括起来有3大类：①手持式显示；②HMD(head mount display)显示；③投影显示[12]。手持式显示主要指手机平板等移动式显示设备，但显示方式并不直观；HMD增强现实显示主要缺点是长时间穿戴会不舒适；基于投影的显示通常不需要用户穿戴或者携带任何设备。Bimber等[13]采用几何变形、辐射补偿、多焦点投影和多投影仪共同投影的技术实现了在普通平面上产生立体投影的效果。由于操作者更喜欢在无负载的情况下工作，因此基于投影的显示在机械装配领域内有更大的应用。

在增强现实辅助装配领域，哥伦比亚大学的Henderson和Feiner[14]开发了一个面向狭小空间的增强现实辅助装配系统，实验人员佩戴AR眼镜，通过文本、标签、箭头和动画的引导在狭窄的炮塔内安装紧固件、指示灯以及线缆等零件，实验结果表明在狭小空间内使用增强现实系统辅助装配时可以减少操作人员头部的移动次数。

受Feiner等工作的启发，王增磊等[15]对手工装配中遇到的盲区问题，利用增强现实技术将盲区信息直观呈现给工人。该方法根据待装配对象可见部分的大小使用HTC vive的2个手柄或通过leap motion对手的追踪间接估计待装配对象位姿，并利用vive头盔显示增强现实场景和装配体模型。这种方法很大程度上解决了盲区不可见部分的装配难题，但是基于传感器的追踪方法极易受到外部环境的干扰，导致模型抖动或丢失，因此，很难适用于高精度的装配场景。此外，调研发现工人在制造现场作业时不喜欢佩戴头盔，这会给工作带来诸多不便，如增加工作负荷等。

本文在前述研究的基础上提出一种精确、鲁棒基于机器视觉的定位追踪方法，并将该方法应用于盲区装配，同时借助局部误差放大的原理进行AR可视化引导装配，从而期望提高装配精度和装配效率，降低装配错误率、缓解工人身心疲劳。

1 系统概要

基于机器视觉的增强现实盲区装配总体工作流程如图1所示，总共包括3个部分：①标志点椭圆的识别和检测；②盲区对象的定位追踪；③盲区装配信息的AR可视化。在开始阶段，使用相机采集盲区装配现场的图像，通过图像预处理降低图像噪声，采用轮廓查找、椭圆拟合等方式识别标志点椭圆，由于标志点贴在盲区待装配对象的外表面，所以通过对椭圆的定位追踪就可以实现盲区待装配对象的定位追踪，并通过解PnP问题，实现椭圆中心点3D世界坐标与2D像素坐标的转换，从而求得相机的位姿(R/T)，将位姿信息传入unity3D中，与unity3D中的模型实现虚实结合。最后根据虚实结合注册的结果，将装配引导信息通过投影的方式在装配环境中叠加，同时借助局部误差放大的原理进行AR可视化引导装配。

图1 盲区装配总体工作流程图

1.1 标志点椭圆的识别的检测

识别和检测椭圆标志点是为了实时定位追踪与标志点绑定的盲区待装配对象，本文椭圆标志点的识别和检测技术流程如图2所示。

图2 椭圆识别检测流程

由于受光照、环境等众多因素的影响，相机采集的图像总是会存在许多噪声，而这些噪声会对检测识别椭圆带来一定影响，因此采集到原始图像后，需要对这些图像进行图像预处理，以有效降低由于噪声和失真变形对后续识别算法造成的干扰。首先对原始图像灰度化处理后进行高斯滤波，然后采用Hough PV所提出的最大类间方差法[16](OTSU)图像二值化处理，再利用canny边缘检测算子提取二值图像中的有效边缘轮廓，得到的边界轮廓上的像素点集并不是完整的轮廓曲线，因此再对使用链表结构形式储存的轮廓信息进行遍历筛选，经筛选处理得到完整的二维轮廓曲线。为了提高椭圆检测精度，需要将椭圆识别实现亚像素精度定位，为此对已查找到的轮廓边缘像素点集，通过使用最小二乘法[17]进行椭圆拟合，从而计算出椭圆中心点的亚像素精度坐标位置。椭圆的一般方程为

Ax2+Bxy+Cy2+Dx+Ey+F=0

(1)

运用最小二乘法进行椭圆拟合,即最小化轮廓边缘像素点集与拟合椭圆之间的距离度量。距离度量指的是平面内一点(x0,y0)到椭圆方程f(x,y)=0所代表的代数距离即f(x0,y0)。为了避免方程零解,令A+C=1,设查找到的某个轮廓边缘像素点集为Pi(x,y),包含的像素点个数为n,运用最小二乘法计算方程(1)的系数,使得函数

f(A,B,C,D,E)=

(2)

最小。根据极值定理,当f(A,B,C,D,E)最小时,满足

(3)

根据上述等式得到的线性方程组,以及约束条件A+C=1,就可以计算得到方程系数A,B,C,D,E,F的值。则椭圆中心坐标Pc(Xc,Yc)为

(4)

(5)

椭圆拟合完成后,为了减小图像中出现的干扰椭圆点,根据椭圆面积和长度进行筛选,精确找到目标标志点椭圆,并输出椭圆中心点坐标。

1.2 盲区对象的定位追踪

对盲区对象的追踪是通过将椭圆标志点粘贴在盲区对象表面,通过追踪椭圆的方式间接追踪盲区待装配对象。为了确定椭圆粘贴表面的位姿,首先需要标定相机,获得相机的内参矩阵Mc、相机内参畸变参数矩阵等,然后通过解PnP问题,确定相机在真实世界坐标系下的坐标(3D)与像素坐标下的坐标(2D)之间的转换关系。PnP问题是求解3D-2D点对运动的方法,描述了当知道n个三维空间点坐标及其二维投影位置时,如何估计相机的位姿。在1幅图像中,最少只要知道3个点的空间坐标即3D坐标,就可以用于估计相机的运动以及相机的姿态。而特征点的空间世界坐标,可以通过深度图来确定,亦可在初始化时,通过设定世界坐标系的方法解得,由于本文使用单目相机,因此通过设计1个大椭圆、3个小椭圆标志点以椭圆所在平面为世界坐标XY平面,并以大椭圆标志点中心坐标作为原点确定世界坐标系(Z坐标设为0),并按照顺时针方向逐个确定3个小椭圆的世界坐标,又通过椭圆检测可以确定对应的椭圆中心点像素坐标,因此通过公式

(6)

可以确定矩阵[R|t],其中R是旋转矩阵,t是位移向量。在(6)式中

(7)

相机的内参矩阵为

(8)

求得矩阵[R|t]后,就可以完成从世界坐标系到相机坐标系的转换。如果世界坐标系为X,相机坐标系对应坐标为X′,那么X′=[R|t]·X。从相机坐标系到理想像素坐标系的变换就需要内参数矩阵Mc。那么理想像素坐标系L=Mc·[R|t]·X。

在知道真实世界坐标系与像素坐标系的转换关系后,可以获得椭圆标志点所在的平面的位置和姿态,在unity3D虚拟世界中,通过给虚拟“十字”模型赋值的方式,使“十字”模型位于虚拟相机坐标系下4个椭圆的正中心之间的位置,通过实时追踪椭圆标志点,无论怎么移动和旋转待装配对象,十字模型也会随椭圆标志点所在的平面移动和旋转,与椭圆的相对位置始终保持不变。

1.3 盲区装配信息的AR可视化

在unity3D虚拟世界中,通过将“十字”模型叠加到视频流中装配体表面,可以实现“十字”模型随装配体移动而移动,为了在真实世界中实现盲区装配,需要将unity3D中的装配信息进行AR可视化处理,从而实现操作者在信息的引导下有效地完成盲区的装配。

图3 投影位置局部放大示意图

2 方法验证与讨论

2.1 系统软硬件环境

系统的软件架构主要由四部分构成,即服务器与客户端的通信和数据共享、基于人工标识的定位追踪算法、盲区的可视化与装配引导信息的虚实融合以及相机投影仪对的标定。整个架构基于unity3D和visual studio(C/C++)开发,通过把基于人工标识的定位追踪信息以DLL的形式嵌入到unity3D的工程中,并以投影仪的形式实现AR可视化装配引导。

为验证该方法对盲区装配的影响,设计了1套盲区装配硬件系统。如图4所示,系统由投影仪、USB相机、上下接插件以及运行程序的服务器组成。在实验的过程中需要将上接插件底部的针脚准确插入到下接插件内部对应的针孔里,针脚和针孔模型示意图如图5所示。由于针脚被固定在一个较大的形体底面,因此在整个装配过程中针孔和针脚完全被形体所遮挡,实际装配过程中只能通过经验以及不断试探,才能完成工作。

图4 系统硬件图

图5 针脚和针孔模型示意图

2.2 实验方法

本实验中共有20人参与实验,17位男性,3位女性,所有人都有AR/VR方面的实验经验。实验中,参与者分别在有AR引导下进行装配和无AR引导下进行装配,因此本用户研究实验为组内设计。为了平衡学习效应的影响,打乱相邻2组的参与者参与实验的条件顺序,如:前面一组先做有AR引导的盲区装配,后做无AR引导的盲区装配,后面一组参与实验的条件顺序正好相反。

有AR引导的盲区装配实验场景如图6所示。实验开始时,实验工作人员开始计时,参与者从固定位置拿起上接插件,移动上接插件将红色十字架对准绿色十字架(见图6a)),当2个十字架之间的距离接近于零时注意观察距离偏差放大图(见图6b)),直到二者之间的距离为零时平稳地将上接插件的针脚准确插到下接插件的针孔里,完成装配后结束计时同时记录是否装配正确,unity3D中的运行界面如图6c)所示。

图6 AR引导盲区装配实验场景

2.3 结果分析

本节中通过装配完成的时间间接衡量装配效率,时间越短,则说明效率越高,反之。同时,对装配过程中的错误率进行了统计。由于本章实验设计是采用组内实验设计,因此对时间变量和错误率进行配对样本T检验。最后,对问卷结果进行分析。

2.3.1 装配完成时间

如图7所示,有AR引导的盲区装配平均时间(4.48±1.21 s)与无AR引导的盲区装配平均时间(8.47±2.75 s)相比有显著的差异。

图7 装配完成时间

2.3.2 装配错误率

对于装配错误率采用公式(9)计算

(9)

如图8所示,有增强现实辅助下的装配错误率(0.00±0.00)与无增强现实辅助下的装配错误率(0.26±0.12,p<0.05)相比有显著性差异。

图8 装配错误率

3 结 论

本文针对手工装配中的盲区装配作业难题,提出了一种基于增强现实的盲区装配方法。该方式首先利用基于机器视觉的定位追踪方法对待装配零件进行定位追踪,然后利用误差放大的AR可视化效果进行引导装配,最后设计并实施了基于增强现实的盲区装配实验,对装配效率及错误率进行评估。实验结果表明本文方法能显著提高盲区装配作业的效率,并能有效降低装配错误率。