内置零件装配质量的多双目视觉测量标定技术

王　乾，陈晓波, 2，吴卓琦, 2，习俊通, 2

(1. 上海交通大学 机械与动力工程学院，上海 200240;2. 上海市网络化制造与企业信息化重点实验室，上海 200240)

内置零件装配质量的多双目视觉测量标定技术

王乾1，陈晓波1, 2，吴卓琦1, 2，习俊通1, 2

(1. 上海交通大学 机械与动力工程学院，上海 200240;2. 上海市网络化制造与企业信息化重点实验室，上海 200240)

内置零件的装配质量检测由于受到空间的限制，常需要多个双目立体视觉测量子系统协同完成，而对多双目立体视觉测量系统进行准确的标定是保证内置零件测量精度的关键.提出了一种面向多双目立体视觉测量系统的综合标定方法，分析了标定数学模型，介绍了具体实施方案，包括单个双目立体视觉系统的标定和多个系统间空间位姿关系的标定.在上述研究的基础上，对一个双双目立体视觉测量系统进行了标定实验，通过对圆柱标准件的测量验证了多双目立体视觉测量综合标定方法的正确性和可行性.

多双目立体视觉；测量标定；内置零件

内置零件是设置在产品内部用于实现特定功能的一类零件，其装配质量的好坏直接影响产品的性能及可靠性. 以图1(a)所示的汽车燃油箱内置防浪板为例，它被设置在燃油箱内部用于控制车辆启停过程中因油料晃动所产生的振动及噪声.防浪板的焊装位姿偏差可能导致油箱异响、防浪板脱落等异常，因此对于该类零件装配质量的检测和控制十分重要.

汽车燃油箱作为一个密闭实体，只在油箱本体上设有一个注油口与外界相连.该注油口的尺寸按照相关行业标准设计，直径仅为130 mm，加上燃油箱内部的空间狭小且形貌不规则，给测量设备的摆放和机构运动带来了很大限制.因此，传统的测量手段往往不能满足此类内置零件的快速检测需求.针对这一情况，本课题组已研制了如图1(b)所示小型化多双目立体视觉测量系统，可置于燃油箱内部对装配体进行准确测量，再利用测量点云数据对相关装配质量参数进行计算.

(a) 燃油箱与内置防浪板零件

(b) 多双目立体视觉测量系统图1　内置防浪板零件测量Fig.1　Internal wave-proof part measurement

多双目立体视觉测量技术是在双目立体视觉测量的基础上发展的一种新型非接触式检测技术，通过对待测空间进行合理划分，由多个双目立体视觉测量子系统对不同区域分别进行测量，并将测得的数据进行统一处理.这种方法使得测量设备的小型化程度和紧凑程度大大提高，可以很好地满足内置零件在受限空间中的测量要求，实现在非破坏条件下对内置零件进行快速、精密的测量.

在多双目立体视觉测量过程中，测量系统综合标定是保证子系统测量精度和数据融合精度的关键.因此，对多双目立体视觉测量系统的综合标定技术进行研究具有重要意义.传统双目立体视觉系统的标定主要借助标定板进行，文献[1]给出了一种基于立体标定板的现场标定方法，一次摆放即可完成标定，但立体标定板的制作较为复杂，其制作精度对标定结果的影响较大.文献[2-3]采用圆形标志点，对摄像机进行了全自动标定，有效避免了标定中的人工干预，但圆形中心的拟合偏差会对标定结果造成不利影响.文献[4]提出了一种大场景双目立体视觉测量的标定方法，但未涉及多组双目立体视觉系统之间的综合标定.

本文提出了一种多双目立体视觉测量系统的综合标定方法，对单个双目立体视觉测量子系统的各项参数及多个双目立体视觉测量子系统之间的相对位姿关系进行了标定，取得了较好的效果.

1　多双目立体视觉测量标定数学模型

多双目立体视觉测量系统一般由两个以上的双目立体视觉测量子系统共同构成，如图2所示.在测量时各子系统先分别进行测量，再按照标定好的空间位姿转换关系进行数据融合，将测量结果统一到同一个坐标系进行处理.

图2　多双目立体视觉测量系统Fig.2　Multi-binocular stereo vision measurement system

在多双目立体视觉测量系统中，各子系统的测量均基于视差原理，由两部工业相机对空间待测物体进行同步拍照，并利用两幅对应图像计算出待测物体上各点的三维空间坐标，从而实现待测物体的三维点云重建[5].该过程可以看作是将包含待测物体表面信息的空间点向摄像机成像平面进行投影的过程.为了准确地通过对应图像求取待测物体上点的三维空间坐标，必须建立二维摄像机图像坐标系与三维世界坐标系之间关系，即对双目立体视觉测量子系统进行标定.

另外，对各测量子系统测得的数据进行坐标归一化处理，还必须获取各双目立体视觉测量子系统之间的空间位姿转换关系.综上，多双目立体视觉测量系统的综合标定主要包括对单个双目立体视觉测量子系统的标定和对多个双目立体视觉测量子系统之间的空间相对位姿标定，下面对上述过程分别进行数学建模.

设待测零件上一点的空间坐标为[X Y Z]T，它在图像上投影的像素化坐标为[u v]T.根据针孔摄像机模型，双目立体视觉测量子系统中二维图像坐标系和三维世界坐标系之间的关系为

(1)

其中：A为摄像机内参数矩阵；fx和fy为以像素数目为单位表示的摄像机等效焦距；cx和cy分别为以像素数目为单位表示的摄像机主点位置行、列坐标；R为3×3正交单位矩阵；t为三维平移向量；s为非零比例因子.

考虑到实际情况下摄像机镜头并不是理想小孔，在成像过程中存在一定程度的径向畸变和切向畸变，故需引入透镜畸变系数ki对上述线性模型进行修正.对单个双目立体视觉测量子系统的内参数矩阵A、外参数矩阵[Rt]及透镜畸变系数ki的标定，就是通过已知足够多的空间坐标和图像坐标的对应，建立如式(1)中的单映性映射，再运用非线性优化迭代方法进行求解，其迭代目标函数如式(2)所示.

(2)

其中：c为摄像机内外参数；mi, j为第j幅标定图像中第i个标定特征点的坐标；Mi为世界坐标系下该标定特征点的坐标；π表示三维空间点到二维图像坐标的映射.

已知各摄像机外参数，则双目立体视觉测量子系统内部两部摄像机之间的位姿关系满足式(3).

(3)

其中：Rl, Rr,tl, tr是由式(1)求得的左、右摄像机外参数；Rs t和Ts t称为双目立体视觉测量子系统的立体标定参数.

在多个双目立体视觉测量子系统进行协同测量时，各子系统测得的三维空间点坐标分别位于各自的测量坐标系下.为了能够将这些数据进行统一处理，需要将其统一到同一个坐标系下.具体而言，就是以其中一个双目立体视觉测量子系统所在的坐标系为基准，将其他各测量子系统测得的数据变换到该基准坐标系下，而求解对应的变换关系的过程就是子系统间相对位姿的标定.

由于本文所研究的测量数据属于刚体点云，多双目立体视觉测量系统相对位姿的标定就转化为求取多个子系统测量坐标系之间的刚体位姿转换关系，即所在坐标系到基准坐标系的旋转矩阵Ri和平移向量Ti.如图3所示，为了求得任意两个测量坐标系之间的位姿转换关系，需要知道一系列空间点在两个双目立体视觉测量子系统下的对应坐标.

图3　对应点刚体位姿变换Fig.3　The transformation of point set

设两个测量坐标系下的一系列对应点分别为L=[L1L2L3L4…]和L′=[L1′L2′L3′L4′ …]，二者存在如下转换关系：

(4)

其中：旋转矩阵R3×3为正交单位阵，从而位姿变换矩阵的求解转化为求下列最优化问题.

(5)

求解上述优化问题,先进行中心化处理消除平移项，将问题转化为正交强迫一致问题，再利用奇异值分解求解，即原优化问题转化为

(6)

其中：P和C分别为

(7)

(8)

将式(6)中的目标函数展开可得：

‖P-R C‖2=trace(PTP+CTC)-2trace(PTR C)

(9)

由式(9)可知，要使得目标函数最小，应该使trace(PTR C)取到最大值.对PTR C进行奇异值分解得：

trace(PTR C)=trace(R CPT)=trace(RUΣVT)

(10)

由式(10)可知，trace(PTRC)取得最大值当且仅当RUΣ=I时成立，即矩阵R满足：

R=VUT

(11)

最后，经过旋转对齐后的两个对应点集之间的平移变换矩阵为

(12)

2　多双目立体视觉测量系统综合标定

在上述数学模型的基础上进行多双目立体视觉测量系统的综合标定，包括:对各摄像机进行单独标定，获得各摄像机的内外参数，然后进行立体标定确定两台摄像机之间的位姿关系；对多个双目立体视觉测量子系统之间的相对位姿进行标定，得到各测量子系统测量坐标系之间的相对位姿转换矩阵.

2.1双目立体视觉测量子系统标定

双目立体视觉测量子系统的标定由4个主要步骤实现.首先，设计并制作平面标定板；接着由摄像机拍摄若干组标定图像，建立三维标定特征点和其在二维图像坐标系下的投影点之间的一一映射关系；然后从标定图像中提取标定特征点的二维坐标；最后，建立优化问题和约束方程组，求解左、右摄像机的内外参数和立体标定参数.

根据燃油箱内置零件的实际测量要求设计和制作平面标定板，该标定板的尺寸应该能够适应测量场景，经过有限次的摆放可以覆盖摄像机的主要成像区域[6].受限空间的测量场景一般较小，约为70 mm×60 mm，故在标定时也常采用较小尺寸的标定板.使用Matlab生成一个7×10的棋盘格标定板，其中每个小格的尺寸为4.8 mm×4.8 mm.为了避免喷墨打印在较小的尺度范围内发生变形而影响测量系统标定的精度，上述标定板采用光刻工艺，保证较高的加工精度.

标定板制作完成后，利用各测量子系统内的左、右两部微型工业摄像机进行标定板图像的采集，完成三维标定特征点向二维图像坐标系的投影过程.标定图像采集应在与实际测量环境较为接近的光照条件下进行，用两部摄像机同时对摆放在空间不同位置、处于不同姿态的棋盘格标定板进行一系列图像采集.拍摄过程中为了防止立体标定误差，应尽可能确保左右相机同步拍摄.

如图4所示，为了保证有足够多的标定特征点参与标定计算，同时准确地反映摄像机对景深范围内不同区域目标的成像畸变情况，标定板的摆放应覆盖远景、中景、近景中的所有成像区域，同时尽量涵盖各种可能的空间姿态.

图4　标定板摆放位姿Fig.4　Calibration board location and pose

获得一系列清晰的标定图像后，需要从这些图像中提取有用的标定特征信息.对于棋盘格标定板而言，标定识别特征基元是角点，故需从标定原始图像中分离出标定板区域并从中提取出所有角点.如图5所示，先利用相关图像处理算法去除标定图像中的背景噪声，然后利用Harris角点识别算法提取角点.该算法通过计算矩形窗口在图像中滑动时各方向的平均灰度变化进行角点提取，其基本思想是当矩形窗口沿图像的各个方向进行滑动时，若其内部平均灰度均发生剧烈变化，则认为当前所在的点为角点[7].

图5　标定识别特征提取Fig.5　Extraction of corner point

在标定识别特征点的二维图像坐标和三维空间坐标对应关系已知的情况下，就可以代入式(2)和(3)，解得摄像机的内外参数和立体标定结果.

2.2多系统相对位姿标定

多系统相对位姿的标定主要根据一系列空间点在不同测量坐标系下的坐标，求取不同测量坐标系之间的刚体位姿变换关系.该过程中保证标定精度的关键因素是对应点三维坐标的准确性，三坐标测量仪配有空气轴承、高精度导轨和光栅尺，在各个运动方向上均能保证极高的定位精度，因此本文借助三坐标测量仪进行标定.

多双目立体视觉系统相对位姿的标定分为3个主要步骤.首先，借助三坐标测量仪采集标定图像，该图像中需含有标定特征信息；然后，将各个双目立体视觉测量子系统采集得到的标定图像分别进行三维重建计算，得到标定特征点在不同子系统坐标系下的对应坐标；最后，利用已知的若干组对应特征点，按照式(4)～(12)求取各测量坐标系的刚体位姿变换矩阵.

如图6所示，将校准过的三坐标测量仪测量头移动到测量系统的测量范围内，调整摄像机参数直至成像清晰.将一个圆形Mark点设置在三坐标测量仪的测量头上，使该Mark点与测量头颜色具备较大的反差，利用其圆心作为相对位姿标定的标定识别特征.编写程序控制测量头在多双目立体视觉测量系统的测量范围内精确停留若干个位置.在每一个位置，所有测量子系统均对Mark点进行拍摄，得到一系列Mark点图像.

图6　多系统相对位姿标定图像采集Fig.6　Image acquisition of multi-binocular system calibration

采集得到一系列带有Mark点的标定图像之后，利用上文已经标定的双目立体视觉测量子系统对Mark点圆心识别特征的空间三维坐标进行测量.如图7所示，首先基于灰度阈值法从标定图像中分离出Mark点所在的区域，从而找到圆形区域的边界轮廓；然后将该轮廓拟合成为标准圆，提取出该圆的圆心像素位置，将圆心像素坐标代入测量模型，求出圆心位置的三维空间坐标.

图7　Mark点中心提取Fig.7　Extraction of Mark point center

在Mark点停留的每一个位置，各测量子系统均能从获得的图像中提取出Mark点圆心的像素坐标位置，并计算其空间三维坐标值，从而得到位于不同子系统测量坐标系下的一系列对应的空间特征点的集合，即第1节所述的对应特征点集L=[L1L2L3L4…]和.在此基础上，以其中一组所在的测量坐标系作为基准，按照式(11)和(12)即可求解其他子系统测量坐标系到基准坐标系的刚体变换矩阵，实现各测量子系统间空间相对位姿的标定.

3　应用与验证

基于上述研究，在一个双双目立体视觉测量系统上对该标定方案进行了综合标定实验验证.该测量系统由4部微型工业摄像机组成，以每两部摄像机为一组构成两个双目立体视觉测量子系统.两个双目立体视觉测量子系统分别标定的结果如表1所示.

表1　双目立体视觉测量子系统摄像机标定结果Table 1　Calibration results of binocular stereo vision subsystems

如图8所示，标定得到的摄像机重投影误差的平均值约为0.05像素，分布的极差范围小于0.5像素，表明上述摄像机标定结果具有较高的精度.

图8　重投影误差Fig.8　Reprojection error

两个双目立体视觉测量子系统间的相对位姿转换关系的标定是以测量子系统A所在的坐标系作为基准，测量子系统B的坐标系到基准坐标系的刚体位姿转换关系如下：

旋转矩阵R=

平移向量T=

为了验证标定结果的准确性，应用该测量系统对圆柱标准件进行了50次重复测量实验.如图9所示，利用测得的三维点云拟合得到圆柱标准件直径.

图9　圆柱标准样件测量点云Fig.9　Point cloud of standard cylinder part

如图10所示，测量拟合得到的圆柱标准件直径平均值为49.555 mm，而圆柱标准件的标称直径为49.550 mm，表明该标定方法具有较高的精度和稳定性.

图10　标准圆柱零件50次重复测量结果Fig.10　Results of 50 repetitive measurements for standard cylinder part

在某型燃油箱内置防浪板装配质量检测中，应用上述标定结果对研制的双双目立体视觉测量系统开展工程应用，如图11所示为测取的内置件焊接立柱三维形貌，为后续内置防浪板零件装配质量特征参数提取与评价提供了精确可靠的原始测量数据.

图11　燃油箱内置防浪板测量点云Fig.11　Fuel tank internal parts point cloud

4　结　语

本文针对内置零件装配质量检测的实际需求，分析了多双目立体视觉测量系统综合标定的数学模型，提出了多双目立体视觉测量系统的综合标定方法，包括单组双目立体视觉测量子系统的标定和多个双目立体视觉测量子系统间的相对位姿关系标定.在此基础上，在一个双双目立体视觉测量系统上进行了标定实验，应用标定数据对圆柱标准件进行了测量并开展了工程应用，结果表明该标定方法具有较好的效果.

[1] 陈刚,车仁生,叶东,等.一种基于立体模板的双目视觉传感器现场标定方法[J]. 光学精密工程, 2004, 12(6):626-31.

[2] 夏仁波,刘伟军,赵吉宾,等.基于圆形标志点的全自动相机标定方法[J]. 仪器仪表学报, 2009, 30(2):368-373.

[3] 张辉,张丽艳,陈江,等.基于平面模板自由拍摄的双目立体测量系统的现场标定[J]. 航空学报, 2007, 28(3):695-701.

[4] 郭慧,刘亚菲,王勇,等.大型齿轮工件焊接的双目视觉测量标定[J]. 东华大学学报:自然科学版, 2013, 39(4):455-459.

[5] 张广军.视觉测量[M].北京:科学出版社, 2008.

[6] 任继昌,杨晓东.双目视觉系统的立体标定与校正[J]. 导航与控制, 2012, 11(4):73-76, 56.

[7] 王崴,唐一平,任娟莉,等.一种改进的Harris角点提取算法[J]. 光学精密工程, 2008, 16(10): 1995-2001.

Calibration of Multi-binocular Vision Measurement of the Internal Part Assembly Quality

WANGQian1，CHENXiao-bo1, 2，WUZhuo-qi1, 2，XIJun-tong1, 2

(1. School of Mechanical Engineering, Shanghai Jiaotong University, Shanghai 200240, China;2. Shanghai Key Laboratory of Advanced Manufacturing Environment, Shanghai 200240, China)

The multi-binocular stereo vision system can be applied to the measurement of built-in parts assembly quality, and the calibration for the system is significant to the measurement accuracy. A calibration method for the multi-binocular stereo vision system was proposed including the calibration of both binocular stereo vision systems and the inter-system pose transformation. The mathematical model was analyzed, and the key points in calibration data acquisition, image processing, feature extraction and parameter calculation were discussed. Using the proposed calibration method, a double-binocular stereo vision system was calibrated. A measurement experiment with the calibrated double-binocular stereo vision system showed that the method was correct and accurate.

multi-binocular stereo vision; measurement calibration; internal part

1671-0444(2015)04-0421-07

2014-12-17

国家自然科学基金资助项目(51105255)

王乾(1990—)，男，陕西西安人，硕士研究生，研究方向为机器视觉检测.E-mail:wq901023@126.com

习俊通(联系人)，男，教授，E-mail:jtxi@sjtu.edu.cn

TP 212.1

A