一种多相机视觉测量系统的全局标定方法*

黄东兆，赵前程

(湖南科技大学机械设备健康维护湖南省重点实验室，湖南 湘潭 411201)

单个相机都受一定的视野范围限制，为了满足高精度、宽视野的工业测量任务，通常需要用多个相机组建一个具有更大视觉空间范围的测量系统.对每个相机进行内参标定，只能在单个相机坐标系下建立视觉测量模型.由于各相机坐标系彼此独立，因此所有相机的测量结果需要统一到其中一个相机坐标系或一个全局坐标系中来表达.统一的过程被称为多相机测量系统位姿关系的全局标定.通常使用“金规校准”(需1个制作精确的标准件作为参考基准)与“银规校准”(需1个经过坐标测量机标定后的标准件作为参考基准)对多相机系统进行全局标定，但在日常搬运中要防止标准件不受损害是相当困难的.因此，张广军[1]提出了使用双电子经纬仪或单电子经纬仪加靶标进行全局标定的方法.该方法精度高，但电子经纬仪价格昂贵，普适性受限.其他一些方法[2-3]无需贵重仪器，但仅适用于立体视觉测量系统，不能应用于单目视觉系统.多相机测量系统全局标定的本质是确定系统中相机两两之间的相对位姿关系[4]，只要任意两相机间的相对位姿关系确定了，就完成了多相机系统的全局标定.笔者提出了一种基于双平面靶标的两相机相对位姿关系的标定方法，在阐述其原理的基础上通过仿真标定与实际标定实验来验证其可行性.

1 基于双平面靶标的两相机间相对位姿关系的标定方法

1.1 原理

多相机全局标定装置如图1所示，两靶标之间为刚性联接.两相机的位姿关系的标定如图2所示.

图1 多相机全局标定装置Fig. 1 Global Multi-Camera Calibration Device

图2 两相机间相对位姿关系的标定Fig. 2 Two-Camera Calibration for Relative Pose Relation

基于双平面靶标的两相机间相对位姿关系的标定方法，需要2个靶标通过一根长杆组成刚性联接，两靶标间的相对位姿在标定前可以未知.当使用该装置时，相机1，2分别独自拍摄靶标1，2的图像.假设靶标1坐标系到相机1坐标系的变换矩阵是A，靶标2坐标系到靶标1坐标系的变换矩阵是M，相机2坐标系到靶标2坐标系的变换矩阵是B，相机2坐标系到相机1坐标系的变换矩阵是N.M与N在标定前都是未知的，在标定后可以通过求解得到.对任何一幅图像而言，变换矩阵A，B，M与N之间的关系为

N=AMB.

(1)

其中：

将(1)式展开，得到

(2)

进一步将(2)式转换为

CD=E.

(3)

其中：C=(W1W2),这里

当标定装置置于不同位置(至少2个位置)并拍摄多幅图像后，将获得这些图像特征点的坐标，即可求得A与B，故C与E可知，从而由(3)式求得D.当D已知后，即可求得M.(1)式可以转换为

BN-1=M-1A-1.

(4)

由于M已知，且多幅图像所对应的A与B已知，因此可由(4)式解得N-1，进而求得N.

1.2 仿真实验

将标定装置随机放置20个位置，对靶标上的特征点进行仿真投影，得到特征点在图像坐标系中的坐标.附加0.1个像素的白噪声后，基于这20个位置的仿真投影数据可以计算出N.为了更加直观地解读N的标定误差，用α，β，γ，Tx，Ty，Tz的误差来间接描述N的标定误差.将上述仿真实验重复100次，实验结果如图3所示.

图3 矩阵N的标定误差的间接描述Fig. 3 Indirect Description for Calibration Error of Matrix N

从图3可知，α与β的误差为 ±0.2°，误差较大，不满足误差 ±0.03°的要求，因此需要改进方法以满足精度要求.

2 改进的标定方法

图4 改进方法的标定原理Fig. 4 Calibration Diagram of Improved Method

改进方法的标定原理如图4所示.两靶标可绕同一根刚性轴旋转，该轴同时也是两靶标的联接轴，两靶标的旋转中心点位于联接轴线上，两中心点的相对距离在标定过程中恒定不变.当标定装置底座置于某一位置时，无论怎么旋转靶标，靶标的旋转中心点在靶标坐标系与相机坐标系中的坐标都是不变的.

将标定装置置于平面上的2个不同位置，旋转靶标时拍摄图像.通过图像求得两靶标在两位置的旋转中心点坐标与旋转轴线向量，进而求得两相机的相对位姿关系.详细过程如下：

(1)求解两靶标在各自相机坐标系中的旋转中心点坐标与旋转轴线向量.将标定装置依次置于同一平面的2个不同位置(图4)，旋转靶标，每个位置拍摄不少于20幅图像.通过这些图像数据，可以求得两靶标在位置1，2处的旋转中心点坐标与旋转轴线向量[5](在各自对应的相机坐标系中).为了便于阐述算法，以从相机向靶标方向看为准，设定两靶标的旋转轴线向量均指向右边.

(2)构建联系两相机位姿关系的局部坐标系.以靶标1为例，在相机1坐标系中建立局部坐标系O1X1Y1Z1的过程如下：假设靶标1在位置1，2处的旋转中心点坐标分别是(x1,y1,z1)和(x2,y2,z2)，两中心点处于同一平面内，在位置1，2的旋转轴线单位向量分别是(n1,n2,n3)和(m1,m2,m3)；以(x1,y1,z1)作为坐标系原点O1的坐标，以(n1,n2,n3)作为X1轴方向向量，将向量(x2-x1,y2-y1,z2-z1)单位化后作为Y1轴方向向量，Y1轴方向向量平行于放置标定装置的地面；将X1轴方向向量与Y1轴方向向量叉积后得到Z1轴方向向量，Z1轴垂直于地面.同理，可在相机2坐标系中建立与靶标2相关的局部坐标系O2X2Y2Z2.

(3)求解两相机坐标系间的变换矩阵.由于在位置1时靶标1，2的旋转轴线方向向量是相同的，都经过联接它们的旋转轴，因此在一个全局坐标系中，局部坐标系O1X1Y1Z1与O2X2Y2Z2的X轴方向向量也是相同的.又由于O1X1Y1Z1与O2X2Y2Z2的Z轴方向垂直于放置标定装置的平面，因此它们的方向也是相同的.由于两局部坐标系的X和Z轴的方向是相同的，因此Y轴方向也是相同的.故从两局部坐标系中的任何一个变换到另一个只需要平移变换，不需要旋转变换.

假设局部坐标系O1X1Y1Z1到相机1坐标系的变换矩阵是M1，局部坐标系O2X2Y2Z2到相机2坐标系的变换矩阵是M2，相机2坐标系到相机1坐标系的变换矩阵是MN，局部坐标系O2X2Y2Z2到O1X1Y1Z1的变换矩阵是MM(变换只需平移，无需旋转，故RM是单位矩阵)，其中：

3 改进方法的仿真标定实验与实际标定实验

3.1 仿真标定实验

两相机的内部参数均设为αx=αy=3 000，k1=k2=p1=p2=0，u0=512，v0=640，决定两相机相对位姿关系的MN的欧拉角与平移向量(3个分量)设为α=β=γ=0°，Tx=2 500 mm，Ty=Tz=0 mm，决定两靶标相对位姿关系的M的欧拉角与平移向量(3个分量)设为α=γ=0°，β=-60°，Tx= 1 250 mm，Ty=0 mm，Tz=2 165.063 5 mm.将标定装置分别置于相机前1 500，1 700 mm，在每个位置旋转靶标并拍摄30幅图像，得到特征点在图像坐标系中的坐标，附加0.1个像素白噪声后的MN的标定误差如图5所示，附加0.3个像素白噪声后的MN的标定误差如图6所示.在1 500，1 700 mm位置旋转靶标，分别拍摄60幅图像，附加0.3个像素白噪声后的MN的标定误差如图7所示.

图5 附加0.1个像素白噪声时MN的标定误差(30幅图像)Fig. 5 Calibration Errors of Matrix MN (30 Images,0.1 Pixels of White Noise Error)

图6 附加0.3个像素白噪声时MN的标定误差(30幅图像)Fig. 6 Calibration Errors of Matrix MN (30 Images,0.3 Pixels of White Noise Error)

图7 附加0.3个像素白噪声时MN的标定误差(60幅图像)Fig. 7 Calibration Errors of Matrix MN (60 Images,0.3 Pixels of White Noise Error)

从仿真结果可以看出，当每个位置拍摄图像不少于30幅且图像特征点提取误差小于0.3个像素时，两相机的相对位姿关系的标定精度能满足误差±0.03°的要求.

3.2 现场简易标定装置的标定实验

图8 现场简易标定装置Fig. 8 Simple Calibration Device on Site

为了验证改进标定方法的可行性，笔者利用现场简易标定装置(图8)做了标定实验.两靶标上旋转中心点的距离为1 800 mm，实验步骤如下：

(ⅰ)将标定装置置于相机测量范围内11个不同的位置，在每个位置旋转靶标时拍摄30幅图像.为了避免因地面不平而产生晃动，在装置上安装了可调升降的螺钉.在对应的相机坐标系中，计算出左、右靶标在不同位置的旋转中心点坐标与旋转轴线向量，选用其中第1，2个位置的中心点坐标与轴线向量，标定出两相机的相对位姿关系.

(ⅱ)选择第2个位置，在左相机坐标系中，计算得到左靶标的旋转中心点坐标p1与其旋转轴线向量n1；在右相机坐标系中，计算得到右靶标的旋转中心点坐标p2与其旋转轴线向量n2.

(ⅲ)根据前面标定得到的两相机相对位姿关系矩阵，将步骤(ⅱ)获得的右靶标旋转中心点坐标与旋转轴向量统一到左相机坐标系(这里以左相机坐标系为全局坐标系)中，得到在左相机坐标系中的旋转中心点坐标p2a与旋转轴向量n2a.

(ⅳ)计算点p1与p2a之间的距离T，向量n1与n2a之间的夹角θ.

(ⅴ)依次选择第3～11个位置，重复步骤(ⅱ)—(ⅳ)，计算相应的距离T与夹角θ，结果列于表1.

表1 简易标定装置距离T的偏差与夹角θ

从表1可知，两靶标的旋转中心点距离的标定误差为±3 mm，两向量之间的夹角小于0.29°(理论上夹角为0°).这些误差的产生原因可能是由于装置的制造和安装的精度不高(如旋转部件加工较粗糙，导致两靶标的同轴度误差较大)，以及地面的不平整等，但总体上具有一定的可行性.

为了提高简易标定装置的标定精度，通常的做法是提高装置的制造和安装的精度，同时在装置的旋转轴上固定一个圆水准泡，将可调升降的螺钉与水准泡相组合，从而尽量保证装置置于任何一个位置时，旋转轴都能保持水平.

3.3 高精度标定装置的标定实验

为了完成多相机相对位姿关系的高精度标定，并对标定结果的精度进行评估，笔者设计并制造了高精度标定装置(图9)，并对3D汽车四轮定位仪中多相机全局位姿关系进行出厂标定.该标定装置上两靶标旋转中心点间的距离是1 903 mm，实验步骤同简易标定装置一样，实验结果列于表2.

图9 高精度标定装置Fig. 9 High Precision Calibration Device

位置T/mmθ/(°)位置T/mmθ/(°)21 903.190.024 071 903.380.009 031 902.950.026 481 902.560.026 941 902.620.023 391 902.670.016 751 903.020.010 2101 903.390.025 861 903.200.016 0111 902.800.013 7

从表2可知，在提高标定装置的制造与安装的精度后，该标定方法具有较高的标定精度，能满足出厂标定要求.联接两靶标的旋转部件可通过左右两侧的导轨在底座上前后滑动进行标定，从而使标定方法具有精度高、操作方便与标定快捷的优点.该装置已应用于国内某厂家两相机或四相机3D四轮定位仪中的相机全局位姿关系的出厂标定.

4 结语

为了解决多相机视觉测量系统的全局标定方法在精度、成本、便捷性等方面的矛盾，笔者提出了一种成本较低、精度高、操作简便的两相机相对位姿关系的标定方法，可进一步推广应用到多相机的全局标定.该方法不同于传统的多相机全局标定方法，具有较广泛的应用价值.