基于双目视觉的汽车缝隙尺寸检测技术研究

董大卫，方宇，陈国栋，杨皓，周志峰

（1.201620 上海市 上海工程技术大学 机械与汽车工程学院；2.215000 江苏省 苏州市 苏州大学 机电工程学院）

0 引言

随着我国汽车工业的快速发展，汽车生产各个环节的检测显得尤为重要[1-3]。其中，车身表面缝隙面差的尺寸是评价车身覆盖件匹配质量的重要参数。车身覆盖件大多由冲压制成，经冲压拉伸后，覆盖件尺寸难免存在误差[4]。在装配时，如果覆盖件尺寸误差过大会导致覆盖件之间存在较大的间隙和面差，影响整车的外观、密封、防雨等性能。因此，需要在汽车出厂之前对覆盖件之间的间隙与面差进行尺寸检测，以保证汽车的装配质量。

汽车的四门两盖处的缝隙是汽车装配质量的重要体现[5]。为了完成良好的互换功能，汽车的四门两盖要与周围边缘保持适当的匹配缝隙面差以保证外观圆滑[6]。整个车身的覆盖件的缝隙主要有以下部分组成：发动机引擎盖（发动机舱总成及周围边缘）、左右前后车门（前后车门与侧围及周围边缘）、行李箱盖（后背门总成及周围边缘）。

传统的汽车表面缝隙尺寸检测方式主要采用塞尺等机械式量具。塞尺检测精度可达0.1 mm，但是在测量过程中，塞尺会划伤车身表面，并且测量结果无法实时处理。除此之外，还可以通过计算机视觉、电感式检测工具、激光检测工具进行检测[7-9]。陈晓博利用双目相机对缝隙进行特征匹配并三维重建，但是传统匹配方法匹配效果不佳，检测结果相比实际尺寸值有一定的差距。电感式检测工具可以快速放置，易于重复使用。相比传统的机械式检测方法，该方法不拘泥于被测形貌，大大提升了检测精度与效率。激光检测工具效率高、精度高、适应性强，在国外使用比较广泛。电感式检测和激光检测为非接触式检测，这就避免在检测过程中划伤汽车表面。但是电感式检测工具、激光检测工具价格昂贵，检测成本和维修费用较高，对于国内主机厂来说是沉重的负担。

为了解决上述问题，本文在陈晓博研究的基础上提出一种利用最小外接矩形检测缝隙面差的新方法，通过最小外接矩形获取缝隙上的特征点并进行匹配，提高匹配的精度与效率，为后续的三维重建奠定基础，从而寻求一种理想的检测方案。

2 检测原理

2.1 汽车表面缝隙三维重建原理

如图1 所示，设左相机坐标系与世界坐标系重合，为owxwywzw，图像坐标系为OlXlYl，焦距为fl；右相机坐标系为orxryrzr，图像坐标系为OrXrYr，焦距为fr。汽车缝隙上一点P 在两成像平面上的投影分别为Pl，Pr，它们的齐次坐标分别为（xl，yl，1）T，（xr，yr，1）T。点P 在左右相机坐标系中的坐标分别为（Xw，Yw，Zw）T，（Xr，Yr，Zr）T。

图1 汽车表面缝隙三维重建原理图Fig.1 Schematic diagram of 3D reconstruction of automobile surface gap

由此可以获得图像坐标系与相机坐标系之间的转换关系

相机坐标系与世界坐标系的转换关系为

由此可以推导出汽车缝隙上一点P 在空间坐标系下的坐标

由式（3）可得，在标定的基础上，根据左右相机的焦距fl，fr以及空间点在左右相机图像坐标系下的坐标就可以求得缝隙空间点的三维坐标，进而实现汽车表面尺寸的测量。

2.2 检测流程设计

首先对双目相机进行标定，获取内外参数。对图像进行预处理得到缝隙轮廓的二值图像。绘制缝隙的最小外接矩形。以最小外接矩形的4 个顶点以及2 条长边的中点作为匹配的特征点，进行固定点匹配，并通过两幅图像对应关系逆向求取空间点的三维坐标，实现车身缝隙的尺寸测量。与机械式的检测方法相比，此方法为非接触式检测，从而避免划伤汽车表面。并且双目相机的价格相较激光检测工具较低，可以满足厂家控制成本的需求。整体流程如图2 所示。

图2 缝隙检测流程图Fig.2 Flow chart of gap detection

3 双目视觉检测算法

3.1 相机标定

对于计算机视觉来说，相机标定是基本的步骤，由标定得到的双目相机的内外参数极大地影响着之后的三维重建准确性。本文采用张正友标定法，这是一种介于传统标定方法和自标定方法之间的简易标定法。

该方法的基本步骤如下：打印一张棋盘方格图贴在一个平面上，然后从不同的角度拍摄最少3 张图像，检测出每幅图像中的特征点，由检测到的特征点可以计算出每幅图像的平面投影矩阵，最后确定相机的内外参数。

3.2 图像预处理

使用双目相机采集汽车车身缝隙的图像，并对其进行畸变校正，将其作为系统预处理的输入。预处理方法包括灰度化、图像平滑以及二值化等。

3.2.1 图像灰度化

本文使用的是彩色双目相机，其以RGB 数据来表示图像的颜色。彩色图像包含的信息较多，直接进行图像处理会极大地增加计算量，因此需要对彩色图像进行灰度化，从而减少计算量。本文采用加权平均值灰度化方法，此方法既可以较好地保留图像细节部分，又可以避免平均值法灰度化以及最大值灰度化法带来的图像失真问题。这样既达到了灰度化目的，又为接下来的轮廓提取提供了有利条件。该方法的公式为

3.2.2 图像滤波

图像滤波作用是去除图像采集过程中产生的噪声，保留了原始图像形状的轮廓以及细节，改善图像质量，为后续的图像分割以及特征点提取提供便利。本文采用中值滤波对图像进行平滑，获得高质量图像。

3.2.3 边缘检测

边缘检测是利用图像的特性，将图像中感兴趣区域与其他区域分割开来。本文采用阈值分割进行边缘检测。其原理是用一个或几个阈值将图像的灰度级分为几个部分，属于同一部分的像素被视为同一个物体。

阈值分割算法通常设置一个临界值T，将图像的像素分为2 类，如下：

3.3 特征提取

使用传统特征匹配算法会包含一些错误的匹配点对，这些错误的匹配点对会在三维重建中造成错误的三维点，本文利用最小外接矩形来提取特征点。

最小外接矩形通常指区域所有外接矩形中面积最小的一个，它包含各个边界的顶点，能够提高缝隙特征匹配精度，降低误匹配率。本文采用旋转卡壳法来寻找缝隙轮廓的最小外接矩形。旋转卡壳法是以旋转法为基础发展而来，其检测结果相比旋转法更加精确。先求取缝隙区域的凸壳，再求出凸壳的最小外接矩形。以凸壳替换原始二维点集，这样顶点的数量减少，而且将未排序点集转换为按顺序排列的凸多边形，形成了线性结构，从而简化求解步骤，提高效率。

3.4 特征点的三维重建

根据2 幅以上的图像获得物体三维几何参数即为立体视觉的三维重建。使用双目相机可以得到空间中的一个物体左右2 幅投影图像，并且2幅图像相互对应。通过立体匹配，得到左右图像对应的匹配点坐标，就可以依据两幅图像的对应关系反求出空间点的世界坐标，也就是空间点的三维重建。

由相机标定可获得左右相机的投影矩阵，接下来通过投影矩阵求出空间点的空间坐标。

设左右相机的投影矩阵分别为Ml，Mr，即：

设缝隙上有一点P，在左右图像中的像素坐标分别为（ul，vl，1）T，（ur，vr，1）T。（X，Y，Z，1）T为点P 的空间齐次坐标，则有

将式（7）中的Zc1与Zc2消元后可得X，Y，Z 的线性方程组

通过解方程组，其最小二乘解即为所求点P的空间坐标。

4 车身缝隙尺寸检测试验

4.1 检测平台搭建

为了验证以上提出的缝隙检测方法，搭建了检测平台，如图3 所示。试验主要硬件设备有：一台USB3.0 接口的莱娜双目相机，型号为HNY-CV-003C。其分辨率为2 560×720，帧率为60 f/s，像素尺寸为3.75 μm×3.75 μm，镜头焦距为3.6 mm，工作电压为5 V，基线距离为6 cm。标定板选用12×9 的棋格板。一台配有MATLAB2017b 以及OpenCV 的笔记本电脑。图4为本文进行缝隙检测试验时使用双目相机采集的大众汽车翼子板与前车门缝隙图像。

图3 试验平台Fig.3 Test platform

图4 汽车翼子板与前车门的缝隙图像Fig.4 Gap image between fender and front door

4.2 图像预处理试验

4.2.1 灰度化试验

图像灰度化后，原始数据量减少，处理速度加快。拍摄缝隙原图如图5 所示，灰度化后的缝隙图像如图6 所示。

图5 缝隙原图Fig.5 Original picture of gap

图6 缝隙图像灰度化Fig.6 Graying of slit image

4.2.2 缝隙边缘检测试验

在试验过程中，干扰噪声多为椒盐噪声，因此采用中值滤波对图像中的椒盐噪声进行平滑去噪，其结果如图7 所示。对去除噪声的灰度图像进行阈值分割，从而准确地检测出缝隙边缘。将中值滤波图像进行二值化处理后如图8 所示。

图7 中值滤波处理Fig.7 Median filter processing

图8 缝隙边缘检测Fig.8 Gap edge detection

4.3 基于最小外接矩形的特征点匹配

在获得缝隙边缘的基础上，通过建立凸外形并且旋转凸外形以寻找包围给定2D 点集的最小面积矩形，在原图中将缝隙轮廓的最小外接矩形绘制出来。以最小外接矩形的4 个顶点以及2 条长边的中点作为匹配的特征点，进行固定点的匹配，如图9 所示。

图9 绘制最小外接矩形并进行固定点匹配Fig.9 Draw minimum circumscribed rectangle and match fixed points

5 检测结果分析

5.1 缝隙面差求取

主机厂在进行汽车表面缝隙尺寸检测时通常检测缝隙的顶部、中部以及底部的缝宽和面差。本文由最小二乘解得到的特征点在左右图像中的坐标如表1 所示。

表1 匹配点的世界坐标Tab.1 World coordinates of matching points

测量的缝隙线范围为56 mm×4 mm，在此范围内可将缝隙视为直线。通过先旋转缝隙线与世界坐标系的z 轴平行，然后把旋转之后的缝隙线分别向x-z 平面、y-z 平面投影，从而求取缝隙线的宽度和面差数值。设左右缝隙线分别为l1和l2，缝隙线与x 轴、y 轴的夹角分别为α，β，可使缝隙线先绕x 轴旋转α角，再绕y 轴旋转β角。

缝隙线上的点经过旋转之后的新坐标如下：

式中：（x,y,z）T——缝隙旋转前特征点的坐标；（x'，y'，z'）T——缝隙旋转后特征点的坐标。

由缝隙上点的空间坐标，分别求得两条缝隙线的方向向量为：l1=（0.977，-54.980，1.591），l2=（1.065，-54.949，1.579），进而可得l1和l2与x 轴、y 轴的夹角分别为α1=88.983 °，β1=178.055 °，α2=88.980 °，β2=178.015 °。将数值代入式（9），计算得到缝隙上点的新坐标如表2 所示。

表2 匹配点新的坐标Tab.2 New coordinates of matching points

由此可以得出缝隙的宽度与面差结果，如表3 所示。

表3 缝隙宽度面差检测结果Tab.3 Detection results of gap width difference

5.2 试验误差分析

本文所测缝隙为翼子板与前车门之间的缝隙，其缝宽的工业标准值为4 mm，面差标准范围为0～1 mm。其误差分析如下：绝对误差：│4.097-4│=0.097 mm；相对误差：0.097÷4×100%=2.4%

本文算法检测缝隙宽度的相对误差为2.4%。经过分析，产生误差的主要原因有：（1）相机在标定的过程中没有进行立体校正，在进行特征匹配时会产生一些误差；（2）在绘制最小外接矩形时，矩形未必和缝隙轮廓完全重合，这也会导致误差。

6 结语

本文采用双目相机对汽车表面的缝隙进行实时拍摄，并将所获得的缝隙图像作为系统原始示图像输入。通过灰度化、中值滤波提高缝隙图像质量；利用阈值分割获取缝隙的轮廓边缘；提出一种基于最小外接矩形的方法来获得缝隙边缘上的特征点，进行固定点匹配，从而简化了匹配过程，提高了效率，最终实现汽车表面缝隙宽度以及面差的检测。对于试验产生的误差，可以在标定时进行立体校正以及畸变校正，提升立体匹配精度；在图像预处理中对缝隙图像进行锐化，增强缝隙边缘的细节，使最小外接矩形与缝隙边缘重合度更高。试验结果表明，本文提出检测方法得到的缝隙尺寸相对误差为2.4%，具有一定的精度、效率以及稳定性，能够满足国内主机厂对于实时检测的要求，具有一定的现实意义。