面向低纹理工件的识别与位姿估计方法研究*

陈从平， 姚 威， 王 钦

(常州大学 机械工程学院，江苏 常州 213164)

0 引 言

在机械手上下料、搬运以及装配等任务中，需要对工件位姿进行估计。目前对工件位姿估计的方法主要有2D特征点法[1]、轮廓拟合法[2]、三维点云配准法。其中,2D特征点法通过提取工件的多个特征点，并通过特征点和物体坐标系下的坐标的对应来求解位姿,此方法可以快速准确地定位纹理丰富的物体，但由于纹理单一的图像的特征点难以提取，因此该方法不适用于处理低纹理的工件；轮廓拟合法通过将工件拟合成矩形，再计算矩形的质心和偏转角度得到工件的位姿,此方法计算简单，速度快，且适用于形状规则且低纹理的工件，但只能计算工件所在平面的2D位置和1D旋转角度；三维点云配准法首先获取工件的单视角点云并求取其三维点特征，然后利用三维特征和工件的完整点云进行配准得到位姿,此方法不仅对特征点的依赖大大降低，而且可以计算工件的6D位姿。

在点云配准求取位姿方面，黄青丹等人[3]采用双目视觉方案，通过SGBM(semi-global block matching)立体匹配算法求取场景的视差图，根据视差图重建场景的点云并分割出工件，最后和模板点云配准得到工件的位姿。该算法可以重建场景的稠密点云，但也因此导致立体匹配的计算时间太长，且SGBM算法对低纹理图像的效果较差。李树春等人[4]使用深度相机获取工件的点云，并计算点云的快速点特征直方图，采用奇异值分解和随机一致算法来进行位姿估计，具有一定的稳定性和精确性，但此方法对工件表面的稠密点云进行计算，计算量大，且深度相机的成本较高，不具有普及性。

针对以上问题，提出一种将深度学习和轮廓重建结合的工件识别与位姿估计方法。使用双目摄像机采集图像并通过深度学习识别并定位工件所在的矩形区域，深度学习避免了传统方法在识别低纹理目标时难以定义特征的问题，同时可以自动地提取到更深层的抽象特征，因此具有良好的鲁棒性与准确性。位姿估计方面，考虑到低纹理工件的特征点不易提取的原因，采用点云配准的方法计算位姿。针对现有点云配准求位姿中计算复杂度高的问题，只对工件的轮廓进行重建和配准。轮廓重建方面，对工件所在矩形区域进行直线提取，提出一种结合YOLO检测结果的多约束直线匹配算法对左右直线集合进行匹配，根据三角测量原理重建出空间直线方程并打断得到工件的轮廓点云，最后和模板点云配准得到工件的6D位姿，从而完成低纹理工件的识别与位姿估计。

1 摄像机标定与立体校正

将两个相同的摄像机平行放置组成双目视觉系统，并将左右摄像机的距离设定为60 mm。通过双目摄像机采集一定数量的棋盘格图片后，使用 MATLAB标定助手进行标定，标定出的内参和畸变系数如表1所示。

将世界坐标系设定在左摄像机坐标系，右摄像机坐标系相对于左摄像机坐标系的旋转矩阵R和平移向量T分别为

(1)

(2)

根据标定结果使用Bouguet算法进行立体校正，校正结果如图1所示。可见，图像畸变有很大改善，且左右图像的同名点在同一水平线上，表明立体校正的结果较为准确。

图1 校正结果

2 工件识别与位姿估计

本文提出的深度学习和轮廓重建结合的工件识别与位姿估计方法，在对双目摄像机采集的图像立体校正的基础上，使用YOLOv3网络检测得到工件的类别和所在的矩形区域，对所有检测到的工件的矩形进区域行直线提取。由于直线的端点最能代表直线的特征，且直线的交点在不同视角下具有不变性，因此对距离较近的直线进行端点重构。重构完成后结合YOLO的同名区域约束、极线约束、直线特征相似度约束进行直线匹配。重建所有匹配的直线后得到工件的轮廓点云，最后和完整的模板点云进行配准得到工件的位姿。

2.1 直线检测与端点重构

对校正后的图像进行目标检测的基础上，使用FLD(fast line detector)[5]算法对目标区域进行直线检测，FLD算法首先进行边缘检测然后对相邻直线进行合并并延长，直到遇到大曲率的边缘则停止延长并返回直线。

直线检测完成后对相近的直线进行端点重构，具体步骤如下:

2.2 直线匹配

本文提出的基于YOLO检测结果的多约束直线匹配算法，具体约束为：

1)基于YOLO的同名区域约束

只对YOLO网络在左、右图像中检测出的相同工件的矩形框内的直线进行匹配，例如图2所示的左图像物体1区域中的直线，只和右图像物体1区域的直线进行匹配。

图2 基于YOLO的同名区域约束

2)极线约束

理想状态下，立体校正后左右图像其匹配点位于同一水平线上，即纵坐标相同。但由于摄像机标定和校正过程中总会存在误差，需使误差满足一定的约束。如图3所示，设左右直线起点、终点分别为Pls(xls,yls),Ple(xle,yle),Prs(xrs,yrs)Pre(xre,yre)。其中,e1=|yls-yrs|,e2=|yle-yre|需满足e1+e2

图3 极线约束和直线特征相似度约束

3)直线特征相似度约束

匹配的直线在长度l上具有一定的相似度，且各自与图像横轴正方向的夹角θ亦具备一定相似度。如图3所示，即|ll-lr|

2.3 直线重建并打断

匹配完成后，根据双目测距原理对直线进行三维重建。通过重建直线的两个端点得到直线方程，接着打断成点云，打断规则为每条直线打断出的点的个数根据直线的长度决定，且点与点之间的空间距离相等。记直线点云中的任意一点为Pi,Pi-1为前一点的坐标，迭代步长为ΔP,有

Pi=Pi-1+ΔP

(3)

代入直线起始点，按式(3)逐步迭代至终点即可生成该直线的点云。生成所有匹配直线的点云即可得到工件轮廓点云。

2.4 点云配准

直线重建后仅获得了工件的轮廓点云，欲判断工件当前位姿，需将重建的点云与该工件的模板点云进行点云配准，以获得目标当前实际位姿。配准过程分为粗配和精配两步进行。

粗配准使用采样一致性初始配准算法(sample consensus initial aligment,SAC-IA)。使用此算法前，应先计算点云的快速点特征直方图(FPFH)[6]，步骤如下：

步骤1 计算点云中每个点的法线,如图4所示。

图4 以点Pq为中心时FPFH影响的空间范围

步骤2 设当前点Pq和其邻域内的一点Pk,q≠k,两点的法线分别为nq，nk，以Pq为原点的建立如图5所示的局部坐标系。

图5 局部坐标系与SPFH生成过程

坐标系的三个轴计算式如下

(4)

法线nq,nk的变换角度α,φ,θ计算式如下

(5)

步骤3 为当前点Pq求得它与每个邻域点之间的α,φ,θ三个特征元素值。然后将每个特征元素值的范围划分为11个子区间，并统计落在个子区间的点的数量，生成直方图，最后连接在一起，形成一个33维的特征向量，即为FPFH。

步骤4 分别对当前点邻域中的每个点计算其FPFH，最后按式(6)加权成快速点特征直方图

(6)

式中k为邻域点的个数，权重wk为当前点Pq与其邻域Pk之间的距离。

计算出点云的FPFH特征后，使用SAC-IA算法对点云进行粗配准。首先,从模板点云中选取n个采样点，然后,在重建的轮廓点云中查找和采样点具有相似FPFH特征的多个点，从这些相似点中随机选取一个点作为对应点。通过查找大量不同的对应点来计算变换矩阵，最后,在所有变换中取最优变换作为最终的粗配准变换。

粗配准后，两点云已接近重合，但仍存在误差，因此在粗配准的基础上采用迭代最近点(iterative closest point,ICP)算法[7]进行精配准，ICP算法通过在两片点云中搜索大量距离最近的点对，然后计算变换矩阵，之后将变换矩阵作用于模板点云从而生成新的模板点云，接着使新的模板点云继续计算变换矩阵直到误差或迭代次数满足设定的条件。最终求解出两点云之间的旋转平移矩阵，即为工件的位姿矩阵。

3 实验结果与分析

选取长方体铁块、角铝、T型平角片进行实验。位姿估计方面首先使用辅助工具生成3个工件的外轮廓点云作为模板，然后重建工件的外轮廓点云进行配准得到位姿。

3.1 目标检测与直线匹配实验

目标检测方面，对每种工件采集500张训练样本，三种工件共1 500张训练样本，输入YOLOv3网络进行训练得到模型的权重。使用训练出的模型对立体校正后的左、右图像进行工件识别并框选，然后对其进行直线检测并端点重构，最后对左右直线集合进行匹配。图6为目标检测与长方体铁块的直线匹配结果。

图6 目标检测与直线匹配结果

3.2 点云重建与配准实验

对所有匹配的直线对进行三维重建，重建出3个工件的外轮廓点云，结果如图7所示。

图7 重建后的点云

重建完工件的轮廓点云后和对应的模板点云进行配准，即可得到工件的位姿。配准结果如图8所示，两片点云已基本重合。

图8 点云配准结果

从不同角度对三个工件进行拍摄，并手工测量其真实位姿，和本文算法计算的位姿进行误差计算。共进行9次实验，记录实验结果，如表2所示，其中，1～3，4～6，5～9行的记录分别为长方体铁块、角铝、T型平角片的位姿。由表2可知，X,Y,Z方向的位置绝对误差值均在2 mm以内，姿态绝对误差值均在3°以内，表明位姿估计具有较高的精度。

表2 物体的位姿

4 结束语

针对低纹理工件识别和位姿估计较为困难的问题，提出一种结合深度学习与双目视觉重建工件轮廓点云的方法。首先对搭建的双目视觉系统进行标定，对采集的目标图像进行立体校正，将校正后的图像使用YOLOv3网络进行目标检测识别并定位出工件，然后对工件所在区域进行直线提取和端点重构，并对左、右直线集合进行匹配重建出工件的轮廓点云，最后和模板点云进行配准得到各个工件的位姿。实验结果表明：本文所提出的方法不仅能识别低纹理的工件，而且能快速精确地计算其6D位姿。