回转体形状恢复与位姿估计方法

李 健, 赵丽华, 何 斌

(1.陕西科技大学电子信息与人工智能学院,西安 710021；2.同济大学电子与信息工程学院,上海 201804)

机器人对于环境的感知最重要的是对于物体的感知,物体几何形状及位姿信息已成为机器人抓取和操纵的必要先验信息。准确的模型形状恢复与位姿估计是十分重要的。随着RGBD 传感器设备的快速发展,使用深度相机进行三维重建变得简单,然而由于硬件限制或物体表面属性(透明度,反射等),重建结果中可能包含噪声、空洞等缺陷。

回转曲面或回转体表示任意曲线绕一个固定回转轴旋转一周形成的曲面。由于其对称性,经相机成像后轮廓线及横截面之间存在着确定的几何关系,使得基于单张照片的比例模型重建,基于两张照片下的实际尺度模型恢复与位置姿态估计成为可能。Colombo等[1-2]、Fioravanti等[3]根据回转体横截面成像后为椭圆,且横截面之间存在平行关系,在已知回转体成像后轮廓线的条件下,对单张照片的回转体进行了相差一个比例尺度的模型构建。Utcke等[4]得到了矫正后的回转体图像。清华大学的研究人员提出一种从单幅图像中抽出可编辑物体的“3-Sweep”技术[5],该方法需要大量的用户交互来提供隐含的信息。近年来,随着机器人技术的发展,回转体建模再次引起了关注。Maghoumi等[6]提出一种交互式几何提取系统,处理噪声和不可靠的3D点云数据,通过用户交互从点云中提取物体。Proença等[7]提出了一种从有组织的点云中提取平面和圆柱段的方法。卢韶芳等[8]提出了一种基于单幅图像实现旋转体母线和对称轴的提取方法,用于重建出旋转体的三维形态。

基于单张照片的回转体重建需要对图像中的回转结构进行检测,得到回转体轮廓线。传统的边缘检测算法，如Sobel、Prewitt、Canny、高斯拉普拉斯(Laplacian of Gaussian,LoG)函数等根据颜色、亮度等变化检测边缘,在图像存在背景干扰时检测效果较差。近年来,学者们利用深度学习网络对边缘进行检测。赵新亚[9]提出了基于深度卷积网络的图像边缘检测方法, 有效抑制非目标物体的边缘, 能较好地提取目标轮廓。研究者们提出了CASENet[10]、HED[11]、更丰富的卷积特征(richer convolutional features,RCF)[12]等算法,融合了高层语义信息,实现了更加准确的边缘检测。

目前的回转体重建方法,往往通过纯手动选定或是半手动的方式给出轮廓线,难以用于机器人系统中。近几年提出的方法依赖点云信息,数据量较大,处理效率低。

笔者通过先对图像进行预处理,得到轮廓信息,进行回转体建模,无须人工交互；通过两张同一回转体的照片,估计回转体的真实尺度与空间位姿,不需要借助点云信息。

1 算法概述

在现有的基于单视图回转体建模方法的基础上,将位姿估计和重建过程结合,提出了回转体形状恢复与位姿估计的方法, 算法总体流程如图1所示。

首先利用摄像头, 对机器人抓取环境中回转体的不同角度进行图像采集, 得到包含回转体的一组图像。其次, 对图像进行预处理,通过融合HED和Canny的边缘提取算法检测得到较为准确回转体边缘轮廓。 然后, 利用检测到的边缘轮廓, 通过回转结构单张图像建模方法, 建立图像中回转体的比例结构模型。最后, 通过同一回转体在两张不同图像的对称轴和端点,求解初始位姿, 估计真实尺度,根据回转体生成曲线的成像, 对回转体初始尺度与位姿进行优化。

图1 算法流程Fig.1 Proposed algorithm flow

2 算法描述

2.1 边缘检测

传统边缘检测方法已应用广泛,在很多领域发挥着重要作用,然而传统方法不能区别前景和背景,得到的结果包含所有边界。而利用深度学习网络HED则能够提取出特定目标的轮廓。深度学习网络低层特征具有更丰富更准确的位置信息,高层特征对位置信息渐渐不敏感。然而随着网络的加深,高层网络对特征进行更多次的抽象,具有更丰富的语义信息。综合传统方法和基于深度学习方法的特点,设计了融合HED和Canny的边缘提取算法,结合了Canny边缘检测不易受噪声干扰、高精度的优点和基于HED 网络的边缘提取方法抑制背景、突出目标的优点。

HED网络得到的结果是抽象化边缘,反映图像中高层语义信息,输出的是图像中边缘位置的概率图,为了得到单像素的边缘,通常使用非极大值抑制方法对概率图进行处理。然而,由于边缘的概率分布与实际位置存在偏差,通过非极大值抑制得到的单像素边缘会出现一定的断裂和毛刺。为了避免这种现象的出现,提出了一种边缘融合算法,通过对HED 网络得到的结果进行二值化和细化处理,得到基于HED 网络的边缘提取结果,然后将其与传统基于Canny算子检测的边缘进行融合,得到单像素、定位准确、目标边缘突出的边缘检测结果。

Canny算法不容易受噪声干扰,能够检测到真正的弱边缘,得到比较精确的边缘检测结果,将其与HED得到的结果融合,所得结果更加精准。在此基础上,提出了以下边缘融合算法。算法流程如图2所示。首先,利用Canny算法提取图像的边缘ICanny,提取边缘之前先进行双边滤波,以抑制图像的噪声干扰；接着,采用HED 网络提取包含高层语义信息的显著性边缘并细化得到IHED；然后将Canny算法提取的边缘与采用HED 网络提取的显著性边缘IHED进行“与”运算,得到边缘图像Ip。最后根据连通性在ICanny中搜索与Ip中边缘相连接的边缘并连接,得到融合之后的边缘图像。

图2 边缘检测的算法流程Fig.2 Algorithm flow of edge detection

该算法既结合了Canny边缘检测不易受噪声干扰、高精度的优点,又结合了基于HED 网络的边缘提取方法抑制背景、突出目标的优点,实现了对回转体边缘轮廓精确的检测。

2.2 回转体比例建模

2.2.1 射影几何中回转体相关理论

一条平面曲线绕其所在平面内的一条定直线旋转所形成的曲面称为回转曲面,该定直线称为旋转轴,也是旋转曲面的对称轴,平面曲线一般称为生成曲线。数学上,设生成旋转曲面的平面曲线为ρ(z),旋转轴为直线z(对称轴),其生成的旋转曲面的参数方程为

P(θ,z)=[ρ(z)cosθ,ρ(z)sinθ,z],其中θ∈[0,2π],z∈[0,1]。

本文中的回转体特指由生成曲线绕旋转轴生成的旋转曲面。回转体广泛应用于人们生活的方方面面。

在三维空间,以对称轴为法向的平面与旋转曲面的交线为椭圆,且这些椭圆相互平行,本文中的横截面,根据上下文也表示该椭圆交线；任意过对称轴的平面与旋转曲面的交线具有相同的形状,且与生成曲线相同,三维空间的生成曲线与横截面椭圆正交；旋转曲面成像后在成像平面形成两种类型曲线:外轮廓和边缘。外轮廓点对应于旋转曲面上平滑且与成像光线正切的点,这些点在成像平面所形成的曲线称为外轮廓线,如图3所示,其中γ为成像平面上的外轮廓线,Γ为与外轮廓线上点对应的旋转曲面上的三维空间点,Γ一般不为平面曲线；X是与回转体平面生成曲线具有相同的形状的三维曲线,其在二维成像平面的成像为χ,一般拍摄角度下,生成曲线的成像与外轮廓线不相等。边缘是指成像平面上的点,其对应的空间点处不平滑,其表面法向量不连续,边缘点形成的曲线为椭圆,或为完整椭圆曲线的一部分,这是旋转曲面成像时的自遮挡造成的。图3中椭圆C表示的边缘对应的空间曲线为圆C0,圆C0所在平面平行于旋转曲面的横截面。

图3 旋转曲面成像几何Fig.3 Rotating surface imaging geometry

成像后的旋转曲面满足以下两个基本属性。

(1)回转体成像后的任意两个横截面椭圆之间具有平面透射关系W。其轴l∞为正交于回转体对称轴平面的消失线,其顶点vw位于旋转曲面对称轴的成像ls上,μ为特征不变量,I为3×3单位矩阵。

(1)

(2)旋转曲面在成像平面上的两部分轮廓线之间满足平面调和透射关系H,其轴为旋转曲面对称轴的成像ls,顶点v∞位于正交于回转体对称轴平面的消失线上。

(2)

2.2.2 回转体建模

回转体建模流程如图4所示。首先,运用融合HED和Canny的边缘提取方法提取回转体外轮廓线; 接着, 根据外轮廓线拟合回转体上下椭圆方程, 求解回转体对称轴的成像、消失线以及两椭圆交点, 依据椭圆交点在绝对圆锥曲线上, 以及回转体与单轴旋转运动的类比, 建立关于绝对圆锥曲线的超定方程组, 求解该方程组, 分解绝对圆锥曲线矩阵, 得到相机内参数。回转体在成像过程中存在以下两个几何约束: ①回转体任意两平行横截面成像之后, 存在平面透射变换约束; ②回转体侧轮廓线上一点的切线也是该点所在横截面上椭圆曲线的切线。利用这两个约束求得回转体生成曲线的成像。然后, 根据平面矫正原理, 以及平面的正交方向同该平面与无穷远平面的交线满足配极约束, 对生成曲线与对称轴的成像执行平面矫正以消除仿射失真并恢复相似性质。最后, 将矫正后的生成曲线绕矫正后对称轴旋转一周, 得到回转体比例建模结果。

图4 回转体建模流程Fig.4 Algorithm flow of revolving body modeling

2.3 位姿估计

前文已经说明如何根据单张照片提取图像中回转体的轮廓, 并建立回转体的比例模型。在此基础上,通过同一回转体在不同图像的对称轴和对称轴端点,求解初始位姿及实际尺度, 根据回转体生成曲线的成像, 对回转体初始尺度与位姿进行优化。

2.3.1 回转体尺度与位姿初始化

通过同一回转体在两张图片的对称轴及对称轴端点进行位姿及尺度初始化。具体来说,假设投影矩阵已知,回转体在两张图片的对称轴端点为两组对应匹配点,据此可以使用三角形法来恢复点在三维空间的坐标。如果已知回转体上下底面中心点在三维空间中的坐标,那么中心轴长度可由两点间的欧式距离求得,即得到回转体的高度H,同时,已知两端点坐标可以求解回转轴方向n。因此, 如果能求得回转体在中心轴端点的三维坐标, 则回转体的实际尺度以及位姿可以确定。

根据匹配点计算得到回转体对称轴上、下端点三维空间坐标, 设为Xtop=[xtop,ytop,ztop],Xbottom=[xbottom,ybottom,zbottom]。则回转体的实际高度为

(3)

回转体的位姿可用回转体对称轴下底面端点的位姿表示, 其位置坐标为X=[xbottom,ybottom,zbottom], 回转体对称轴方向为

n=[(xtop-xbottom)/H,(ytop-ybottom)/H,(ztop-zbottom)/H]

(4)

2.3.2 回转体位姿优化

将回转体上下椭圆中心点作为匹配点的位姿初始化方法, 与实际位姿存在误差,需对其优化,以得到更加精确位姿。

由于重建过程的非线性本质,通过形状残差的非线性最小二乘最小化来估计回转体位姿。回转体轴上的高度h在0～hmax进行量化,最小化的和为

(5)

式(5)中,

f(X,n,h)=ρ1(X,n,h)-ρ2(X,n,h)

(6)

更新位姿时,计算位姿参数X、n的增量δ,使S逼近最小化:

(7)

式(7)为非线性无约束平方和最小二乘优化问题, 可通过Levenberg-Marquardt方法求解。

3 实验结果与分析

从边缘检测和回转体重建两部分实验来论证本文算法的鲁棒性。实验环境如下。

电脑配置:Windows10操作系统/Intel Core i7-7700 CPU/8G RAM/Intel(R) HD Graphics 630 /NVDIA GeForce GTX 1050。

数据集来源:伯克利大学实例识别数据集[(Big)Berkeley instance recognition dataset,BigBIRD][13]。

算法实现:PCL点云库/C++语言/matlab。

3.1 边缘检测结果

采用融合HED和Canny的边缘提取方法进行回转体边缘提取,图5所示为BigBIRD数据集中为3m_high_tack_spray_adhesive数据的边缘检测结果。图5(a)为原始图像,图5(b)采用HED 网络提取包含高层语义信息的显著性边缘,图5(c)为细化后的结果,图5(d)为利用Canny算法提取图像的边缘,图5(e)为本文算法融合HED和Canny方法后得到的结果。

图5 边缘检测结果Fig.5 Result of edge detection

从图5中看出,本文算法所得结果得到为单像素、定位准确、显著边缘突出的边缘检测结果。既结合了canny边缘检测不易受噪声干扰、高精度的优点,又结合了基于HED 网络的边缘提取方法抑制背景、突出目标的优点,实现了对回转体边缘轮廓精确的检测。

3.2 重建结果误差对比

为了说明本文所述回转体重建算法的有效性与精度,从数据集中选取了回转结构的对象进行实验,并将本文方法结果与GemSketch方法结果进行对比。图6～图10所示为从数据集中选择的5种对象用本文方法重建得到的结果与数据集提供的真实数据的对比。

为验证本文方法的鲁棒性,选取了 5 种各具特色的模型进行实验。BigBIRD数据集中的red_cup和3m_high_tack_spray_adhesive细节丰富,expo_marker_red细节丰富且物体较小,bai5_sumatra_dragonfruit包含透明部分,coca_cola_glass_bottle包含透明部分且细节丰富。

图6和图7数据来源分别为BigBIRD数据集的3m_high_tack_spray_adhesive和red_cup,从图中可以看出,本文方法结果在细节上较之于BigBIRD数据更为丰富,验证了本文方法的鲁棒性。

图6 3m_high_tack_spray_adhesive数据结果对比Fig.6 Result comparison of 3m_high_tack_spray_adhesive

图7 red_cup数据结果对比Fig.7 Result comparison of red_cup

图8数据来源为BigBIRD数据集的expo_marker_red,从图中可以看出,本文方法在细节上表现出明显优势,同时,该对象体积较小,这组实验也说明了本文方法对于较小物体依然有效。

图8 expo_marker_red数据结果对比Fig.8 Result comparison of expo_marker_red

图9数据来源为BigBIRD数据集的coca_cola_glass_bottle,图10数据来源为bai5_sumatra_dragonfruit,从图中可以看出,由于深度相机自身固有的不能感知高光和的限制,对于透明物体,BigBIRD数据存在较大面积的信息缺失,而本文方法基于图像重建模型,不受高光约束,能够恢复完整信息,并且在细节上表现良好。

图9 coca_cola_glass_bottle数据结果对比Fig.9 Result comparison of coca_cola_glass_bottle

图10 bai5_sumatra_dragonfruit数据结果对比Fig.10 Result comparison of bai5_sumatra_dragonfruit

为了进一步验证本文方法的鲁棒性,对实验结果和GemSketch方法的结果做了定量的误差分析。将相对于真实数据的Hausdorff距离误差和ICP误差进行误差对比,结果如表1和表2所示。

表1 Hausdorff距离误差对比

表2 ICP误差对比

从表1的对比结果可以看出,对于大小不同的、细节丰富程度不一的,以及包含透明部分的物体,本文方法Hausdorff距离均小于GemSketch算法,说明本文方法得到的模型与真实数据相似度更高。本文方法较GemSketch方法效果明显提升,Hausdorff距离误差大致减小12.9%～31.9%。从表2的对比结果可以看出,本文方法ICP误差与GemSketch算法相差不大,ICP误差总体来说较小,说明本文方法和GemSketch算法均能较好地估计回转体的空间位姿。coca_cola_glass_bottle和bai5_sumatra_dragonfruit两组数据ICP误差较大,主要是由于BigBIRD数据存在较大面积的信息缺失。

通过实验表明,本文方法较之于传统回转体建模方法,利用边缘检测得到的轮廓信息进行建模,无须人工交互。通过两张同一回转体的照片,估计回转体的真实尺度与空间位姿,与GemSketch方法相比,不需要点云信息,鲁棒性较好。

4 结论

在传统基于单视图回转体建模方法的基础上,将位姿估计和重建过程结合,提出了回转体形状恢复与位姿估计的方法。

(1)通过对图像进行预处理,融合传统边缘检测算法和基于深度学习的边缘检测算法,得到较为准确的回转体外轮廓信息,为后续工作创造了条件,在此基础上进行回转体比例建模,无须人工交互。

(2)通过两张同一回转体的照片,得到回转体的真实尺度与空间位姿,与GemSketch方法相比,不需要借助点云信息。

(3)通过实验验证了本文方法的鲁棒性。对于大小不同的、细节丰富程度不一的,以及包含透明部分的回转物体,本文方法均适用。