基于极曲线几何和支持邻域的鱼眼图像立体匹配

宋　涛，熊文莉，侯培国，李海滨*，陈　琛

(1．燕山大学 工业计算机控制工程河北省重点实验室，河北 秦皇岛 066004;

2．秦皇岛视听机械研究所，河北 秦皇岛 066000)



基于极曲线几何和支持邻域的鱼眼图像立体匹配

宋涛1,2，熊文莉1，侯培国1，李海滨1*，陈琛1,2

(1．燕山大学 工业计算机控制工程河北省重点实验室，河北 秦皇岛 066004;

2．秦皇岛视听机械研究所，河北 秦皇岛 066000)

提出了一种基于极曲线几何和变支持邻域的立体匹配算法来解决鱼眼立体视觉中图像变形导致的极曲线求取和匹配代价计算问题。首先，对鱼眼相机进行标定并获取相机的相关参数；针对鱼眼镜头的畸变问题，根据鱼眼镜头的优化投影模型推导出系统的极曲线方程，并利用得到的极线方程确定对应点的搜索范围。然后，根据同源像点在左右图像上的位置关系确定各中心像素点的支持邻域，并计算出不同视差条件下该支持邻域在另一幅图像上的对应支持邻域，利用获取的支持邻域计算出各点的匹配代价。最后，利用WTA(Winner Takes All)策略选取最佳匹配点得到最终的匹配结果。基于提出的极曲线和支持邻域对两组鱼眼图像进行了匹配实验并与传统方法进行了实验对比，结果表明：提出的方法的匹配准确度比传统方法分别提高了4.03%和4.64%。实验结果验证了极曲线的应用加快了匹配速度并减少了误匹配；支持邻域的使用使其对匹配代价计算的准确度优于传统方法。 该算法满足了鱼眼图像立体匹配对信息获取速度、准确度和数量的要求。

计算机视觉；立体匹配；鱼眼图像；极曲线几何；支持邻域

*Correspondingauthor,E-mail:hbli@ysu.edu.cn

1　引　言

作为计算机视觉的关键技术之一，立体匹配一直是计算机视觉领域的研究热点，并且已经形成了比较成熟的理论体系。双目立体视觉系统多采用针孔相机，该领域已发展出了很多成熟的算法[1-4]，然而针孔相机视场角相对较小，获取信息有限。鱼眼相机能一次性捕捉超过半球视场范围内的场景信息，将其应用到双目立体视觉系统中，故可有效地增强系统采集信息的效率。与视场角相当的其他视觉系统相比，鱼眼相机装置简单、体积小、便于携带，在城市环境三维重建[5]、实时路况监测[6-8]、机器人导航[9-11]、双足机器人步调规划[12]等需要实时获取大视场范围场景三维信息的应用领域具有很大优势。但是，鱼眼图像的非线性畸变严重，给图像的匹配带来了很大难度。对鱼眼图像的研究主要集中在镜头设计[13-14]、畸变矫正[14-15]和相机参数标定[16]这3方面。有关鱼眼图像立体匹配的研究相对较少，且对未经畸变矫正的圆形鱼眼图像的立体匹配研究主要集中在稀疏匹配和准稠密匹配[17-19]。国外对鱼眼图像的立体匹配的研究开展较早，为了实现鱼眼图像的实时匹配，Li[7]将鱼眼图像投影到球面上用经纬法表示，并对球面图像定义了一种立体视差。Zafer[20]也选择在球面框架下完成对鱼眼图像的视差估计，以避免鱼眼图像矫正过程中积累的误差对后续匹配结果的精确度有影响。Julien[5]在Li的基础上提出利用2D和3D极曲线来指导鱼眼图像的立体匹配。但是他们都没有说明是如何应对鱼眼图像畸变完成匹配代价计算的。对此，文献[18]和文献[19]分别提出用仿射变换和旋转变换近似表示鱼眼图像的局部畸变，然后根据近似模型对种子的支持邻域进行规范化以完成匹配代价的计算和匹配扩散。但这两种算法的匹配结果依赖于近似模型的准确性，且只能获取种子点及其邻近点的准稠密匹配结果，对需要丰富匹配数据的应用来说略显不足，匹配适用范围受限。

本文提出一种直接对圆形鱼眼图像进行立体匹配的算法，该算法首先根据鱼眼双目视觉系统的投影模型推导出鱼眼图像的极曲线方程；然后，根据该系统的投影特性，提出一种支持邻域确定法，利用这个方法可以计算得到图像中各点在不同视差条件下的支持邻域；接着，为了体现本文极线与支持邻域对匹配效果的改善能力，在匹配代价计算和最佳匹配点选取时分别以最简单的SAD(Sum of Absolute Differences)为代价函数计算待匹配点的匹配代价，采用最简单的WTA(Winner Take All)策略选取最佳匹配点。

针对未经矫正的圆形鱼眼图像的立体匹配，本文算法主要旨在解决两个问题：以极曲线作为对应点的搜索范围，提高匹配的速度和准确度[20]；准确确定各像素的支持邻域及各邻域在另一幅图像上的对应支持邻域，以减小图像变形对匹配代价计算的影响。

2　鱼眼相机成像模型

理想情况下鱼眼相机的成像过程可以分为两步：第一步，空间内的点线性地投影到镜头球面；第二步，镜头球面上的点按体视投影、等立体角投影、等距投影以及正交投影这几种投影模型非线性的映射到鱼眼图像上[17]。但是，实际的鱼眼相机投影过程的第二步并不完全遵循以上4种投影模型[21]。对此，可以通过引入畸变项实现对鱼眼相机投影模型的优化[22]。以等立体角模型鱼眼相机为例，如图1所示。

图1　鱼眼镜头成像模型图Fig.1　Imaging model of fisheye lens

空间内一点P，在镜头球面上的理想投影点为P′， 理想情况下，P′应非线性地投影到p′，但实际却投影在p。则p′与p间的映射关系可以表示为:

(1)

(2)

其中，r是鱼眼图像上的像素点P′(xp′,yp′)到图像主点的距离，f是镜头的焦距，a、n是相机的内参数，i1、i2、j1、j2、m1、m2是模型参数，θ是入射光线与镜头光轴的夹角，(θ,φ)为P′的球面坐标，公式(2)是一种通用的鱼眼镜头投影模型，可以表示各种投影模型的鱼眼镜头的投影关系。Δt、Δr是优化鱼眼相机投影模型的畸变项，它们的表达式如下所示：

(3)

模型中各参数的求取方法见参考文献[22]。

3　鱼眼图像立体匹配

3.1鱼眼图像极线方程

为了精确求取鱼眼图像的极曲线，必须考虑鱼眼镜头的畸变问题，本文以上述优化成像模型为基础，推导得到鱼眼图像通用的极曲线解析式，参数设定也更便于后续的匹配处理。

图2　极曲线示意图Fig.2　Schematic diagram of epipolar curve

如图2所示，双目视觉中两个鱼眼相机的光轴平行，半球形镜头的4个极点el1,el2,er1,er2在一条直线上。P是空间内的一点，其在左镜头球面的投影为Pl，在左相机坐标系下Pl可以表示为:

(4)

为了方便后续对极曲线上的点逐一进行匹配处理，将α、β作为可控变量，则3D极曲线上的点可以用式(6)表示:

(5)

(6)

其中，α为平面OP与相机坐标系中y轴所成角，用来确定极曲线，α∈(0,π)。β是入射光线与相机坐标轴所成角，用来确定极曲线上的点，β∈(0,π)。联立方程(4)和(6)可得α、β、θ、φ之间的变换关系：

(7)

将方程(7)代入式(5)可以得到pl在右图像上极曲线的最终方程：

(8)

3.2支持邻域的确定

基于区域的立体匹配算法是利用对应点邻域内灰度信息的相关程度进行匹配的，在纹理丰富、视差平滑区能得到较理想的匹配结果。但是，受鱼眼图像变形的影响，传统的匹配窗口在计算匹配代价时存在很大偏差。如图3所示，同样是以封面塔尖为中心的11 pixel×11 pixel的矩形窗口，在左右两幅鱼眼图像中所包含的像素点并不相同。因此在匹配代价计算过程中，如果采用传统的矩形窗口作为支持邻域，这两个窗口内的像素点很可能对应于空间中不同的点，容易造成误匹配，这一问题在变形严重的图像边缘部分更加突出。事实上，一个深度平滑变化的空间矩形在左右两幅图像上的投影形态和大小会随着深度的不同而有所变化。因此，本文根据鱼眼镜头成像的特性确定各点支持邻域，以解决因图像变形引起的常规匹配窗口内支持邻域不对应问题，提高鱼眼图像的匹配精度。

图3　以塔尖为中心点的传统窗口(大小为11×11)Fig.3　Traditional matching windows which take spire as center with size of 11×11

图4　鱼眼双目立体视觉投影特性示意图Fig.4　Projection characteristics of fisheye binocular stereo vision

如图4所示，入射光线OPW所在平面PwOY与X轴所成角用γ表示，γ∈(0,π)。分析鱼眼双目视觉系统的成像特性发现：假设过Pw点的空间直线CD在左相机坐标系中投射到左镜头球面的α值为αl，在右相机坐标系中投射到右镜头球面的α值为αr，在平行鱼眼双目视觉中αl=αr；过Pw点空间的直线AB在左相机坐标系下γ等于γl，在右相机坐标系中γ等于γr。以左相机坐标系为参考系，γ相同的空间点在以右相机坐标系为参考系时γ也相等。本文根据鱼眼双目立体视觉成像的特性，推导出鱼眼图像不同位置像素点，在不同视差情况下的支持邻域。具体推导过程如下。

图5　支持邻域推导图Fig.5　Support neighborhood derivation

如图5所示，以左相机坐标系为参考，空间点PW在左镜头球面上的投影点为Pl，入射光线OPw与y轴所成角用ω表示，以左相机坐标系为参考系，则Pl点坐标可以表示为:

(9)

联立公式(7)和(10)可得：

(10)

假设Ql点是Pl点的相邻点，是空间点QW在镜头球面的投影点，与Pl点具有相同的γ，α角为αl，β角为βl。以左相机坐标系为参考系时，Ql坐标可以表示为

(11)

与Pl点各参数间的关系计算方法相同，可以求得Ql点γ、βl、αl间的关系表达式,如式(12)所示：

(12)

又因为Ql、Pl具有相同的γ，联立式(10)和式(12)可求出βl：

(13)

在平行双目立体视觉系统中，PW、QW在另一个镜头球面的投影点为Pr、Qr，其所在极曲线角度分别为α、αl，在右镜头球面也具有相同的γ′。根据上述求解过程，可以得到左镜头球面上Pl点的相邻点集(即支持邻域)在右镜头球面上对应的投影。因此，在对未经矫正的圆形鱼眼图像进行立体匹配的过程中，就可以准确地确定各点的支持邻域，再将基于区域的立体匹配算法应用到圆形鱼眼图像的立体匹配中。

3.3匹配算法步骤

为了得到鱼眼图像的极曲线方程，本文根据文献[22]的鱼眼镜头优化投影模型推导出极曲线解析式。同时根据鱼眼图像的投影特性确定支持邻域，确保计算匹配代价的同时，使左右支持邻域内的像素点一一对应，从而减少图像变形对匹配代价计算的准确性造成影响。为了验证是本文的支持邻域提高了算法的匹配准确度，本文采用最简单的代价函数和匹配代价聚合方法。算法的关键步骤归纳如下：

(1) 利用平面圆形标定板进行标定实验，获取鱼眼相机投影模型参数的初值。然后，通过最小化理论像点与实际像点之间的距离，优化模型参数。

(2) 根据投影模型推导出鱼眼图像的极曲线方程，考虑到实际双目视觉系统并不能完全满足平行系统的条件，所以匹配时沿着相应的极曲线在其附近搜索对应点。

(3) 根据同一场景在左右鱼眼图像中投影位置关系，确定匹配过程中各点在不同视差下的支持邻域，以SAD作为代价函数，在RGB彩色空间完成匹配代价的计算。

(4) 利用WTA策略获取待匹配像素的最佳匹配点，实现鱼眼图像的立体匹配。

4　实　验

4.1实验设备

本文实验的硬件设备有：420 mm×594 mm规格的标定板；Pentium(R) Dual-Core CPU计算机；鱼眼双目立体视觉实验平台。该实验平台的组成包括：双目视觉支架台、两台NM33-F型鱼眼摄像机，其焦距为1.27 mm。图片拍摄过程中，左右两个相机光轴严格平行，并且4个极点在一条直线上。图6(彩图见期刊电子版)为利用鱼眼相机拍摄获取的两组立体图像对，图像尺寸为480 pixel×640 pixel，其中红色的曲线是本文推导得到的6对极曲线，圆形区域左右两端红色的点即为极点。

(a) 左图　　　　　　(b) 右图 (a) Left images 　　　　(b) Right images 图6　鱼眼图像对及其若干极曲线Fig.6　A pair of fisheye images and their epipolar curves

4.2实验结果及分析

首先对两鱼眼相机进行标定实验，获取相关的相机参数，结果如表1所示。

表1　参数标定结果[16]

表中(uo,vo)是图像的主点坐标，mu、mv是相机的内部参数。

(a) 矩形匹配窗口　　　　 (b) 支持邻域(a) Rectangle matching window　(b) Support neighborhood图7　稀疏匹配结果 Fig.7　Results of sparse matching

对匹配结果进行统计，如表2所示：第一组图像对中，参考图一共标记了273个SIFT特征点，采用矩形窗口计算匹配代价时，误匹配像素对有41对，准确率为84.98%；采用本文支持邻域计算匹配代价时，误匹配像素对有30对，准确率为89.01%。第二组图像对中，参考图一共标记819个特征点，采用矩形窗口计算匹配代价时，误匹配像素对有166对，准确率为79.73%；采用本文支持邻域计算匹配代价时，误匹配像素对为128对，准确率为84.37%。利用本文的支持邻域计算匹配代价时，两组图像的匹配结果分别提高了4.03%和4.64%。仔细观察图7会发现：对应特征点间的连接线不是相互平行的，这是因为鱼眼镜头的非线性成像使得同源点在左右圆形鱼眼上的图像，不仅横坐标有差别，纵坐标也存在差异。

表2　稀疏匹配结果

在等极曲线上寻找同源点，无疑缩小了同源点的搜索范围，不仅减少了误匹配对数，还加快了匹配速度。从以上实验结果还可以看出：对于未经矫正的鱼眼图像，本文提出的支持邻域方法可以有效提高匹配算法的精度。需要说明的是，本文的实验结果是通过最简单的相似度计算方法和最简单的最佳匹配结果确定法得到的，如果对这两部分加以改进，匹配结果则能够得到进一步优化。

5　结　论

本文对鱼眼双目视觉立体匹配中存在的问题进行了研究，提出了一种基于极曲线几何和支持邻域的鱼眼图像立体匹配算法。为了更准确地求取极曲线，本文考虑镜头的畸变情况，根据鱼眼镜头的优化投影模型推导出平行鱼眼双目视觉系统通用的极曲线方程。根据该极曲线确定出了对应点的搜索范围，提高了匹配速度和准确度。此外，由于鱼眼图像变形严重，采用传统矩形窗口会使窗口像素不对应，针对这一问题，本文根据鱼眼镜头投影特性确定图像中各点在不同视差情况下的支持邻域。实验结果表明，采用本文的支持邻域方法处理后，两组实验图像的匹配精确度分别提高了4.03%和4.64%。

本文提出的匹配算法能够减小因非线性投影模型造成的鱼眼图像畸变对匹配结果的影响，为常规立体匹配算法在鱼眼图像上的应用提供了一种可行方案。

[1]王灿进, 孙涛, 陈娟. 局部不变特征匹配的并行加速技术研究[J]. 液晶与显示, 2014, 29(2):266-274.

WANG C J, SUN T, CHEN J. Speeding up local invariant feature matching using parallel technology[J].ChineseJournalofLiquidCrystalsandDisplays, 2014, 29(2):266-274. (in Chinese)

[2]肖志涛, 卢晓方, 耿磊,等. 基于极线校正的亚像素相位立体匹配方法[J]. 红外与激光工程, 2014, 43(S1):225-230.

XIAO ZH T, LU X F,GENG L,etal.. Sub-pixel matching method based on epipolar line rectification[J].InfraredandLaserEngineering, 2014, 43(S1):225-230. (in Chinese)

[3]张来刚, 魏仲慧, 何昕,等. 面向低纹理图像的快速立体匹配[J]. 液晶与显示, 2013, 28(3):450-458.

ZHANG L G, WEI ZH H, HE X,etal.. New stereo matching method based edge extraction[J].ChineseJournalofLiquidCrystalsandDisplays, 2013,28(3):450-458. (in Chinese)

[4]杨晟, 李学军, 朱诗兵,等. 抗仿射形变异构金字塔复合描述点特征匹配算法[J]. 红外与激光工程, 2014, 43(7):2387-2392.

YANG SH, LI X J, ZHU SH B,etal.. Robust affine-invariant isomerous pyramid feature and multi-description for point feature matching [J].InfraredandLaserEngineering, 2014, 43(7):2387-2392. (in Chinese)

[5]MOREAU J, AMBELLOUIS S, RUICHEK Y. 3D reconstruction of urban environments based on fisheye stereovision[C].IEEEInternationalConferenceonSignalImageTechnologyandInternetBasedSystems(SITIS)，2012,42(4):36-41.

[6]LI S G. Binocular spherical stereo[J].IEEETransactionsonIntelligentTransportationSystems.2008, 9(4): 589-600.

[7]LI S G. Real-time spherical stereo[C].IEEEInternationalConferenceonPatternRecognition(ICPR). 2006,3: 1046-1049.

[8]HANE C, HENG L, LEE G,etal..Real-time direct dense matching on fisheye images using plane-sweeping stereo[C].IEEEInternationalConferenceon3DVision(3DV). 2014:57-64.

[9]DRULEA M, SZAKATS I, VATAVU A,etal.. Omnidirectional stereo vision using fisheye lenses[C].2014IEEEInternationalConferenceonIntelligentComputerCommunicationandProcessing(ICCP).2014: 251-258.

[10]KIM D, CHOI J, YOO H,etal..Rear obstacle detection system with fisheye stereo camera using HCT[J].ExpertSystemswithApplications,2015,42(17-18):6295-6305.

[11]GOEDEME T, NUTTIN M , TUYTELAARS T,etal.. Omnidirectional vision based on topological navigation [J].InternationalJournalofComputerVision(IJCV), 2007, 74(3): 219-236.

[12]KITA N. Direct floor height measurement for biped walking robot by fisheye stereo[C].IEEEInternationalConferenceonHumanoidRobots(Humanoids), 2011, 187-192.

[13]陈琛, 胡春海. 球幕投影通用型变焦鱼眼镜头设计[J]. 光学 精密工程, 2013, 21(2):323-335.

CHEN CH, HU CH H. Design of general type zoom fish-eye lens for dome-screen projector [J].Opt.PrecisionEng., 2013,21(2):323-335.(in Chinese)

[14] 张宝龙, 李丹, 张少敬,等. 非球面鱼眼镜头设计及畸变校正算法研究[J]. 光学学报, 2014, 34(12): 222-227.

ZHANG B L, LI D, ZHANG SH J,etal.. Design of aspheric fisheye lens and study of distortion correction algorithms [J].ActaOpticaSinica, 2014, 34(12):222-227.(in Chinese)

[15]英向华,胡占义.一种基于球面透视投影约束的鱼眼镜头校正方法[J].计算机学报, 2003, 26 (12):1702-1708.

YING X H, HU ZH Y. Fisheye lense distortion correction using spherical perspective projection constraint [J].ChineseJournalofComputers, 2003, 26(12): 1702-1708.(in Chinese)

[16]贾云得,吕宏静,徐岸,等.一种鱼眼镜头成像立体视觉系统的标定方法[J].计算机学报, 2000, 23(11):1215-1219.

JIA Y D, LV H J, XU A,etal.. Fisheye lens camera calibration for stereo vision system[J].ChineseJournalofcomputers, 2000, 23(11): 1215-1219.(in Chinese)

[17]祝海江,徐晓波,周靖林.基于球面透视投影旋转矩阵的鱼眼图像匹配[J].光学学报,2013,33(2):122-129.

ZHU H J, XU X B, ZHOU J L. Fisheye image matching based on rotation matrix under spherical perspective projection[J].ActaOpticaSinica，2013,33(2):122-129. (in Chinese)

[18]许振辉,张峰,孙风梅,等.基于邻域传递的鱼眼图像的准稠密匹配[J].自动化学报,2009,35(9): 1159-1167.

XU ZH H, ZHANG F M, SUN F,etal.. Quasi-dense matching by neighborhood transfer for fish-eye images[J].ActaAutomaticaSinica, 2009,35(9):1159-1167.(in Chinese)

[19]LI X, LI J. Rotation model based quasi-dense matching propagation for uncalibrated fisheye images[C].IEEEConferenceonComputerApplicationandSystemModeling(ICCASM),2010,11:181-185.

[20]姜宏志, 赵慧洁, 梁宵月,等. 基于极线校正的快速相位立体匹配[J]. 光学 精密工程, 2011, 19(10):2520-2525.

JIANG H ZH, ZHAO H J, LIANG X Y,etal..Phase-based stereo matching using epipolar line rectification [J].Opt.PrecisionEng.,2011, 19(10):2520-2525.(in Chinese)

[21]KANNALA J, BRANDT S S . A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses [J].IEEETransactionsonPatternAnalysisandMachineIntelligence(PAMI).2006, 28(8): 1335-1340.

[22]李海滨,褚光宇,张强,等.基于优化的鱼眼镜头成像模型的空间点定位[J].光学学报，2015,35(7): 247-253.

LI H B, CHU G Y, ZHANG Q,etal..Space point positioning based on optimization of fisheye lens imaging model [J].ActaOpticaSinica, 2015,35(7): 247-253.(in Chinese)

宋涛(1982-)，男，黑龙江齐齐哈尔人，高级工程师，博士研究生，2008年于燕山大学获得工学硕士学位，主要从事机器视觉及智能仪器设计方面的研究。E-mail：tonysong66@gmail.com

导师简介：

侯培国(1968-)，男，山东郯城人，教授，博士生导师，1990年7月于东北重型机械学院获得学士学位，1993年、2003年于燕山大学分别获得工学硕士、博士学位，现为燕山大学电气工程学院党委书记，主要从事光电检测、智能检测、智能控制、智能仪器等方面的研究。E-mail:pghou@ysu.edu.cn

(版权所有未经许可不得转载)

Stereo matching for Fish-eye images based on epipolar geometry and support neighborhood

SONG Tao1,2, XIONG Wen-li1HOU Pei-guo1, LI Hai-bin1*, CHEN Chen1,2

(1.KeyLaboratoryofIndustrialComputerControlEngineeringofHebeiProvince,YanshanUniversity,Qinhuangdao066004,China; 2 .Audio-visualMachineryResearchInstituteofQinhuangdao,Qinhuangdao066000,China)

A stereo matching algorithm based on epipolar geometry and support neighborhood was proposed to solve the problems of epipolar curve and matching cost calculation caused by image distortion in fisheye stereo system. Firstly,a fisheye camera was calibrated to obtain its relevant parameters. For the lens distortion of a fisheye lens, the epipolar curves of the system were derived according to the projection model of fisheye lens ,and these epipolar curves were used to define searching scope when searching for corresponding points. Then, according to the position relationship between homologous points on the left and right images, the support neighborhood of each pixel was determined, the corresponding support neighborhood in other image was calculated in different parallaxes and the local matching cost was calculated based on support neighborhoods. Finally, matching results were obtained by using the Winner Takes All(WTA) strategy. The epipolar geometry and support neighborhood were used to perform a matching experiment and a comparison experiment for two groups of fisheye images. Experimental results show that the matching accuracies of the two groups are increased by 4.03% and 4.64% respectively as compared to traditional methods. It concludes that the epipolar curves speed up the matching speed and reduce the error; the accuracy rate of matching cost calculation by proposed support neighborhood is also superior to that of the traditional matching for the fisheye lens. This method meets the requirements of stereo matching of fisheye images for capturing speeds, accuracy and quantity.

computer vision; stereo matching; fisheye image; epipolar curve geometry; support neighborhood

2016-05-13；

2016-06-22.

河北省自然科学基金资助项目(No.D2015203310，No.D2014203153)

1004-924X(2016)08-2050-09

TP391.41

A

10.3788/OPE.20162408.2050