基于环境差异度的自适应角点匹配算法

刘芳萍，王 沛，马 艳，张 倩

(上海师范大学 信息与机电工程学院，上海 200234)

基于环境差异度的自适应角点匹配算法

刘芳萍，王 沛，马 艳，张 倩

(上海师范大学 信息与机电工程学院，上海 200234)

基于图像灰度梯度提取的Harris角点，由于角点近邻处其灰度梯度的对比度不明显而造成检测定位偏差，从而导致角点的误匹配率的提高。针对该现象提出了一种“虚影点”改进，同时引入环境差异度作为评判原则，自适应调整角点间的竞争机制的残酷度，结合奇异值分解最终达到优胜劣汰的匹配效果。实验证明，该算法在不影响角点匹配速度的情况下，与其他算法相比对角点的匹配精度有很大的改善。

Harris匹配；虚影点；环境差异度

这些算法都在一定程度上提高了角点的匹配精度，但是应用于双目立体图像对的角点匹配中效果并不理想，这是由于角点近邻处其灰度梯度的对比度不明显而造成检测定位偏差，只能通过后续的RANSAC[6]进行筛选， 实现特征点的精匹配。因此，本文模仿贪婪搜索策略提出角点匹配的“虚拟点”假设，从而扩大候选点集的规模，同时引入环境差异度作为衡量候选集中对象的竞争度，自适应地调整匹配的代价函数，再结合奇异值分解算法，提高算法的运算速度和精度，最终达到较高精度的匹配效果。

1 角点匹配的“虚影点”假设

双目图像中角点的立体匹配，其实就是对调整后的双目立体图像对的左图L和右图R进行Harris角点检测后[7]，分别将L图和R图中的角点放入集合PCL，PCR

(1)

(2)

式中：Ii为左图中的角点；Jj为右图中的角点。然后，取集合PCL中的角点Ii分别与集合PCR中的角点Jj，以两个角点W×W邻域中像素关系建立匹配代价函数[8]进行筛选匹配，匹配的效果主要取决于候选的角点集、搜索策略以及代价函数的建立。目前常见的角点匹配算法应用于双目立体图像中通常会出现如图1所示的误匹配现象：左边的角点A错误地匹配到了右边的C点。

图1 Bowling中的截图

其主要原因：一是获得的角点位置是像素级的；二是在某些被判定为角点的相邻像素也具有角点特性，但是在检测的时候选择最优又排除了近邻。为此本文提出角点的“虚影点”假设，其主要原理是：Harris角点从定义上讲就是表征图像中灰度在多方向上变化最剧烈的点，但是鉴于双目图像对在亮度、对比度和拍摄角度上的差异，往往两幅图像中相应角点的定位并不在一条直线上。“虚影点”假设就是模拟贪婪搜素的原理，假设角点J的八通道方向上存在角点j，则两者之间的关系满足

(3)

式中：m和n的取值为-1，0，1。若t

对图1右侧引入角点的“虚影点”假设，并归为PCR集合中，可以扩大候选集的规模，促进角点间竞争的强度，通过个体竞争进一步提高角点匹配的精度。

河套灌区淖尔水滴灌调蓄能力及发展方式分析……………………………………… 徐 冰，田德龙，李泽坤，任 杰，汤鹏程（44）

2 改进的匹配代价函数

为了进一步提高角点匹配的精度和速度，避免相似纹理导致的误匹配现象，本文提出了一种新的参量：环境差异度。其定义如下

(4)

(5)

(6)

(7)

式中：M和N分别表示Ii和Jj角点邻域A中的元素个数；a1m和b1n分别表示A中的像素；Ii和Jj为中心点像素；Bij和Cij同式(7)。该算法一方面可以节省求均值的时间，另一方面所求的相关系数值更多地关注到要匹配的角点与其邻域点的关系，这样可以避免由于窗口选择的大小原因，或者是窗口中与中心像素差距大的像素影响到窗口内的平均值，使待匹配的两个角点邻域窗口中平均值差距变大，从而影响角点匹配的相关系数。

图2 权重分配图

同时，本文考虑到左右图像中相匹配角点的深度不能超过深度值d的最大限度，建立一个惩罚因子，再结合奇异值分解算法，构造相似矩阵G，其中Gij表示为

(8)

式中：Gij代表相似度的值；λ1，λ2，λ3为权重因子；γ为惩罚因子，其值根据角点Ii和Jj横坐标之差来决定；设两个角点的横坐标分别为ix和jx，图像的最大深度为Dmax，γ表示为

(9)

根据矩阵G进行奇异值分解，利用奇异值分解进行特征匹配是由Pilut进一步改进并用于立体视觉匹配中的[8]，其主要步骤为：将特征点相似度矩阵G分解之后得到两个正交距阵T，U，表达如下

G=TDUT

(10)

式中：G为M×N矩阵；T为M×M方阵；U为N×N矩阵，它们为正交矩阵；矩阵D为M×N的对角矩阵。注意此时将D中的对角线元素不为0的赋值为1，得到矩阵E，此时得到新的匹配矩阵为

P=TEUT

(11)

把所判断的Pij值既是行最大，又是列最大的点作为最匹配的点。奇异值分解算法既满足角点匹配的相似性准则，又满足唯一性准则。同时，它在对角点进行匹配时，不需要严格地执行左图中的每个角点必须与右图中的角点至少一点匹配。

3 试验结果比较

本文选取Middleburry提供的矫正过的bowling和cone这两幅图，在Visual 2010软件上进行试验。这两幅图中，前者纹理相对较少，而后者纹理相对较多。本文采用文献[9]中方法对Harris角点进行检测，结合上述的角点检测和匹配代价函数原理，选择λ1，λ2，λ3分别为0.5，0.3，0.2，A为5×5，B为11×11，C为15×15，分别获得了如图5、图8的试验结果，并与文献[10]提出的一种基于Harris-Susan的角点匹配算法，以及文献[11]所提出的改进的基于Canny-Harris-SIFT的角点匹配算法进行对比，如图3、图4、图6、图7所示。比较这些图，本文算法的匹配点增多的同时误匹配点反而变少了。这里对改进后的bowling匹配图相同位置截图，如图9所示，角点A正确匹配到了角点B，匹配效果大大改善。

图3 文献[10]算法的bowling匹配图

图4 文献[11]算法的bowling匹配图

图5 本文算法的bowling匹配图

图6 文献[10]算法的cone匹配图

图7 文献[11]算法的cone匹配图

图8 本文算法的cone匹配图

图9 改进后的bowling中的截图

根据上述bowling图像和cone图像的结果对照，分别列出表1、表2算法的效果对比。

表1 bowling图像算法效果对比

表2 cone图像算法效果对比

对比表1、表2的各项数据，针对低纹理和多纹理图像，文献[10]中提出的算法相对比较稳定，但是正确的匹配点对不多，效率也不高，而文献[11]中提出的算法经过极线约束后，相匹配的点数变少了，从匹配率上看，该算法更适用于纹理较少的，对比度明显的图像。而本文算法针对低纹理和多纹理图像的匹配效率相对比较稳定，不论在匹配的点数还是正确率上都优于另外两种算法[12]。

4 结论

本文针对双目立体图像对进行的角点“虚影点”假设，能够有效地扩大候选点的规模，将待匹配的角点对数成倍地提高，同时改进的匹配代价函数利用窗口区域划分权重、引入惩罚因子改善算法的计算量，能够进一步筛选出最匹配的角点对。经过试验证明，本文算法对试验的两幅图像都有比较好的匹配效率，能够克服低纹理图像匹配点少以及多纹理图像误匹配率高的不足，具有很广的应用范围。同时，本文算法所匹配的角点具有很高的精确性，适合与模板匹配或遗传算法、粒子群算法相结合，从而进一步提取立体图像的深度图。

[1]白明，庄严，王伟.双目立体匹配算法的研究与进展[J].控制与决策，2008，29(7)：724-729.

[2]HARRIS C，STEPHENS M. A combined corner and edge detector[C]//Proc. 4th Alvey Vision Conference.Manchester，UK：[s.n.]，1998：21-51.

[3]赵峰，黄庆明，高文.一种基于奇异值分解的图像匹配算法[J].计算机研究与发展，2010，47(1)：23-32.

[4]李海超，张广军.基于旋转不变的角点匹配方法[J].红外与激光工程，2008，37(3)：562-564.

[5]刘宁卢，荣胜.基于高斯曲面模型的亚像素Harris角点定位算法[J].电子测量技术，2011，34(12)：43-50.

[6]FUSIELLO A，TRUCCO E， VERRI A. A compact algorithm for rectication of stereo pairs[J].Matching Vision and Application，2000，12(1)：16-22.

[7] MCDONNEL M. Box-filtering techniques[J]. Computer Graphics and Image Processing，1981，17(1)：65-70.

[8] YOON K，KWEON I. Adaptive support-weight approach for correspondence search[J]. IEEE Trans. PAMI，2006，28(4)：650-656.

[9]王民钢，王超.基于Harris的角点检测改进算法[J].计算机仿真，2012，29(11)：294-298.

[10]周舒篁，袁杰.一种有效的角点检测与匹配算法[J].现代电子技术，2010，135(4)：45-48.

[11]江祥奎，王曙光.基于Canny-Harris-SIFT算法的立体匹配[J].机床与液压，2013，41(13)：60-63.

[12]LIU Fangping,WANG Pei.An improved stereo matching algorithm based on corner points[C]//Proc.ICALIP 2014.Shanghai:IEEE Press,2014:120-123.

责任编辑：时 雯

Adaptive Corner Matching Algorithm Based on Environment Difference

LIU Fangping，WANG Pei，MA Yan，ZHANG Qian

(CollegeofMechanicalandElectronicEngineering，ShanghaiNormalUniversity，Shanghai200234，China)

The corners of Harris extracted based on the image gray gradient always have detection bias，because of the unclear gray gradient near the corners. In this paper，the “virtual” corner are proposed， and the environmental difference are introduced as a criterion. They can adjust the cruel of the competitive mechanism between corners adaptively. And they can reach a good matching result by combining with singular value decomposition. Experiments show that， this algorithm not only does not affect the corner matching speed， but also the matching precision of corner points have greatly improved.

Harris matching；virtual corner；environmental difference

国家自然科学基金项目(61373004)

TP391

A

10.16280/j.videoe.2015.01.006

2014-02-22

【本文献信息】刘芳萍，王沛，马艳，等.基于环境差异度的自适应角点匹配算法[J].电视技术,2015，39(1).