基于改进球面透视投影的鱼眼图像畸变校正方法

王向军，白皓月，吴凡璐，叶秀玲



基于改进球面透视投影的鱼眼图像畸变校正方法

王向军1,2，白皓月1,2，吴凡璐1,2，叶秀玲1

(1. 天津大学精密测试技术及仪器国家重点实验室，天津 300072； 2. 天津大学微光机电系统技术教育部重点实验室，天津 300072)

针对传统的球面透视投影计算量大、校正过程繁琐的问题，对主视图投影半径进行改进，以提高校正效率。首先采用Hough变换圆检测法求得鱼眼图像像主点和半径，并以一条弧线经过球面透视正向投影后拟合直线的相关系数作为评价指标，求得最优投影球面半径后校正鱼眼图像主视图；在此基础上提出一种新的2D校正法——扇区映射法，该方法从主视图边界在鱼眼图像中的投影轨迹出发，在极坐标中直接对鱼眼图像进行映射，得到校正后的周围视图。两个实例结果验证了所提方法的有效性与可行性。

球面透视投影；扇区映射法；评价指标；畸变校正

鱼眼相机获取的图像存在较严重的桶形畸变，若要将其转换为符合人眼视觉习惯的图像，需要对其进行几何校正处理。目前鱼眼图像几何校正算法主要分为两类：基于投影变换模型的校正方法和基于标定的校正方法。其中，基于投影变换模型的校正方法[1-9]一般采用球面透视投影模型[1-2]、经纬度模型[3]、双经度模型[4-5]、柱面模型[6-7]等。球面透视投影模型需要大量采样点进行多项式拟合得到畸变校正参数，该方法计算量大、拟合过程复杂，且校正图像非线性拉伸现象[1-2]严重。经纬度模型与双经度模型，均通过引入极点来映射，但是，在极点附近拉伸现象严重。柱面模型将鱼眼图像按柱面展开，其缺点是丢失了鱼眼图像中心画面。基于标定的校正方法[10-15]需要借助外部设备对鱼眼镜头进行标定来获得校正参数，使校正精度相对较高，其对实验设备精度要求高、过程较为复杂。

本文对球面透视投影法进行改进，通过少量样点求得最优球面半径，接着进行反向映射，便可以得到校正后的主视图；并提出了与该方法相互配合的2D校正法——扇区映射法。扇区映射法从主视图边界在鱼眼图像中的投影轨迹出发，通过反向映射对鱼眼图像直接处理，得到校正后的周围视图。最后将两种方法得到的校正图无缝拼接，得到最终图像。

1 畸变校正模型

对鱼眼图像进行畸变校正，首先需要得到鱼眼图像的像主点坐标和半径。畸变校正过程主要分为两步：①基于改进球面透视投影法对主视图的校正；②基于扇区映射法对周围视图的校正。

1.1 鱼眼图像像主点和半径的确定

若鱼眼图像为圆形轮廓且前景与背景容易分离，可以使用大津法[16]进行二值化后，采用扫描线逼近算法[3,17]测量；若前景与背景不易区分，可以使用局部自适应阈值法进行二值化后，采用Hough变换圆检测法[18-19]等进行测量；若鱼眼图像为非圆形轮廓，可以根据鱼眼镜头成像几何性质采用椭圆方程拟合法[5,20]或径向准交法等进行测量。由于Hough变换圆检测法受曲线不连续、噪声的影响较小，计算速度较快，且opencv中提供了该方法，所以本文不再赘述该方法的原理，直接采用该方法计算得到鱼眼图像的像主点(0,0)与半径r。

1.2 球面透视投影法

1.2.1 主视图坐标系转换

如图1所示，XOY为主视图像素坐标系， xoy为主视图像面坐标系。O为主视图的左上角点，o为主视图中心点。假设主视图的宽度为w，高度为h，对于XOY上任意点可以在xoy表示为(x,y)，其转换关系为

(2)

1.2.2 球面透视投影法

以鱼眼图像像主点(0,0)为原点在鱼眼图像上建立右手空间直角坐标系-，轴与主视图平面法线平行且经过o，o与球心距离为，XOY为鱼眼图像像素坐标系，如图2所示。若主视图上有一点(x,y)，与球心距离为d，在球面上投影点是，垂直映射点为，在像素坐标系XOY中(X,Y)满足如下关系

(6)

1.2.3 球面半径的求解

在已有的研究中，球面透视投影法、经纬度法等均以鱼眼图像的半径r作为球面半径，双经度法通过椭圆拟合得到球面半径，本文将其作为变量来处理。利用鱼眼图像中一条弧线上的多个点经过球面透视正向投影后的坐标进行最小二乘法直线拟合，以相关系数r作为球面半径的评价指标。相关系数越接近1，说明校正效果越好。该方法与椭圆拟合方法相比，只需要一条弧线，省去复杂的椭圆拟合过程，更加简单快捷。

1.3 扇区映射校正法

如图3所示，鱼眼图像中加粗虚线是主视图边界在鱼眼图像中的投影轨迹，以鱼眼图像像主点为极点，平行于X方向为极轴建立极坐标系。假设球面透视投影主视图高度为h，宽度为w，与球心的距离为，投影球面半径为；扇区映射法的扇区对称轴左端点极径为1，右端点极径为2，极角为，右视图高度为h，宽度为w，右视图上一点(X,Y)映射为鱼眼图像中的点(X,Y)，在鱼眼图像极坐标系中记为(,)。

对于右视图上一点(X,Y)，映射到鱼眼图像中(,)，根据三角形相似原理与主视图连接要求，需满足

图3 扇区映射法原理图

其中，r为鱼眼图像半径；offset为鱼眼图像极坐标系中某点与扇区对称轴的夹角，即

step为映射步长，本文采用等距步长，即

其中，左端点极径1，右端点极径2分别为

则极坐标系中的(,)可以在鱼眼图像像素坐标系XOY中表示为(X,Y)，转换关系为

其中，(0,0)为鱼眼图像像主点坐标。

反之，鱼眼图像上点(,)映射到主视图上点(x,y)，需满足关系

扇区映射法是与改进球面透视投影法相互配合的一种方法，因为目前的文献均是针对180°及以下视场鱼眼图像进行的校正，丢失了原鱼眼图像的边缘信息。而扇区映射法是与改进球面透视投影法相互配合，所以可以很好地解决这个问题。

2 实验结果与分析

为了验证方法的可行性，给出2幅不同场景下的鱼眼图像进行校正实验，鱼眼图像视场角均未知。实验环境为Windows7 64位操作系统，CPU为2.5 GHz，内存12 G，编程环境VS2012。原始鱼眼图像如图4所示。

图4 鱼眼图像

2.1 最优r值求解

采用Hough变换圆检测法得到像主点坐标与半径，通过角点检测得到图像上一条弧线上少量样点，求得最优值。图5为在不同球面半径下，选取弧线上的点是经过正向映射后最小二乘法拟合的相关系数。

2.2 与其他方法对比分析

设置鱼眼图像a和b主视图宽度和高度均为最优值，与球心距离为/2，得到鱼眼图像的校正结果如图7~8所示。

对于图像a，设置周围视图的高度为最优球面半径，宽度为/2，扇区对称轴极角分别为=0°、90°、180°、270°，将得到的校正图拼接，结果如图9所示。

图5 鱼眼图像不同半径下的相关系数

图7(b)和图8(b)分别采用文献[5]双经度模型得到的结果，从主观视觉角度可以看到该算法对于鱼眼图像a校正效果较差，对于鱼眼图像b较好，均在极点处拉伸严重；图7(c)是采用文献[15]的标定方法，通过25幅不同角度的棋盘图进行标定得到的校正结果，可以看到校正效果很好，但是损失周围视场；图7(d)和图8(c)分别采用本文提出的改进球面透视投影模型得到的校正结果，从校正图可以看出，该方法校正效果很好，并且可通过调节主视图与球心距离得到不同视场的校正图，适用于180°及以下视场鱼眼图像。该方法与本文提出的扇区映射法相结合得到校正结果如图9所示，其不损失原鱼眼图像信息且校正效果很好，适用于校正视场大于180°的鱼眼图像。为了进一步验证本文方法的实时性与校正精确度，以图像a为例通过计时与最小二乘法直线拟合的方式，求取采用不同校正方法的校正用时以及误差情况，结果见表1。

图7 图像a校正结果对比

图8 图像b校正结果对比

图9 鱼眼图像a拼接效果图

表1 不同校正方法结果对比

从表1中可以看出，本文方法建立映射关系、校正用时均小于文献[5]和[15]方法，误差与文献[15]相当，可用于鱼眼图像实时校正系统中。

3 结 论

针对传统的球面透视投影计算量大、校正过程繁琐的问题，本文对其进行改进并提出一种新的2D校正法——扇区映射法。在鱼眼镜头视场角与像主点未知并且图像为圆形的情况下，可以得到校正的鱼眼图像；相比传统的球面透视投影法与标定校正法，本文方法无需大量的采样点，极大地简化了鱼眼图像的畸变校正过程，提高了校正效率，并且可以得到较好的校正效果；相比经纬度法、双经度法在极点拉伸严重且不适用于校正视场大于180°的鱼眼图像，本文方法分多个视图进行校正，可用于校正更大视场的鱼眼图像。同时本文采用鱼眼图像弧线向空间直线投影，符合校正流程，利于编程实现，无需鱼眼镜头参与，只要鱼眼图像中存在明显的直线元素，就可以完成畸变校正。实验结果表明，本文提出的改进球面透视投影法结合扇区映射法，在不损失图像信息的情况下，可以得到较好的视觉效果，省去了复杂的标定过程，降低了鱼眼图像校正的计算成本。

[1] 英向华, 胡占义. 一种基于球面透视投影约束的鱼眼镜头校正方法[J]. 计算机学报, 2003, 26(12): 1702-1708.

[2] 张海彬, 余烨, 李琳, 等. 基于视点纠正的鱼眼图像场景化漫游方法[J]. 图学学报, 2014, 35(3): 435-441.

[3] 杨玲, 成运. 应用经纬映射的鱼眼图像校正设计方法[J]. 工程图学学报, 2010, 31(6): 19-22.

[4] 斯闻豪, 杨庚. 一种基于经线模型的鱼眼图像校正算法[J]. 计算机技术与发展, 2014, 24(10): 38-41, 46.

[5] 魏利胜, 周圣文, 张平改, 等. 基于双经度模型的鱼眼图像畸变矫正方法[J]. 仪器仪表学报, 2015, 36(2): 377-385.

[6] 周辉, 罗飞, 李慧娟, 等. 基于柱面模型的鱼眼影像校正方法的研究[J]. 计算机应用, 2008, 28(10): 2664-2666.

[7] XU Y, ZHOU Q, GONG L, et al. High-speed simultaneous image distortion correction transformations for a multicamera cylindrical panorama real-time video system using FPGA [J]. IEEE Transactions on, Circuits and Systems for Video Technology, 2014, 24(6): 1061-1069.

[8] ZHANG B, WANG J, LI J, et al. Fisheye lens distortion correction based on an ellipsoidal function model [C]// 2015 International Conference on, Industrial Informatics-Computing Technology, Intelligent Technology, Industrial Information Integration (ICIICII). New York: IEEE Press, 2015: 217-221.

[9] 师平. 鱼眼图像径向畸变校正的一种新方法[J]. 图学学报, 2016, 37(6): 805-809.

[10] 冯为嘉, 张宝峰, 曹作良．基于鱼眼镜头的全方位视觉参数标定与畸变矫正[J]. 天津大学学报, 2011, 44(5): 417-424．

[11] 陆懿, 陈光梦, 程松. 基于神经网络的数字图像几何畸变矫正方法[J]. 计算机工程与设计, 2007, 28(17): 4290-4292.

[12] WANG X, FENG W, LIU Q, et al. Calibration research on fish-eye lens [C]// 2010 IEEE International Conference on, Information and Automation (ICIA). New York: IEEE Press, 2010: 385-390.

[13] HARTLEY R, KANG S B. Parameter-free radial distortion correction with center of distortion estimation [J]. IEEE Transactions on, Pattern Analysis and Machine Intelligence, 2007, 29(8): 1309-1321.

[14] BI G, ZHANG X, FENG W, et al. Error analysis of fisheye correction curve [C]// 2015 IEEE International Conference on, Mechatronics and Automation (ICMA). New York: IEEE Press, 2015: 1659-1664.

[15] KANNALA J, BRANDT S S. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses [J]. IEEE Transactions on, Pattern Analysis and Machine Intelligence, 2006, 28(8): 1335-1340.

[16] 李牧, 闫继宏, 朱延河, 等. 一种改进的大津法在机器视觉中的应用[J]. 吉林大学学报: 工学版, 2008, 38(4): 913-918.

[17] 常丹华, 赵丹, 杨峰明, 等. 提取鱼眼图像轮廓的算法改进及图像校正[J]. 激光与红外, 2012, 42(4): 448-451.

[18] 王红茹, 丁文. 一种改进的基于对称性的Hough变换圆检测算法[J]. 微电子学与计算机, 2014, 31(6): 121-124.

[19] 魏利胜, 张平改, 费敏锐. 基于非线性方程的鱼眼图像畸变矫正方法研究[J]. 电子测量与仪器学报, 2015, 29(11): 1584-1593.

[20] HUANG F, WANG Y, SHEN X, et al. Method for calibrating the fisheye distortion center [J]. Applied Optics, 2012, 51(34): 8169-8176.

Fisheye Lens Distortion Correction Method Based on Improved Spherical Perspective Projection

WANG Xiangjun1,2, BAI Haoyue1,2, WU Fanlu1,2, YE Xiuling1

(1. State Key Laboratory of Precision Measuring Technology and Instruments, Tianjin University, Tianjin 300072, China; 2. MOEMS Education Ministry Key Laboratory, Tianjin University, Tianjin 300072, China)

The method of improving the constraints was proposed to enhance the efficiency of image rectification and reduce the large amount of calculation caused by using the traditional spherical perspective projection and intricacy of calibration. Firstly, identify the principal point of the fish-eye image and its radius by applying Hough transform circle detection to the characteristics of fish-eye image, and set the condition that a straight line comes out from the same arc through spherical perspective positive rejection as a constraint. The main view of fish-eye image could be rectified with the optimal projection sphere radius. Based on this method, a new two-dimension calibration method is put forward as sector mapping. Start from the trajectory projected from the edge of main view. Map the fish-eye image in polar coordinates and obtain the rectified surrounding view. Validate the effectiveness and feasibility of the method by two examples.

spherical perspective projection; sector mapping; evaluation index; distortion

TP 391.41

10.11996/JG.j.2095-302X.2018010043

A

2095-302X(2018)01-0043-07

2017-05-31；

2017-07-23

天津大学自主创新基金项目(1706)

王向军(1955–)，男，黑龙江哈尔滨人，教授，博士，博士生导师。主要研究方向为精密测试技术与仪器、光电探测与传感技术、影像与视觉测量等。E-mail：xdocuxjw@vip.163.com