基于DSP的鱼眼图像实时校正系统的实现

张宝峰,马志军,朱均超,冯为嘉

(1.天津理工大学 天津市复杂系统控制理论及应用重点实验室,天津 300384;2.天津师范大学计算机与信息工程学院,天津 300387)

·光电技术与系统·

基于DSP的鱼眼图像实时校正系统的实现

张宝峰1,马志军1,朱均超1,冯为嘉2

(1.天津理工大学 天津市复杂系统控制理论及应用重点实验室,天津 300384;2.天津师范大学计算机与信息工程学院,天津 300387)

鱼眼图像视角大,图像信息量丰富,但是其所拍摄的图像具有较大的畸变失真,需要对其进行畸变校正。基于嵌入式DSP系统,采用经纬映射法对鱼眼图像进行畸变校正,校正过程中不需要标定靶标,方便快捷,且其效果较好。实验结果表明,该系统能够获得较好的校正效果,使用嵌入式DSP系统,运算响应速度快,运算时间短,且能够满足实时性要求。

鱼眼图像；畸变校正；数字信号处理器

1 引 言

目前,市场上使用的摄像头大多是普通的镜头,由于普通的镜头有很大的视觉盲区,拍摄到的景物区域很小,在要求很大的视场范围时不能广泛使用,而使用鱼眼镜头可以获取更大的视野场景,受环境影响小、稳定性强、景深范围从几厘米到无限远。但是鱼眼图像有严重的畸变,如果要使用这些带有严重畸变的投影信息,必须将其转换成人眼视觉所习惯的透视投影图像,还原其真实的场景[1]。因此,一种较好的鱼眼镜头图像畸变校正技术是非常必要的。摄像机标定技术是一种精确恢复的算法,但是相机标定技术针对特定的相机,且计算繁琐,复杂度很高,在嵌入式实时系统中的时间开销也很大。本文使用文献[2]中的鱼眼图像校正方法,在嵌入式DSP系统上实现鱼眼图像的实时校正。此方法比较简单,运算速度快,实用性强,校正效果好,可以达到处理鱼眼镜头图像校正要求,并且能够对采集到的鱼眼图像进行实时校正,满足实时性的要求。

2 鱼眼图像成像原理

鱼眼镜头的成像原理可以用图1说明,鱼眼镜头的成像可以看作为一个半球面[3]。假设摄像机的原点为O,光轴为Z轴,拍摄时沿着OZ方向进行拍摄,空间中的任意一点P0,连接OP0,与半球面交于点P1,过P1作Z轴的平行线,交OXY面于点P2,P2即为P0的像点。

图1 鱼眼图像成像原理

3 鱼眼图像校正算法

鱼眼图像校正的目的是将一幅存在光学畸变的图像,转化为可以直接处理的线性透视投影图像。鱼眼图像的校正方法有多种[4-7],本文是基于文献[2]中的经纬映射算法对鱼眼图像进行校正。该方法可以获得较好的校正效果,且校正后的图像满足垂直不变性,可以为图像拼接做准备。具体算法如下：

假设鱼眼图像平面像素坐标为(i,j),将其转换为规格化坐标(u,v),其范围在-1到1之间,如图2(a)所示。P(u,v)为极坐标平面(投影平面)上的任意一点,求出点P到O的距离r和点P与U轴的夹角φ,如图2(b)所示：

图2 两种坐标平面

r和φ的计算公式如下：

(1)

u≥0

u<0

(2)

在球面坐标系中,图 3(a)显示的是鱼眼映射的球坐标。其中,θ角是r乘以鱼眼视角的一半。即

(3)

假设球面的半径是1,从原点(摄像机中心)到实景中某一点的方向向量(x,y,z)为

0≤φ≤2π

(4)

通过(x,y,z),就可以推导出对应的θ′φ′坐标。因为在球面到映射图时的球坐标和鱼眼映射时的极坐标是不一样的,所以,需要重新选取坐标系。如图3所示。

图3 坐标系的重新选取

其中,θ′是摄相机到实景方向向量与y轴的夹角;φ′是方向向量在XOZ平面上的投影与X轴负轴的夹角。计算(θ′,φ′)的公式如下：

(5)

根据以上公式,经过一系列的变换,就可以得到目标图像上每一点(i,j)映射到源图上的点(θ′,φ′),这样,整个的鱼眼图像校正算法就基本完成了,最后还需要一步就是对校正后的图像进行插值处理。

4 系统组成

基于DSP的鱼眼图像实时校正系统由硬件和软件两部分组成。硬件组成主要包括电源、鱼眼镜头、摄像机、DSP图像处理系统、JTAG仿真器、PC机、显示器等。鱼眼镜头选用富士能的FE185C046HA-1,如图4所示。

本系统所选用的DSP芯片型号为TMS320DM642,该款芯片是一款高性能定点数字信号处理器。片上带有丰富的视频硬件资源,它是专为数字多媒体所应用设计制造的[8]。图5为本系统的硬件结构示意图。

图4 鱼眼相机

图5 硬件结构示意图

软件部分,使用CCS3.3作为开发环境,CCS3.3提供了配置、建立、调试、跟踪和分析程序的工具,它便于实时、嵌入式信号处理程序的编制和测试,它能够加速开发进程,提高工作效率。最后经编译、连接将编译好的程序烧录到嵌入式DSP系统中。

编写的程序是基于DSP/BIOS的程序设计,DSP/BIOS是一个简易的实时嵌入式操作系统,其由三个部分组成,包括DSP/BIOS实时多任务内核与API函数、DSP/BIOS配置工具,以及DSP/BIOS实时分析工具。其中,在程序开发的过程中,主要是通过调用实时库中的API(应用编程接口)函数来实现的。这些API函数提供了在嵌入式平台中的基本操作,包括实时、I/O模块、软件中断管理、时钟管理等情况下捕获信息所进行的操作。DSP/BIOS分析工具可以辅助CCS3.3环境实现程序的实时调试,通过CCS下的DSP/BIOS工具控制面板可以选择多个实时分析工具,包括CPU负荷图、程序模块执行状态图、主机通道控制、信息显示窗口、状态统计窗口等。这些分析工具可以进行程序跟踪、性能检测以及文件服务等等。通过使用以上资源,来完成程序设计。

整个嵌入式DSP软件系统工作流程如图6所示。

图6 DSP/BIOS的软件流程

5 实验结果及结论

对采集到的鱼眼图像进行处理,图7为采集到的鱼眼图像,图8为经算法校正后得到的校正图。这种校正方法简单,不用设置靶标对摄像机进行参数标定,是一种通用的校正方法,校正效果也比较理想。实验中,在PC上对一幅静态鱼眼图像校正所需的时间为6～8s。而使用嵌入式DSP系统,校正一幅鱼眼图像所需时间为2～3s,响应速度快,运算时间较PC上缩短。最后,通过鱼眼相机实时采集图像,经DSP系统实时处理,输出的校正图像能够达到28帧/min的视频处理速度,满足实时性要求。

图7 采集到的鱼眼图像

图8 校正后图像

[1] ZHANG Ning,LIU Tianjian.The research and implementation algorithm for fisheye image[J].Journal of Minjiang University,2012,33(5)：74-76.(in Chinese) 张宁,刘天键.鱼眼图像校正算法研究与实现[J].闽江学院学报,2012,33(5)：74-76.

[2] YANG Ling,CHENG Yun.The designing methods of fish-eye distortion correction using latitude-lon-gitude projection[J].Journal of Engineering Graphics,2010,(06)：19-22.(in Chinese) 杨玲,成运.应用经纬映射的鱼眼图像校正设计方法[J].工程图学学报,2010,(06)：19-22.

[3] CHANG Danhua,ZHAO Dan,YANG Fengming,et al.Improvement of fisheye image contour extraction and image correction algorithm[J].Laser & Infrared,2012,42(4)：448-451.(in Chinese) 常丹华,赵丹,杨峰明,等.提取鱼眼图像轮廓的算法改进及图像校正[J].激光与红外,2012,42(4)：448-451.

[4] YANG Guangquan.Fisheye image correction algori-thm[J].OME Information,2009,26(4)：43-46.(in Chinese)

杨广全.鱼眼图像的校正算法[J].光机电信息,2009,26(4)：43-46.

[5] Nishimoto T,Yamaguchi J.Three dimensional measurement using fisheye stereo vision[C]//SICE,2007 Annual Conference，IEEE,2007：2008-2012.

[6] YING Xianghua,HU Zhanyi.Fisheye lense distor-tion correction.using spherical perspective projection constraint[J].Chinese Journal of Computers,2003,12：1702-1708.(in Chinese) 英向华,胡占义.一种基于球面透视投影约束的鱼眼镜头校正方法[J].计算机学报,2003,26(12)：1702-1708.

[7] ZHANG Zhenghua,Yasuyuki Matsushita,MA Yi.Camera calibration with lens distortion from low-rank textures[C]//Computer Vision and Pattern Recognition(CVPR),2011 IEEE Conference on.IEEE,2011:2321-2328.

[8] LI Xiaohong.Development and application of image processing laboratory system based on DSP[J].Journal of Hefei University.2009,19(4)：38-41.(in Chinese) 李小红.基于DSP图像处理实验系统的开发与应用[J].合肥学院学报,2009,19(4)：38-41.

Implementation of fisheye image real-time correction based on DSP

ZHANG Bao-feng1,MA Zhi-jun1,ZHU Jun-chao1,FENG Wei-jia2

(1.Tianjin Key Laboratory for Control Theory & Applications in Complicated Systems,Tianjin University of Technology,Tianjin 300384 China;2.College of Computer and Information Engineering,Tianjin Normal University,Tianjin 300387,China)

As the distortion of fish-eye images is very serious,the distortion should be corrected. Based on embedded DSP system,the distortion of fish-eye images is corrected by using the longitude-latitude projection method. This method does not require any calibration equipment during the correction,and the operation is easy. Experiment results show that this method has better correction effect. After using embedded DSP system,the operation speed is fast and the spended time is short. It can meet the real-time requirement.

fisheye image；distortion correction；DSP

1001-5078(2015)02-0181-04

国家自然科学基金(No.61172185);天津市高等学校科技发展基金项目(No.20100705)资助。

张宝峰(1962-),男,博士生导师,教授,主要研究方向为激光及光电测试技术,计算机可视化技术,先进检测方法和智能化仪表。E-mail：zhangbaofeng@263.net

2014-06-09;

2014-07-07

TH74

A

10.3969/j.issn.1001-5078.2015.02.014