基于双目立体视觉技术的信号弹高度测量方法研究

路晓冬， 王明泉， 郝利华， 丁 杰

(中北大学 信息与通信工程学院， 山西 太原 030051)

基于双目立体视觉技术的信号弹高度测量方法研究

路晓冬， 王明泉， 郝利华， 丁 杰

(中北大学 信息与通信工程学院， 山西 太原 030051)

为了测量信号弹飞行高度， 本文提出了一种基于双目立体视觉技术的信号弹高度测量方法. 首先研究了双目立体相机的标定过程， 然后对左右相机图像进行立体校正和图像预处理， 最后通过基于特征的图像匹配方法来获取左右相机图像中目标点的视差， 进而计算出信号弹的高度信息， 实现对信号弹飞行高度的快速准确测量. 结果表明： 该方法可以较为准确地测量出信号弹飞行高度， 满足厂家需求， 且具有操作简单、 使用灵活、 成本低廉等优点.

图像处理； 双目立体视觉技术； 高度测量； 相机标定； 立体匹配

0 引 言

信号弹是利用其产生的烟、 光或声信号来完成定位、 识别、 联络、 指挥、 报警等任务的一类特色弹药， 具有简便、 直观、 不受干扰、 保密性强等优点， 在军事领域和民用领域有着广泛的应用[1]. 如何对信号弹发射高度进行测量， 从而来指导产品的生产、 工艺改进以及安全使用， 是信号弹生产厂家和相关使用单位非常关心的问题[2]. 目前已知的几种国内外信号弹高度测量方法如测高仪测定法、 激光电测法、 传统交会法等都存在高度测量范围小、 精度低、 操作复杂等缺点[3]. 本文采用的基于双目立体视觉技术的信号弹高度测量方法， 主要是用两台CCD相机模仿人的双眼， 通过获取左右相机图像中目标的视差， 进而来计算出目标的三维信息[4].

1 数学模型

1.1 信号弹高度测量系统

图 1 信号弹高度测量系统Fig.1 Flare height measurement system

基于双目立体视觉技术的测量系统原理如图 1 所示， 其中包括采集信号弹飞行图像的两台相同的CCD相机、 控制两相机同时开始采集图像的同步控制电路、 将视频信号转化为数字信号的图像采集卡和处理图像、 进行三维重建的计算机. 当信号弹飞行到一定高度发生爆炸， 开始燃烧发光时， 同步控制电路利用声传感器提供触发信号， 保证两台CCD相机同时开始进行图像采集， 数字图像采集卡将左右相机图像保存并传输到计算机终端， 对采集到的左右相机图像进行立体校正， 将相机在数学上对准到同一个观察平面上， 使相机之间的像素行严格地互相对准； 对校正后的图像进行二值化预处理以去除图像中的噪声； 对图像进行立体匹配来获得信号弹在左右相机图像中的视差； 利用得到的视差值来计算图像中信号弹的深度信息， 即信号弹的高度值； 最后在计算机上自动显示出信号弹的飞行高度.

1.2 双目立体视觉技术数学模型

图 2 理想双目立体视觉技术数学模型Fig.2 Mathematical model of ideal binocular stereo vision technology

式中：f为相机焦距；T为基线；d为视差.

但在实际实验中， 两相机几乎不可能像图2中那样严格平行对准， 故需要通过数学方法计算出投影图和畸变图， 从而将左右图像校正为前向平行对准. 图 3 为实际中两相机的数学模型图， 设左摄像机的摄像机坐标系Ow-XwYwZw与世界坐标系O-xyz重合， 原点位于左摄像机的光心处， 图像坐标系为O1-XlYl， 焦距为fl； 右摄像机的摄像机坐标系为Or-XrYrZr， 图像坐标系为Or-XrYr， 焦距为fr.

坐标系O-xyz和坐标系Or-XrYrZr之间的相互位置可以通过空间转换矩阵M表示为

图 3 双目立体视觉技术数学模型Fig.3 Mathematical model of binocular stereo vision technology

2 关键技术

本文所提出的关键技术主要有： 相机标定[7]、 图像立体校正[8]、 图像预处理[9]与图像匹配[10].

2.1 相机标定

相机标定的目的就是确定相机位置、 属性参数和建立成像几何模型， 以便确定空间坐标系中目标点与它在图像平面上像点之间的对应关系. 本文针对靶场环境下信号弹测高实验， 采用具有操作简单、 灵活且高精度的张正友标定方法. 此方法只需要相机拍摄一个已知尺寸的棋盘格平面在3个以上不同方位的图像， 为保证标定精度， 一般采集10组以上不同方位的图像， 标定过程中， 相机和标定板可以自由移动， 操作十分简单. 张氏标定方法的基本步骤如下：

1) 制作1块国际象棋棋盘格图像的刚性平面标定板， 并测量每个方块的边长；

2) 从不同角度拍摄12对标定板图像；

3) 检测每幅图像中的特征点， 并确定特征点的图像坐标；

4) 利用线性模型计算出相机的内部参数和外部参数；

5) 利用畸变模型的系数对相机内外参数进行优化.

2.2 图像立体校正

当两个像平面是完全平行且行对准时， 计算立体视差最为简单. 但由于两台相机几乎不可能有准确的共面和行对准的成像平面， 故需要对两台相机的图像平面进行重投影， 使得它们精确地落在同一个平面上， 而且图像的行完全地对准到前向平行的结构上， 这就是立体校正. 根据标定结果， 采用Bouguet算法进行标定立体校正. 根据屏幕坐标和相机内外参数， 二维点可以重投影到三维中， 重投影矩阵为

2.3 图像预处理

在图像的拍摄过程中， 由于各种原因(主要是天气)造成图像中含有噪声， 甚至伪目标， 为了改善图像效果， 使图像中目标点位置更加清晰明确， 从而方便下一步特征提取和立体匹配， 对图像进行预处理来消除这些不利于图像清晰度的噪声因素. 本文针对实验图像噪声单一、 目标与背景灰度差距明显等特点， 采用二值化方法来对图像进行预处理， 取得了很好的预处理效果.

2.4 图像匹配

由于在整个实验过程中， 图像立体匹配在整个测量过程中耗时最多， 匹配质量对计算结果有直接的影响.

图 4 改进FSAT角点提取算法Fig.4 Improved FSAT corner extraction algorithm

首先， 为了保证匹配速度， 采用改进FAST角点提取算法来对目标点进行特征提取. 由于预处理后目标点灰度值与背景相差较大， 故改进后具体做法为：

1) 选择图片中的一个像素点I， 并设定阈值p；

2) 仅选取像素点I上下左右4个像素点Ii,i=1,2,3,4， 如图 4 所示， 计算Ii与中心点I的像素差的绝对值

3)统计符合di>p的像素个数n， 若n≥2， 则该像素点I就可判断为角点.

根据实际生活经验， 对于目标点为一光斑， 光斑的中心点应为发光体实际位置， 所以本文用光斑的所有角点的坐标平均值来表示信号弹的位置， 即对左右图像中目标点进行匹配.

3 实验结果

本文实验设备选择使用point gray相机公司的两台BFLY-U3-13S2M-CS高分辨率CCD工业相机， 该相机分辨率为1 288*964， 最大帧率为30 FPS， 传感器为SonyICX445, CCD, 1/3″； 镜头选用日本Computar公司生产的的超低畸变镜头FV0420， 该镜头焦距4 mm， 视场角为59.96°×75.14°.

拍摄过程中将两相机垂直水平面放置， 图 5 所示为信号弹飞行姿态第110帧左右相机拍摄得到的图像.

图 5 飞行图像Fig.5 Flight image

对图5左右图像分别进行立体校正， 结果如图 6 所示.

图 6 立体校正结果Fig.6 Stereo calibration results

对立体校正后的图像进行二值化处理， 消除图像中的噪声， 达到增强目标信息的目的， 结果如图 7 所示.

对二值化预处理后的结果进行基于特征的立体匹配， 结果如图 8 所示.

图 8 立体匹配结果(放大8倍)Fig.8 Stereo matching results(×8)

通过立体匹配和三维坐标计算， 得到目标点的高度结果如表 1 所示.

表 1 信号弹飞行高度测量结果

从表 1 可以看出， 本方法测量结果与人工测量结果误差在20 m以内， 且每发信号弹的整个飞行过程高度测量时间在1 min左右， 完全符合厂家测量要求.

选取序号1信号弹， 对其整个过程飞行过程每10帧取一组图像进行高度计算， 结果如表 2 和图 9 所示.

表 2 序号1信号弹全过程飞行高度计算结果

图 9 序号1信号弹飞行高度值变化过程Fig.9 The change process of flight height value of signal 1

观察图 9， 进一步验证了本方法可以真实可靠地测出信号弹整个飞行过程. 整个飞行过程中， 高度值存在一定幅度的波动是由于任一时刻信号弹发光状态不一致， 对匹配结果导致影响， 从而造成一定的误差.

4 结 论

本文提出了一种基于双目立体视觉技术的信号弹高度测量方法， 通过双目立体标定、 立体校正、 立体匹配技术来实现对信号弹高度的实时测量. 实验结果显示， 本方法的测量结果较为真实可靠， 可以准确快速地对信号弹飞行高度进行测量、 总结， 从而用于帮助厂家指导产品的生产、 工艺改进以及安全使用， 具有很强的现实意义.

[1] 马政， 王明泉， 李士林， 等. 基于声光特性的烟花爆炸高度测量方法[J]. 测控技术， 2011， 30(4)： 30-33.

Ma Zheng， Wang Mingquan， Li Shilin， et al. Research on method of explosion height measurement for fireworks based on characteristics of sound and light[J]. Measurement and Control Technology， 2011， 30(4)： 30-33. (in Chinese)

[2] Xue Yingjuan， Hao Lihua. Measurement method for cluster warhead’s Dispersion area based on binocular stereo vision technique[J]. Journal of Measurement Science and Instrumentation， 2016， 7(2)： 123-128.

[3] 李士林， 王明泉， 侯慧玲. 基于信号弹高度测量方法[J]. 电子测试， 2012(2)： 5-7.

Li Shilin， Wang Mingquan， Hou Huiling. Height measurement technology and system for The signal flare basedon the characteristics of sound and light[J]. Electronic Test， 2012(2)： 5-7. (in Chinese)

[4] 张磊磊， 雷树峰， 冯巧玲， 等. 信号弹高度测试技术[J]. 光电技术应用， 2011， 26(3)： 74-77.

Zhang Leilei， Lei Shufeng， Feng Qiaoling， et al. Height measurement of signal flare[J]. Electro-Optic Technology Application， 2011， 26(3)： 74-77. (in Chinese)

[5] Andrea F， Emanuele T， Alessandro V. A compact algorithm for rectification of stereo pairs[J]. Machine Vision and Applications， 2000， (12)： 16-22.

[6] 吴慎将. 烟花炸点高度测量方法研究[D]. 西安： 西安工业大学， 2006.

[7] 唐晓辉， 杨双， 邓莉. 双目立体视觉技术研究[J]. 军民两用技术与产品， 2016(6)： 33-34.

Tang Xiaohui， Yang Shuang， Deng Li. Research on binocular stereo vision technology[J]. Dual Use Technologies & Products， 2016(6)： 33-34. (in Chinese)

[8] 马肖， 舒博伦， 李景春. 双目立体视觉测距技术[J]. 电子设计工程， 2016(4)： 81-83.

Ma Xiao， Shu Bolun， Li Jingchun. Binocular stereo range-measuring technology[J]. Electronic Design Engineering， 2016(4)： 81- 83. (in Chinese)

[9] 孙瑞轩， 董浩， 肖磊， 等. 基于双目立体视觉技术的运动物体空间位置信息测量方法研究[J]. 河北工业科技， 2017(1)： 30-35.

Sun Ruixuan， Dong Hao， Xiao Lei， et al. Research on the method of measuring the spatial position information of moving objects based on binocular stereo vision[J]. Hebei Journal of Industrial Science and Technology， 2017(1)： 30-35. (in Chinese)

[10] 王德海， 洪伟， 程群哲. 基于双目立体视觉的目标识别与定位[J]. 吉林大学学报(信息科学版)， 2016， 34(2)： 289-295.

Wang Dehai， Hong Wei， Cheng Qunzhe. Object recognition and localization based on binocular stereo vision[J]. Journal of Jilin University (Information Science Edition)， 2016， 34(2)： 289-295. (in Chinese)

[11] Lee J， Lee E， Tark H， et al. Efficient height measurement method of surveillance camera image. [J]. Forensic Science International， 2007， 177(1)： 17-23.

MeasurementMethodfortheHeightofSignalFlareBasedonBinocularStereoVisionTechnique

LU Xiaodong, WANG Mingquan, HAO Lihua, DING Jie

(School of Information and Communication Engineering, North University of China, Taiyuan 030051, China)

In order to measure the height of signal flare, the paper proposes a measurement method of measuring the height of the signal flare based on binocular stereo vision technique. Firstly, we researched the calibration process of binocular stereo camera. Stereo correction and image preprocessing were used on the left and right camera images. Finally, we got the parallax of the target point in the left and right camera images based on the feature matching method. The height information of the signal flare which realize the fast and accurate measurement of the flying height are calculated. The results show that the method can accurately measure the flare flight altitude, and can meet the needs of the manufacturers. What's more, the method the advantages of simple operation, flexible use and low cost.

image processing; binocular stereo vision technique; height measurement; camera calibration; stereo matching

1671-7449(2017)06-0505-07

2017-01-22

国家自然基金资助项目(61171177)； 国家重大科学仪器设备开发专项资助项目(2013YQ240803)； 山西省中青年拔尖人才资助项目； 山西省研究生教育创新资助项目

路晓冬(1993-)， 男， 硕士生， 主要从事图像处理、 机器视觉等方面的研究.

TJ303.4

A

10.3969/j.issn.1671-7449.2017.06.007