某型飞机仪表符号提取与叠加方法

刘 楠，毕笃彦，熊 磊，李权合

(空军工程大学航空航天工程学院，陕西 西安 710038)

责任编辑:魏雨博

1 .总体算法介绍

飞行座舱内各种仪器仪表、平显动态显示画面提供了飞行过程中几乎所有的状态信息［1-2］，而仪表显示画面又是这其中最为重要的一个，它处于飞行员水平视线正中，将其与飞机外景画面叠加并进行地面回放可以实现直观、逼真地重现飞行全过程或任意指定时刻的飞行状态，对于提高平时飞行训练质量、事后分析能力和战时维修保障水平，以及对现代和未来战争具有重要和深远意义［3］。

目前常用的叠加方法分为3种:光路叠加、电信号叠加和视频叠加。本文属于视频叠加［4］，是根据仪表符号颜色均匀以及显示区域大致固定的特点，从仪表视频图像中提取出仪表符号再与外景视频进行软件叠加。叠加过程可以描述为:将指针一开始定位到仪表图像A开始叠加的位置，逐一扫描图像A的像素值，如果是背景色则跳过;如果不是则取出该像素值并替换飞机外景图像B中对应位置的像素值，当整幅图像A扫描完毕，叠加过程结束，最终实现合成图像。

区分仪表符号和背景最简单的是阈值法，这种方法简单易行，但是要求仪表符号的颜色均匀且具备一定的先验知识。然而在采集某型飞机仪表画面时，由于受到其硬件设备自身的限制，原始仪表图像中常含有多种干扰噪声与模糊边缘，如果直接通过设定颜色范围进行叠加往往会使合成图像中的仪表符号有较大失真，导致字符难于辨认。本文以现有算法和实验分析为基础，采用数字图像处理方法，首先从仪表视频图像中提取感兴趣区域并转化为灰度图像;然后根据其灰度直方图的特征提出基于最小交叉熵的局部阈值法分割出仪表符号;继而进行模板平滑处理，通过断笔连接和去毛刺获得失真较小的二值仪表符号;最后将其叠加在飞机外景视频图像上，完成视频的叠加。总体算法流程图如图1所示，整个算法的关键是获得清晰、边缘平滑的仪表符号。

2 仪表符号提取

图1 总体算法流程图

为了方便字符的提取，需要对图像进行阈值化分割［5］，即把图像灰度分成不同的等级，然后用设置灰度门限的方法确定有意义的区域或预分割的物体边界。目前对图像进行阈值分割的方法有很多，主要包括固定阈值法和局部阈值法。固定阈值法是指在二值分割中只使用一个阈值，其中Otsu法［6-8］就是一种公认经典的方法，尤其是当图像的灰度直方图为明显的单峰时有较好的分割效果，然而对于灰度直方图为双峰或模糊双峰时，易造成过分割或欠分割而不能稳定可靠地将目标提取出来。局部阈值法的阈值确定不仅取决于该像素的灰度值及其周围像素的灰度值，而且与像素位置信息有关。这一类方法对灰度变化敏感，二值化效果一般优于固定阈值法，但存在计算复杂度高的缺陷。本文考虑到所处理的仪表图像灰度直方图统计特性，提出了基于最小交叉熵的局部阈值分割方法。

2.1 粗分割

仪表图像的灰度直方图大体上呈现双峰特征，故首先利用双峰法［9-10］进行初步分割(阈值设为T1)。但是将灰度直方图放大后进行观察，发现灰度直方图实际存在3个区域:背景区域、目标区域和过渡区域，其中过渡区域内可能存在的“峰”已经淹没在背景区域的“峰”旁边的缓坡里。所以，这时只用单阈值T1则不能兼顾图像各处的情况，很难得到良好的分割效果。

本文针对仪表视频图像背景区域的像素具有相似的灰度值且像素数目远远多于目标区域和过渡区域像素数目的特点，可以通过估计灰度直方图的统计特性得到占有像素数目最多的灰度级T2，利用T1和T2就可以对原始图像f(x，y)进行处理得到粗分割图像，见式(1)。而针对过渡区域灰度分布复杂的特点，为了提高分割的精确性，采用随背景灰度值变化的自适应阈值分割算法［11］，即首先将图像分为若干个子图像块，然后对各个子块分别采用基于最小交叉熵准则计算局部阈值。

2.2 基于最小交叉熵的精细分割

最小交叉熵阈值分割的基本思想是用P和Q分别表征分割前后的图像，求最优阈值使原始图像和分割图像之间信息量的差异最小［12-13］。

二值化时，计算目标像素之间的交叉熵和背景像素间的交叉熵，并定义二者之和为原始图像和分割图像之间的交叉熵，即

2.3 仪表符号提取步骤

1)仪表图像预处理:仪表视频画面中的有用信息主要集中在画面的中间部分，其他大部分为黑色背景区域，为了减少图像处理时间，降低后续运算负担，只对实拍尺寸为640×480的仪表视频图像中间350×250的区域进行处理，并将RGB图像转换为灰度图像，如图2所示。

图2 提取感兴趣区域

2)对仪表图像采用双峰法计算出阈值T1，并统计其灰度直方图，得到最多像素数目所在灰度级T2。

3)由T1和T2利用式(1)将原始图像划分为3个区域。

4)将过渡区域g(x，y)分为n个大小为r×r的子图像块，分辨计算每个子块的最大灰度值g1和最小灰度值g2。如果T2＜＜T1，则认为该子块内背景和目标的差别较大，需采用最小交叉熵法进行精细分割。其他情况则认为该子块灰度均匀可是为一个整体，若＞T1，判断该子块属于目标区域;否则认为属于背景区域。

5)合并各个子集，分割结束。

该算法将简单的双峰法和最小交叉熵法结合起来，充分利用了仪表图像本身的灰度分布特点，虽然最小交叉熵法计算量较大，但是由于过渡区域占整个图像的比例很小，所以整个算法依然能够满足实时性，而且，最小交叉熵在图像分割中具有平滑作用，使改进的算法能够满足一定的抗噪需求。

3 平滑处理

经改进算法分割后的仪表字符及图形轮廓比较清晰，但是由于受仪表视频画面品质的限制，一些字符的边缘不可避免地出现突起或毛刺，甚至还存在断笔现象，如“B”、“2”等。因此，为了在最后叠加视频中尽可能取得良好的效果，消去这些不良因素给后续工作带来的困难，必须对仪表符号进行修复和去毛刺处理。平滑处理首先要修复字符，连接断裂笔画，从左到右、从上到下依次扫描图像的每个像素点，当检测到目标像素p为“0”时，以此像素点为中心取8-邻域，如果以其为中心的8-邻域与图3a～3d所示4种模板任一个相同，则将p改为“0”;否则，保持不变，继续扫描直至结束。

去除毛刺的主要措施与修复字符的方法类似，只是这里需要检测的目标像素p为“1”时再进行8-邻域判断，3种判断模板如图3e～3h所示，当与4种模板任一个匹配时，则认为该目标像素p为“毛刺点”，并将p改为“0”;否则，保持不变，继续扫描直至结束。

图3 p点的8-邻域模板

4 视频叠加

在获得了失真较小的二值仪表字符和图形之后，即可进行视频叠加。叠加实质上就是将指定位置的图像像素值替换为字符图像的像素值。本文采用DirectShow技术设计的视频叠加过滤器连接图如图4所示，其中My Video Keyer是实现本文叠加功能的滤波器。

图4 视频叠加过滤器连接图

在实际叠加时，首先在内存中建立一个二值位图，在这个二值位图上保存提取的仪表符号。然后将飞机外景视频图像帧指定位置的像素与仪表字符点阵的像素位对应，如果仪表字符点阵的像素位值为0，则保持飞机外景主视频帧对应的像素值不变;如果为1，则将主视频帧对应的像素值替换为用户设置的字符颜色值(本文设为R:0，G:255，B:0)。这样既能保持字符的清晰平滑，又可保证实现实时叠加。

叠加算法基于Visual C++6.0编写，核心代码如下:

5 实验结果与分析

实验采用实拍仪表视频以及飞机外景画面视频，视频分辨力均为640×480，实验条件为:P42.40 GHz处理器和2 Gbyte内存。

实验采用2组图片进行，通过对比经典Otsu算法来验证本文算法的有效性，结果如图5所示。图中，第1行为两幅原始仪表视频图像截图;第2行为经典Otsu法的分割结果，可以看到在字符的边缘有背景区域被划分到目标中，造成字符难于辨认，尤其是“2”、“5”等;第3行为本文算法的分割结果，可以看到字符已经可以较为清晰地检测出来，只是在字符边缘还存在毛刺;第4行为平滑处理之后的结果，可见仪表符号边缘减少了许多毛刺，字符更易识别。经对比可以看出，本文提出的方法能够更好地保持仪表字符与图形的信息。

图5 提取实验结果对比

接下来进行定量分析，采用峰值信噪比(PSNR)［14］来评价原始图像和分割后图像之间的差别，其值越大，说明图像的质量越高。峰值信噪比的公式为

式中:M ×N为图像大小;W(i，j)，W'(i，j)表示分割后的图像位置(i，j)处的灰度值，具体如表1所示。从表中的数据也可以看出，本文算法峰值信噪比更高，分割质量更好。

表1 图像质量评价对比

图6为仪表视频与飞机外景视频叠加后不同帧时的效果(为了便于观察，将仪表符号放大两倍后叠加)，可以看出，经本文算法处理之后的叠加视频字符清晰，视觉效果良好。

图6 叠加实验结果

6 结论

本文在分析某型飞机仪表矢量符号视频特点的基础上，提出了一种仪表符号提取与叠加实现算法，采用结合最小交叉熵的算法进行分割，并使用模板匹配法对提取出的仪表字符与图形进行平滑处理。实验结果表明，本文算法可以较好地提取仪表符号并最终获得边缘平滑、易于辨认的仪表字符，提高了叠加视频的视觉质量，并为进一步的智能仪表字符识别与脱靶量计算打下了基础。

［1］朱攀蓉，姜红梅，翟正军.机载多路音视频记录系统的设计与实现［J］. 计算机工程与设计，2006，27(3):393-395，432.

［2］何明耘，张素，戴冠中，等.虚拟座舱中平显功能实现算法研究［J］.小型微型计算机系统，2001，22(5):596-600.

［3］程伟，左继章，许悦雷，等.一种机载数字记录系统的研制［J］.计算机工程与应用，2004，40(8):226-228.

［4］陆其明.DirectShow实务精选［M］.北京:科学出版社，2003.

［5］章毓晋.图像分割［M］.北京:清华大学出版社，2003.

［6］OTSU N.A threshold selection method from gray level histogram［J］.IEEE Trans.SMC，1979，15(9):62-66.

［7］肖超云，朱伟兴.基于Otsu准则及图像熵的阈值分割算法［J］.计算机工程，2007，33(14):188-189.

［8］王泽兵，杨朝晖.彩色图像分割技术研究［J］.电视技术，2005，29(4):21-24.

［9］冈萨雷斯.数字图像处理［M］.北京:电子工业出版社，2007.

［10］沈世，盛翊智.基于边缘检测的车牌图像分割技术［J］.自动化技术与应用，2004，23(3):24-26.

［11］尹传历，刘冬梅，宋健中，等.基于视频图像的数字仪表读数自动识别［J］. 微计算机信息，2008，24(28):219-221.

［12］LI C H，TAM P K S.An iterative algorithm for minimum cross entropy thresholding［J］.Pattern Recognition Letters，1998，19(8):771-776.

［13］薛景浩，章毓晋，林行刚.图像分割中的交叉熵和模糊散度算法［J］.电子学报，1999，27(10):131-134.

［14］胡锦美，李佐勇.基于改进的数学形态学医学影像分割算法［J］.计算机仿真，2011，28(5):299-302.