基于帧亮度补偿和融合的校园夜间视频增强算法

李翔

(北京农业职业学院,北京 102208)

基于帧亮度补偿和融合的校园夜间视频增强算法

李翔

(北京农业职业学院,北京 102208)

本文研究了夜间校园视频的增强算法,采用帧亮度的补偿和融合算法。具体作法如下:(1)利用不同时间段白天帧与当前夜间帧背景亮度的比例,采取亮度参数调整的补偿方式对当前夜间视频背景进行补偿;(2)提出一种基于运动物体移动区域融合和差分的算法,对视频中的运动物体进行增强。本文基于亮度融合补偿的算法,较原始校园夜间视频,亮度、对比度和熵都得到了增强。

视频增强 亮度融合补偿 校园夜间视频

1 引言

校园夜间视频监控可以预防、控制和减少校园意外事故发生,校园夜间视频的增强技术变得越来越重要。目前校园夜间视频增强的问题还需要解决[1]:视频帧融合过程中的夜间背景和亮度估计问题、增强后夜间视频图像的颜色漂移问题等。传统的算法是融合白天的亮度信息增强视频帧,Yamasaki等[2]提出“Denighting”对夜间视频帧采用白天的亮度信息融合到夜间视频帧里,存在的问题是增强后的结果中静态亮度信息丢失。文献[3]的算法把运动物体区域和背景区域进行分开处理,增强的结果能很好解决文献[2]的问题,但是不能对运动物体本身增强,因此不能突出运动物体本身。

本文对校园的夜间视频的增强从提高对比度和亮度信息,同时不损失运动物体的细节信息着手。考虑到校园摄像头是固定的,对每一个摄像头,夜间所采集的视频和白天所采集的视频的背景是完全一样的,因此本文用白天的视频实现亮度补偿。对于校园夜间视频的运动物体,当背景进行亮度增强后,容易产生颜色失调和不合理的情况,为了增强运动物体的清晰度和协调性,本文提出一种基于运动物体区域内亮度比例平均的算法,对于运动物体的边界协调使用了高斯低通滤波器来平滑处理。

2 视频增强算法

2.1 夜间视频背景增强

提取夜间视频的亮度是困难的,特别是当夜间视频具有低对比度和噪声时。在算法里使用Lab颜色空间提取亮度。 首先将输入夜间视频帧的RGB颜色空间转换到Lab颜色空间,得到Lab空间的灰度图和颜色。然后夜间视频每帧的灰度图像使用Retinex理论分解为亮度图像和反射图像。同样将同一摄像头的白天视频也转换到Lab颜色空间,将白天的每帧同样使用Retinex理论分解为亮度图像和反射图像。然后,通过白天背景的亮度图像补偿到夜间亮度图像,最后增强的视频图像通过增强夜间亮度,夜间的反色度及夜间的颜色重构。

为了更好增强视频的视觉质量,本文中得亮度补偿的算法满足下面的条件:(1)对于白天亮度大于夜间亮度的区域,使用白天的亮度信息补偿到夜间的亮度;(2)对于夜间视频帧的亮度大于相应的白天亮度的区域(主要是灯光区域),这个区域采取较少的增强亮度。

2.2 夜间视频中得运动物体增强

对于校园的夜间视频,人体和车辆往往在黑暗中运动,黑暗中运动物体提取不容易。本文先对夜间视频进行传统视频增强处理,以便提取运动物体,然后使用高斯混合模型提取运动物体区域。运动物体的提取有很多算法,本文使用的运动物体提取算法主要分为三个基本步骤:(1)提取运动物体区域;(2)将提取的运动物体区域转化为二进制图像;(3)最后使用数学形态学方法对二值图像进行腐蚀、膨胀、种子填充等后续处理,最终获得运动物体区域的二值图像。

运动物体区域的白天背景亮度与夜间背景亮度的比率应该是一致,同时运动物体的区域也应该得到相应的增强,为了阻止运动物体区域的不一致的比率问题导致的混淆模式,我们对运动物体区域采用比率平均的算法。Ra(x,y)表示运动物体区域的比率平均,最后亮度补偿的图像FL(x,y)通过如下方式进行:

这里使用了差分图像法,方法分为三个部分即背景评估、背景更新、帧差。常用的背景估计模型有图像平均模型、选择性背景更新模型、高斯分布模型等。

3 实验结果及分析

本文提出利用白天背景亮度来补偿夜间视频帧的算法,通过不

表1 视频帧均值、标准差及熵的评估结果

同的夜间监控视频对本文算法进行验证。本文算法增强结果具有很好的亮度及视觉效果,为了更好的表明本算法的效果,也比较其它算法,图1显示比较的实验结果,比较的算法包括文献[4]算法以及本文算法。使用文献[4]的基于转换系数的融合方法,增强的结果通过Contourlet逆置变换得到,明显增强的亮度信息不够亮。

为了更好评估本文算法,在本节使用了几个客观的视频帧评价方式,主要包括:均值,标准差及熵进行评估等。表1给出不同视频帧增强算法及本文算法的视频帧亮度,对比度及信息量的结果。根据表1的对比数据,可以观察到:①本文算法的像素均值是最大,表示增强后的亮度得到较大提升;②在对比度方面,由于本文算法嵌入了亮度信息,增加了灰度的动态范围,与传统的增强算法相比较,弥补了传统增强过程中易过度增强亮度的缺陷。③在信息熵评估方面,原始视频帧的值最小,细节信息含量也最少,本文基于亮度补偿的算法嵌入了亮度信息,增强的视频帧信息熵值较大,优于传统的增强算法。

4 结语

本文研究了校园夜间视频的增强算法,采用帧亮度的补偿和融合算法。具体作法如下: (1)针对某夜间视频帧的背景,利用不同时间段的白天帧与当前夜间帧的背景亮度的比例,采取亮度参数调整的补偿方式对当前夜间视频进行补偿;(2)针对该夜间视频帧里的运动物体,提出一种基于运动物体移动区域融合和差分的算法,在运动物体的边界部分采用融合和平滑的方式进行,非边界的部分采用和背景差分的方式,使得增强后运动物体边界更协调,非边界的部分更加清晰。本文基于亮度融合补偿的算法,较原始校园夜间视频,在对比度和熵方面都有所提高,很好的提高了清晰度并保证了视频的信息量。

[1]Y.B Rao,L.T Chen.A survey of video enhancement techniques, International Journal on Electrical Engineering and Informatics (IJEEI),2012,3(1):71-99.

[2]A.Yamasaki,H.Takauji,S.Kaneko,et al.Denighting:enhancement of nighttime image for a surveillance camera,In Proceedings of the SPIE,the International Society for Optical Engineering,San Diego,CA,USA,2008,pp.1-4.

[3]Y.B Rao,W.Lin,L.T Chen.Image-based fusion for video enhancement of nighttime surveillance,Optical Engineering,2010, 49(12)10th International Conference on Electronic Measurement & Instruments (ICEMI),2011,3:337-340.

[4]T.Stathaki.Image fusion:algorithms and applications, Academic Press,2008.

[5]A.Ilie,R.Raskar,J.Yu.Gradient domain context enhancement for fixed cameras,International Journal of Pattern Recognition and Artificial Intelligence,2005,19(4):533-549.

北京农业职业学院科研项目《基于视频监控和智能分析的校园进出管理系统的研究与开发》,项目编号:XY-YF-13-44。

李翔(1980—),女,讲师,硕士学位,研究方向:计算机应用。