光照快速变化条件下的运动目标检测

张金敏，王 斌( 兰州交通大学 机电工程学院，兰州 730070 )



光照快速变化条件下的运动目标检测

张金敏，王 斌
( 兰州交通大学 机电工程学院，兰州 730070 )

摘要：为了解决视频监控系统中光照快速变化对运动目标检测产生的影响，提出一种新的运动目标检测方法。通过建立光照变化模型、色度差模型和亮度比模型来消除光照快速变化产生的影响。当光照快速变化的时候，背景像素和运动目标像素会被检测为前景像素。为了从检测到的前景像素中分离出运动目标像素和伪前景像素，分别建立色度差模型和亮度比模型来估计伪前景像素的亮度差和亮度比。色度差模型和亮度比模型的建立均依赖于光照变化模型。实验结果表明，本文的方法在光照快速变化的条件下具有较好的检测效果和检测实时性。

关键词：运动目标检测；光照变化模型；色度差模型；亮度比模型；前景像素

0 引 言

近年来，视频监控系统的应用不断增加，并且越来越智能化，可实现对运动目标的自动检测、跟踪与识别。背景分离法就是运动目标检测中的一个经典方法，比如基于混合高斯模型的检测方法[1]。背景分离法可从混乱和变化时间较长的场景中检测出运动目标。但是在一些动态场景中，比如，周期性的运动、荡漾的水面以及摇曳的植被等，变化的背景也会被检测为运动目标。为了解决动态场景产生的问题，学者对原始混合高斯模型进行了改进，得到了新的背景建模法[2-3]。这种方法可以消除动态场景中的伪前景像素，但是无法消除光照变化引起的伪前景像素。

在不存在光照变化的条件下，通过背景分离法可将运动目标像素检测为前景像素。然而，当存在光照变化时，受到光照变化影响的固定背景像素和运动目标像素都会被检测为前景像素。

为了解决光照变化问题，文献[4]提出调整混合高斯模型的学习率，但是，当图像中的运动目标暂时停止运动时，增加学习率会导致将运动目标识别为背景。文献[5]采用基于颜色不变特性的运动目标检测方法，但是，当运动目标与背景具有相近的色度时，该方法无法检测出运动目标。文献[6]提出基于亮度归一化和同态滤波的检测方法，但是，当场景中部分光照发生变化时，该方法无法满足检测的要求；此外，该方法也没有考虑摄像机的自曝光问题。文献[7]采用在光照变化时基本不发生变化的图像边缘和纹理特征进行运动目标的检测；但是，当背景比较简单且图像中存在大量的噪声时，该方法得不到较好的检测效果。文献[8]采用改进的自适应混合高斯模型进行运动目标检测中将前景像素与背景像素的分离，该方法具有很好的检测效率，但是对光照的变化比较敏感。文献[9]采用基于图像纹理和边缘的LBP方法进行运动目标检测，能够很好的解决光照快速变亮产生的伪前景问题，但其往往会将运动目标附近复杂的背景误检为运动前景。文献[10]采用基于光照和空间似然模型的方法进行运动目标检测，虽然有很好的检测实时性，但是检测精度无法满足实际需要。

本文采用一个新的方法来解决光照快速变化对运动目标检测产生的影响。光照的变化会将固定的背景像素检测为伪前景像素，因此，为了准确的检测出运动目标，需要将前景像素分离为运动目标像素和伪前景像素两部分。本文采用色度差模型和亮度比模型来区别运动目标像素和伪前景像素，色度差模型和亮度比模型均考虑到了光照变化和摄像机的自曝光问题。色度差模型和亮度比模型无需事先对光照变化进行离线训练，并且在摄像机进行自曝光以及部分场景发生光照变化时，均能得到较好的检测效果。

1 光照变化模型

建立的光照变化模型如图1所示。

在光照变化模型中存在两种光照。一种是来自于太阳光的单一可见光源；另一种是来自于外界光照的扩散光源。场景中的每一个点具有相同的外界光照。由于太阳光的光线是相互平行的，因此，亮物体与亮背景的每一个像素具有相同的太阳光照。当太阳光穿过云层照射时，其会发生衰减。在光照变化模型中，假设云层产生的光照衰减不会影响太阳光方向，只对光照强度产生影响。

图1 光照变化模型Fig.1 Illumination change model

光照变化模型是以冯氏阴影模型为基础[8]。假设目标表面的单面反射性很弱或者不存在。由于背景和运动目标具有朗伯表面，因此可使用双向反射分布函数。基于以上的假设，场景中点X处的反射光Lo(X )：

其中：ρ(X)是反射系数，l(X)是从点X到每一个光源的方向向量，n(X)是点X处的法向量，Li(X)是i时刻的入射光，N是光源的数量。由于光照包括两部分(太阳光照和环境光照)，那么可得到：

其中：La是环境光照，Ls是太阳光照。

定义每一个图像的亮度为KI，其中K代表R、G、B。类似地，Lo,ρ(X ),La和Ls的每一个RGB组成部分可分别表示为,ρK(X ),和。定义RGB光照的摄像机传感器灵敏度为KO。场景中的点X可映射为图像平面上的像素p(x, y)。那么可定义p(x, y)的亮度为(x, y)，且(x, y)可表示为

在光照变化模型中，亮物体和亮背景均包括太阳光照和环境光照。因此，亮物体和亮背景的亮度和可分别表示为

由于太阳光被不透明物体遮挡，暗物体、阴影以及暗背景只有环境光照，暗物体的亮度、阴影的亮度以及暗背景的亮度分别用、和表示。

在白天，户外的太阳光或者环境光照变化比较缓慢，因此，当太阳被云层遮挡时就会产生光照的快速变化。在这种情况下，亮度的衰减量会从α变化为αˆ。如果光照快速变化，那么整个图像的平均亮度也会发生变化；这个时候，摄像机的自动曝光就会发挥作用。在本文中，将曝光的改变定义为摄像机灵敏度的改变，且从O到ˆ。

定义亮物体、暗物体、阴影、亮背景以及暗背景受到光照变化后的亮度分别为，以及，且有：

用于视频监控的摄像机一般安装在道路、十字交叉路、广场以及停车场等地方。在这样的环境下，背景是平坦的，或者说背景是由一些具有相同表面法向量的平面组成的。因此，背景上的每一个点具有相同的表面法向量n(X)。l(X)表示太阳光的方向，且场景中每一个地方的太阳光照方向相同。因此，背景中每一个点的表面法向量和太阳光方向的乘积n(X) . l( X )具有相同的定值c。那么，式(1)、式(2)可重写为

图2和　Ibb(x, y)Fig.2and Ibb(x,y)

图3和Idb(x,y)Fig.3and Idb(x,y)

然而，如果p(x, y)为亮物体或者暗物体像素，其亮度将依赖于反射系数或者表面法向量。因此，亮物体和暗物体的亮度比：

此外，当场景中出现大量的运动目标时，其会影响到整个图像的平均亮度。在这种情况下，摄像机的自曝光将发挥作用。如果是由运动目标而不是光照的变化引起摄像机的自曝光，即：。那么，可得到：

2 伪前景像素估计

2.1 整体方案

在运动目标的检测过程中，如果不存在光照的变化，运动目标会被检测为前景像素。然而，实际环境中往往受到光照变化的影响，这时伪前景像素和运动目标像素均会被检测为前景像素。为了区分实际的运动目标像素和伪前景像素，建立色度差模型和亮度比模型，如图4所示。

图4 光照变化下的检测方法Fig.4 Detection method under illumination variation

色度差模型对伪前景像素进行估计，并且通过混合高斯模型分离出运动目标像素和可能的伪前景像素。然而，分离出来的伪前景像素仍然可能存在运动目标像素，此时其色度差为零。在这种情况下，采用亮度比模型可将运动目标像素准确的检测出来。最终，通过色度差模型和亮度比模型的串联消除伪前景像素，实现运动目标在光照变化条件下的准确检测。

2.2 色度差模型

在进行运动目标的检测过程中，如果光照发生变化，伪前景像素和运动目标像素都会被检测为前景像素。为了消除前景像素p(x, y)中的伪前景像素，建立色度差模型(Chromaticity Difference Model，CDM)。

定义p(x, y)的色度差为C(x, y)，且C(x, y)的RGB分量为

其中：I(x, y)是输入图像像素的亮度，Ib(x, y)是背景像素的亮度。在本文中，定义每一个背景像素的亮度为混合高斯模型最高加权层的平均值。此外，阴影、亮背景以及暗背景的色度差分别用和表示。

由于亮物体和暗物体像素的亮度比依赖于反射系数和表面法向量，色度差是随机分布的。因此，如果为零，像素p(x, y)为伪前景像素，如果不为零，像素p(x, y)为运动目标像素。

在实际户外环境中，太阳光和环境光照并不总是白色的，这时图像中就会存在噪声。在这种情况下，以及不完全如图2和图3所示，可能不在同一条线上，但也不会偏离太远。因此，阴影、亮背景和暗背景的值近似为零。

首先，对阴影、亮背景和暗背景色度差的可能分布进行估计；接着，使用估计出的分布对每一个前景像素进行运动目标像素和伪前景像素的分离。采用最大似然估计实现分布的估计，且定义伪前景像素色度差的可能分布为

对于每一个前景像素，定义一个像素p(x, y)为可能的伪前景像素或者运动目标像素，即：如果为伪前景像素，否则，p(x, y)为运动目标像素。在本文中，T取0.054 8，其可C靠性可达到95%。输入图像以及运动目标图像如图5所示。

图5 CDM运动目标检测结果Fig.5 CDM moving object detection results

从图5(b)中可以看出，当色度差模型进行运动目标检测时，其在检测出真正运动目标的同时，还将大量的背景像素检测为伪前景，这是由光照变化引起的。此外，对图像的前景像素进行直方图统计，有很多运动目标像素的CK0≈，运动目标像素和伪前景像素接近于0。在这种情况下，可能的伪前景像素中就会存在色度差接近于零的运动目标像素，即零色度差运动目标像素。

2.3 亮度比模型

通过色度差模型可将前景像素分离为运动目标像素和可能的伪前景像素(Candidate False Foreground Pixel，CFFP)；但是，CFFP中仍然存在零色度差的运动目标像素。因此，建立亮度比模型(Brightness Ratio Model，BRM)来区分伪前景像素和零色度差的运动目标像素，且所有的阴影像素、亮背景像素和暗背景像素分别具有相同的亮度比。定义p(x, y)的亮度比为B(x, y)，且B(x, y)的RGB分量为

其中：I(x, y)是输入图像的亮度，Ib(x, y)是背景亮度。阴影、亮背景和暗背景像素的亮度比分别用、和表示。

然而，由于亮物体和暗物体像素的亮度比依赖于反射系数和面法向量，其亮度比分布是任意的。因此，可对BK(x, y)进行判断，如果BK(x, y)是一个特定的常量，那么p(x, y)为伪前景像素，否则是运动目标像素。

首先，对阴影、亮背景和暗背景亮度比的可能分布进行估计；接着，对伪前景像素和零色度差的运动目标像素进行分离。在亮度比模型中，由于阴影、亮背景和暗背景最多有三个高斯分布，所以可以采用一个具有三个高斯模态的混合高斯模型对其分布进行估计。为了找出上述的三个高斯模态，采用最大期望算法。定义数据集为X，X的第nth个参数为xn；参数向量集为θ，θ的第ith个参数为iθ。

在本文中，对θ的初始值作如下设定：所有的iα相等，所有的iσ具有相同的随机最大值。

结合估计的θ值，定义伪前景像素亮度比的概率密度如下所示：

对于可能的伪前景像素中的每一个像素，通过下面的方法判断其是伪前景像素或者运动目标像素：如果就为伪前景像素，否则就是运动目标像素。在本文中，T取0.058 4，且具有B95%的可靠性。

输入图像、CDM检测结果、伪前景图像以及BRM检测结果如图6所示。

在图6中，图6(c)中红色部分表示的是采用BRM方法提取出的伪前景像素，白色部分表示的是真正的运动目标。

图6 BRM运动目标检测结果Fig.6 BRM moving object detection results

3 实验结果与分析

为了验证本文算法的有效性，在室内拍摄相关视频作为实验样本，通过控制灯光的强弱来实现光照的快速变亮以及变暗；同时，为了突出光照快速变化带来的影响，选择的运动背景也较为复杂。此外，本文实验的硬件环境为Intel CoreTMi3 CPU(2.40 GHz)，DDR 4.0 GB内存，NVIDA GeForce GT610M显卡，采集的视频序列大小为320×240。

为了说明本文方法在光照快速变化条件下进行运动目标检测的优越性，采用自适应高斯混合模型法[8]、基于图像纹理和边缘的LBP方法[9]以及基于光照和空间似然模型的方法[10]与本文方法进行运动目标检测效果的对比。

在光照快速变亮条件下，采用上述四种方法进行运动目标检测的结果如图7所示。

图7 光照快速变亮条件下运动目标检测结果Fig.7 Moving object detection results under the condition of illumination fast lighting

在图7中，图7(a)表示的是光照正常条件下采集的图像，而图7(b)表示的是人物在运动过程中光照大幅度变亮之后采集的图像，从图7(a)到图7(b)反应了光照的快速变亮。图7(c)为采用自适应高斯混合模型法进行运动目标检测的结果，从图中可以看出，自适应混合高斯模型能够检测出运动目标，但是该方法无法消除由于光照快速变亮产生的背景反光对运动目标检测的影响，特别是在光照强度急剧变亮的部分，从而导致了大量伪前景的出现，无法满足运动目标检测的准确性要求。图7(d)为采用LBP方法进行运动目标检测的结果，该方法对光照的快速变化表现出了很好的抑制作用，能够很好的解决光照快速变亮产生的伪前景问题，但其往往会将运动目标附近复杂的背景误检为运动前景。图7(e)为采用文献[10]方法进行运动目标检测的结果，该方法一方面解决了光照快速变化引起的伪前景问题，另一方面也实现了运动目标检测过程中的阴影剔除，但其检测出的运动目标不是很完全。图7(f)采用本文方法得到的运动目标检测结果，该方法不仅对光照快速变化有很好的抗性，而且能够比较完整的检测出运动目标。通过对上述四种检测方法检测结果的分析可以看出，本文所采用的方法在运动目标检测的过程中表现出了非常好的检测效果，具有很高的检测准确性，同时也说明在建立色度差和亮度比模型时进行的高斯分布假设能够满足实际光照快速变亮情况下运动目标检测的需求，且确立的参数和选择的门限值是合理的，具有很好的适应性。

在光照快速变暗的情况下，采用不同检测方法进行运动目标检测的结果如图8所示。

在图8中，图8(a)和图8(b)反应了光照快速变暗的过程。从图8(c)中可以看出，自适应混合高斯模型法进行运动目标检测时对光照的快速变化是非常敏感的，导致了误检，出现了大量的伪前景。图8(d)为采用LBP法进行运动目标检测的结果，虽然能够检测到运动目标，但是不能剔除运动目标周围的复杂背景。图8(e)表示的采用文献[10]所述方法进行运动目标检测的结果，能够很好的检测出运动目标，但检测出的运动目标有明显的缺失，精确性不是很高。图8(f)是采用本文方法进行运动目标检测的结果，从图中可以看出，该方法一方面对光照的快速变化有很好的抑制作用，另一方面起到光照补偿的作用，从而能够检测出更加细节的部分，使得检测出的运动目标比较完整。通过对四种运动目标检测方法的检测结果进行分析，本文采用的方法在光照快速变暗的条件下具有最好的检测性能，同时也说明在建立色度差和亮度比模型时进行的高斯分布假设能够满足实际光照快速变暗情况下运动目标检测的需求，且确立的参数和选择的门限值是合理的，具有很好的适应性。

图8 光照快速变暗条件下运动目标检测结果Fig.8 Moving object detection results under the condition of illumination fast darking

在实际的智能视频监控系统中，不仅要考虑运动目标检测准确性问题，还需要重点关注检测的实时性问题。为了说明本文所采用运动目标检测方法的实时性，在实验的过程中对上述四种检测方法检测一帧图像所需要的时间进行统计，在光照快速变亮和快速变暗两种情况下的统计结果如表1所示。

表1 运动目标检测耗时比较Table 1 Comparing of moving object detection time-consuming s

从表1中可以看出，文献[9]所采用的方法在进行运动目标检测时检测一帧图像所消耗的时间最长，实时性是最差的；文献[8]和文献[10]所采用的运动目标检测方法检测一帧图像的耗时虽然比文献[9]的方法少很多，但结合其检测的准确性，仍然无法满足智能视频监控系统的要求；通过对比发现，本文所采用方法进行运动目标检测时检测一帧图像的耗时是最少的，无论是光照快速变亮，还是光照快速变暗，检测时间都控制在100 ms以内，完全能够满足智能视频监控系统的实时性要求。这就说明本文所采用的运动目标检测方法同时具有较好的检测准确性和检测实时性。

为了定量的对本文所采用的检测算法进行性能上的评价，在光照快速变亮和光照快速变暗的条件下，选取采集到的视频序列中具有运动目标的某一帧作为研究对象，并采用文献[8-10]的算法和本文算法对其进行运动目标的检测。在本文中，定义运动目标检测率为η，背景检测率为ξ，则有：

其中：Oo为运动目标像素数，Bb为背景像素数，Bo为将运动目标误检为背景的像素数，Ob为将背景误检为运动目标的像素数。

对上述的Oo、Bb、Bo和Ob进行统计并计算η和ξ的值，其结果如表2所示。从表2可以看出，无论是η还是ξ，本文算法比文献[8-10]采用的算法均具有较好的检测效果。本文所采用的算法也可使η和ξ的值保持在90%以上。这就充分说明了本文算法在运动目标检测中对光照的快速变化具有很好的抑制性，从而也验证了本文算法的有效性和鲁棒性。

表2 光照快速变亮和光照快速变暗情况下运动目标检测性能比较Table 2 Comparing of moving object detection performance under illumination fast lighting and illumination fast darking

4 结 论

为了解决智能视频监控系统中光照快速变化对运动目标检测结果的影响，本文首先建立了光照变化的模型，然后采用CDM和BRM方法将运动目标检测结果中的伪前景像素提取出来，最后在光照快速变亮和快速变暗两种情况下进行了实验验证，从而实现了光照快速变化条件下运动目标的准确检测。本文采用的运动目标检测方法并不需要对相关参数进行手动设置，也不需要进行离线训练，其在运动目标检测的过程中表现出了非常好的检测性能，完全能够满足智能视频监控系统对运动目标检测的准确性和实时性要求。此外，在运动目标的检测过程中，本文并没有考虑阴影检测的问题，这将是下一步的研究工作。

参考文献：

[1] 邱联奎，刘启亮，赵予龙，等. 混合高斯背景模型目标检测的一种改进算法 [J]. 计算机仿真，2014，31(5)：378-384，392.

QIU Liankui，LIU Qiliang，ZHAO Yulong，et al. Improved Algorithm of Mixture Gaussian Background Model for Object Detection [J]. Computer Simulation，2014，31(5)：378-384，392.

[2] Dalley G，Migdal J，Eric W. Background Subtraction for Temporally Rrregular Dynamic Textures [C]// IEEE Workshop on Applications of Computer Vision，Jan 7-9，2008：1-7.

[3] 闫钧华，褚林臻，艾淑芳，等. 地面剧烈旋转运动背景中运动目标检测 [J]. 仪器仪表学报，2014，35(9)：2078-2086.

YAN Junhua，CHU Linzhen，AI Shufang，et al. Moving object detection in violently rotational ground background [J]. Chinese Journal of Scientific Instrument，2014，35(9)：2078-2086.

[4] 李敏，刘珂，罗惠琼，等. 基于混合高斯模型的异常检测算法改进 [J]. 计算机应用与软件，2014，2(6)：198-200.

LI Min，LIU Ke，LUO Huiqiong，et al. Anomaly detection algorithm improvement based on gaussian mixture model [J]. Computer Applications and Software，2014，2(6)：198-200.

[5] 魏国剑，侯志强，李武，等. 融合颜色不变量的彩色图像光流估计算法 [J]. 电子与信息学报，2013，35(12)：2927-2933.

WEI Guojian，HOU Zhiqiang，LI Wu，et al. Color Image Optical Flow Estimation Algorithm Fused with Color Invariants [J]. Journal of Electronics & Information Technology，2013，35(12)：2927-2933.

[6] 李志明，张琦，武霞. 一种适应光线变化的运动手势检测与跟踪方法 [J]. 电子科技，2014，27(4)：154-158.

LI Zhiming，ZHANG Qi，WU Xia. An Algorithm of Good Illumination Robustness for Detecting and Tracking Moving Gestures [J]. Electronic Science and Technology，2014，27(4)：154-158.

[7] WEI Zhong，JIANG Shuqiang，HUANG Qingming. A Pixel-Wise Local Information-Based Background Subtraction Approach [C]// IEEE International Conference Multimedia and Expo，Hannover，June 23- 26，2008：1501-1504.

[8] CHEN Guanghua，SHENG Guizhi. Detection of Moving Objects Based on Mixture Gaussian Model [J]. Advanced Materials Research(S1662-8985)，2014，1039(1)：274-279.

[9] YANG Jianwei，WANG Shizheng，LEI Zhen，et al. Spatio-Temporal LBP based Moving Object Segmentation in Compressed Domain [C]// 9th IEEE International Conference on Advanced Video and Signal-Based Surveillance，Beijing，China，Sept 18-21，2012：252-257.

[10] Pilet J，Strecha C，Fua P. Making Background Subtraction Robust to Sudden Illumination Changes [C]// Proceedings of the 10th European Conference on Computer Vision，Marseille，Oct 12-18，2008：567-580.

Moving Object Detection under Condition of Fast Illumination Change

ZHANG Jinmin，WANG Bin
( School of Mechatronic Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China )

Abstract：In order to solve the impact of fast illumination change on moving object detection in a visual surveillance system, a new method of moving target detection is put forward. Through establishing illumination change model, the chromaticity difference model and brightness ratio model are used to eliminate the impact of fast illumination change. When fast illumination is changing fast, background pixels and moving object pixels are detected as foreground pixels. To separate moving object pixels and false foreground pixels from detected foreground pixels, chromaticity difference model and brightness ratio model are developed respectively to estimate the intensity difference and intensity ratio of false foreground pixels. The establishment of Chromaticity Difference Model (CDM) and Brightness Ratio Model (BRM) are based on the proposed illumination change model. The experimental results show that the method has good detection effect and real-time in the rapidly changing of illumination conditions.

Key words：moving target detection; illumination change model; chromaticity difference model; brightness ratio model; foreground pixels

通信作者：王斌(1988-)，男(汉族)，甘肃兰州人。硕士研究生，主要研究工作是图像处理。E-mail：377576284@qq.com。

作者简介：张金敏(1966-)，女(汉族)，甘肃兰州人。副教授，研究领域为检测理论与方法，图像处理与模式识别。

收稿日期：2015-05-06； 收到修改稿日期：2015-10-13

文章编号：1003-501X(2016)02-0014-08

中图分类号：TP391.4

文献标志码：A

doi：10.3969/j.issn.1003-501X.2016.02.003