一种基于数字图像的多目标检测方法

王 超，纪 明，王娇颖，姜文涛，解 静，李 涛，高 雅

（西安应用光学研究所，陕西 西安710065）

引言

目前光电武器系统精确打击制导模式一次只能照射、制导攻击一个目标，制约了武器系统的打击效率。为使武器系统具备同时对多个目标进行精确打击的能力，多目标光电系统可采用多目标视频跟踪器（以下简称AVT）辅助激光照射器、伺服稳定平台实现多个潜在目标同时捕获跟踪并打击。其原理如图1所示。

图1 系统工作原理示意图Fig.1 Schematic diagram of system operation

AVT是多目标光电系统中的重要组成部分，也是多目标检测与跟踪算法的运行载体。多目标检测与跟踪的正确性和精度直接决定了伺服稳定机构能否实现稳定闭环。在复杂背景环境下，AVT能够实时解算目标的方位、俯仰角偏差，依据AVT输出的主、副目标角偏差，由伺服系统控制多路激光指示，实现主、副瞄准线对多个目标的精确照射。

在复杂背景下，多目标的可靠检测提取稳定跟踪是实现多目标光电指示的前提。目标检测的高检测率和低虚警率是实现复杂环境下多目标实时视频跟踪的技术难题，现有算法多为静止背景下多目标检测，最为常用的背景差分法，分为非参数核密度估计背景建模方法［1］和参数核密度估计背景建模方法［2］，无法适用于军用光电导引运动背景下的多目标跟踪［3－5］；基于运动背景下的多目标跟踪可分为两步：首先对图像实施图像配准背景稳定［6－7］；补偿背景运动后再采用帧 差分法［8］实现运动目标检测。背景运动补偿即采用图像处理算法手段计算摄像机扫描运动量，排除图像中目标相对运动，估计背景的主动运动。现有算法主要包括传统的基于块匹配［9］、灰度投影匹配等方法，该类方法计算相对简单实时性好，但只能针对图像平移补偿，无法获取摄像机的小幅旋转运动矢量；目前在图像处理各领域广泛应用的基于特征点提取的背景配准方法，通过提取图像中SIFT特征点［9－10］和 Harris角点［11］等特征并匹配估计背景运动矢量，适用性广、匹配精度高，但算法复杂，无法满足嵌入式系统实时处理的要求；基于高斯金字塔的Lucas－Kanade光流（简称LK光流）［12］估计背景运动矢量，通过金字塔策略可显著降低算法运算量。

本文中提出基于小波金字塔的LK光流估计算法，利用小波变换具有变焦性、信息保持性和小波基选择的灵活性等优点，相比高斯金字塔，小波金字塔能够滤除图像高频边缘部分对图像差分引起的虚警干扰，利用DSP基于小波分解的高性能优化具有更好的嵌入式运行实时性。在保证稳定精度的前提下，实现基于DSP的实时处理。选取输入图像第0帧为参考帧，后续第K帧为检测帧，将检测帧与参考帧配准并补偿，补偿后的检测帧与参考帧图像求取差分图以备下一步运动检测。

1 多目标检测算法

1.1 背景运动补偿

采用离散小波变换进行图像分解，一般采用Mallat二进小波变换，二维Mallat算法图像分解快速算法由Mallta塔式分解实现。假设s0为待分解图像，h和g分别为小波函数高通和低通滤波器系数，并且对不同尺度下均恒定，于是小波变换快速分解表示如下：

对图像L层小波分解后的低频分量尺寸是原图的1／2L，多级低频图像形成小波金字塔，基于小波金字塔采用基于LK光流算法迭代计算背景运动矢量。在图像金字塔的最高层计算光流，用得到的运动估计结果作为下一层金字塔的起始点，重复这个过程直到到达金字塔的最底层。对每层图像LK光流计算如下：

设f（x，y，t）是图像点（x，y）在时刻t的灰度，u（x，y）和v（x，y）是该点光流的x和y 分量。根据灰度恒定的假设，取特征像素3×3邻域利用光流技术计算，速度［u v］计算如下：

其中，

根据运动矢量变换金字塔最底层即检测帧图像得到配准帧图像。为在DSP中实时优化处理，建立小波变换金字塔通过图像库函数IMG＿wave＿horz和IMG＿wave＿vert实现。

1.2 帧间运动目标检测

对于所获取的参考图像f（x，y，ti）和配准图像f（x，y，tj），选择合适阈值Tg获取二值化灰度差分图像，阈值可以选取某个固定值，更优方案可采用AcadiaTM提出的公式［13］自适应计算，不同于一般的阈值采用帧间平均绝对差，而用梯度作为控制因子，当图像对比度较高时避免阈值过大遗漏较弱目标，而图像对比度较低时避免阈值过小引入过多干扰信息，从而取得最优阈值。

其中：Δf（x，y，ti）为当前图像的梯度；G 为梯度附加项，用以避免分母无意义。

由于噪声、光照变化等因素，必须进一步滤波排除杂散点提取出目标的精确位置。采用区域生长算法在差分图像中提取运动目标片。区域生长是一种经典的串行图像分割算法，为提高其计算实时性，在DSP实现中，可在二值化图像中亚采样寻找种子点，再采用与运算将值为“1”的种子点连通，从而寻找出整幅图像中最大的连通区域即为潜在的目标。最后，采用管道滤波［14］，将潜在目标位置作为管道输入，滤波得到检测目标的最终位置。

总的算法流程图如下：

图2 算法流程图Fig.2 Flow chart of algorithm

2 效果及结论

依本文多目标检测方法，基于TMS320C6455 DSP的AVT平台中运行，前端摄像机为分辨率1 920像素×1 080像素帧率30Hz高清CCD数字摄像机，数字图像经FPGA解码后输入DSP中实施多目标跟踪算法，并在图像中以跟踪波门标记检测结果目标，最终输出至高清监视器中实时显示。

噪声低、干扰小的二值化差分图像的准确提取是实现最终目标检测的前提和重要保证，采用Daubechies D4作为小波基生成图像金字塔，对各级金字塔计算LK光流估计迭代得到的差分图像比传统基于块匹配、基于灰度投影法配准精度显著提高；与基于SIFT特征提取的配准算法精度相近，而运算速度提高数十倍，保证了嵌入式系统运行的实时性；与基于高斯金子塔分解的LK光流算法相比，一般高斯滤波采用5×5窗口在全图内滑窗滤波，而小波变换采用小波基分别在水平和垂直方向小波分解，利用DSP小波分解加速库函数IMG＿wave＿horz和IMG＿wave＿vert，可以显著提高算法计算效率，从而在检测性能和计算时间方面有一定优势。

图3分别采用图（a）块匹配、图（b）灰度投影、图（c）SIFT、图（d）高斯、图（e）本文方法是对路拍车辆行人图像连续2帧计算差分图像。

图3 二值化差分图像比较Fig.3 Comparison among binary difference images

从图中可以看出，块匹配法和灰度投影法配准只能针对配准XY方向平移量，因此对于手持拍摄图像难免存在的小幅旋转无法补偿，导致差分图像噪声虚警较大，而SIFT、高斯和本文算法均具有良好的差分效果，易于后续目标提取算法处理。

在差分图像中采用区域生长及管道滤波算法，可得到最终多目标提取图像。对路拍车辆及行人检测效果如图4、图5所示。

图4 地面目标车辆跟踪效果图Fig.4 Tracking effect of ground car

图5 地面目标行人跟踪效果图Fig.5 Tracking effect of ground passenger

从图中可以定性地看出，本文算法在复杂地面场景对汽车、自行车及行人均具有良好的检测跟踪效果。对地面目标行人连续帧视频逐帧检测不同算法正确目标数曲线如图6所示，对于连续1 000帧视频，每隔20帧标记一次目标数在matlab中绘制并比较检测效果。

图6 不同算法目标数量检测对比图Fig.6 Target number comparison among different algorithms

基于SIFT算法、本文算法与真实目标数均非常接近，多数场景下能够准确检测到目标数量，而块匹配和灰度投影法均存在目标遗漏。可以采用检出率和虚警率衡量目标检测性能：

不同算法检出率、虚警率与计算时间比较如表1所示。

表1 算法性能比较表Table 1 Algorithm comparison

从上述综合比较结果可以看出，在地面行人检测保证较高的检出率下，本文算法具有较低虚警率，算法复杂度适中，能够在基于C6455DSP的嵌入式平台中实时显示处理，为光电制导激光导引提供精确的目标方位信息，辅助导弹实施攻击。

［1］ Elgammal A，Duraiswami R，Harwood K，et al.Background and foreground modeling using nonparametric kernel density estimation for visual surveillance［J］.Proceedings of the IEEE，2002，90（7）：1151－1163.

［2］ Ning J，Zhang L，Zhang D，et al.Scale and orientation adaptive mean shift tracking［J］.IET Computer Vision，2012，6（1）：52－61.

［3］ Mei X，Ling H.Robust visual tracking and vehicle classification via sparse representation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（11）：2259－2272.

［4］ Tang M，Peng X.Robust tracking with discriminative ranking lists［J］.IEEE Transactions on Image Processing，2012，21（7）：3273－3281.

［5］ Michaels Elad，Mariol A T，Figueiredo，et al.On the role of sparse and redundant representations in image processing［J］.Proceedings of the IEEE，2010，98（6）：972－982.

［6］ Kalal Z，Mikolajczyk K，Matas J.Tracking－learningdetection［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，2012，34（7）：1409－1422.

［7］ Kristan M，Stanislav K，Leonardis A.A two－stage dynamic model for visual tracking［J］.IEEE Transactions on Systems，Man，and Cybernetics－Part B：Cybernetics，2010，40（9）：1505－1519.

［8］ Mustafa O，Michael C，Vincent L，et al.Fast keypoint recognition using random ferns［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，2010，32（3）：448－461.

［9］ Goshtasby A，Gage S H，Bartholic J F.A two－stage cross－correlation approach to template matching［J］.IEEE Trans Pattern Analysis and Machine Intelligence，1984，6（3）：374－378.

［10］David G L.Distinctive image features from scale－invariant key points［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［11］Juan L，Gwun O.A comparison of SIFT，PCASIFT and SURF［J］.International Journal of Image Processing，2009，3（4）：143－152.

［12］Mehrotra R，Nichani S，Ranganathan N.Corner detection［J］.Pattern Recognition，1990，23（11）：1223－1233.

［13］Felzenszwalb P，Girshick R，McAllester D，et al.Object detection with discriminatively trained partbased models［J］.IEEE Trans.PAMI，2010，32（9）：1627－1645.

［14］Wang Chao，Ji Ming，Li Huajie，et al.IR image air defense missile searching and tracking algorithm based on DSP［J］.Journal of Applied Optics，2013，34（5）：723－727.王超，纪明，李华杰，等.一种基于DSP的红外图像防空导弹检测与跟踪方法［J］.应用光学，2013，34（5）：723－727.