一种利用可见光载荷实现运动目标搜索的方法

徐富元，杨 蔚，祁友杰，朱明明，李仙法

(中国航天科工集团8511研究所，江苏 南京 210007)

一种利用可见光载荷实现运动目标搜索的方法

徐富元，杨 蔚，祁友杰，朱明明，李仙法

(中国航天科工集团8511研究所，江苏 南京 210007)

利用无人机可见光载荷实现地面运动目标的搜索是获取地面运动目标信息的重要技术。为实现在探测器运动的条件下实现运动目标的检测，提出了一种基于平面+视差的运动目标搜索方法。首先采用相位相关法配准寻找主平面，实现对运动图像的全局运动补偿，然后采用光流法对残差图像进行视差滤除。全局运动补偿可以有效补偿主平面的运动，视差滤除通过多视角理论，去除视差景物在搜索系统中形成的虚警。实验表明，该方法利用可见光载荷系统，通过对移动探测器的运动补偿和视差的滤除，能够很好地实现地面运动目标的搜索，提高地面运动目标信息获取的能力。

可见光载荷；主平面补偿；视差滤除；运动目标检测

0 引言

利用无人机可见光载荷实现地面运动目标的搜索，其中主要需要解决的难题有两个：首先是探测器固定在一个运动的平台上，从一个运动的背景中提取出相对运动的目标是一个比较困难的过程；其次由于探测器的投影关系，视差景物往往成为目标搜索的主要虚警成份。本文提出了一种平面+视差的运动目标搜索方法。该方法可以能够很好地解决探测器运动的问题，并且可以通过多视角几何的理论去除因视差而产生的虚警。

在运动平台下实现运动目标搜索是一个从二维数据中提取出运动目标的过程[1]。很多传统的方法均是假设图像中的深度很小，可以忽略不计[2]。但是在实际的场景中其图像中的视差是不可忽略的，如果仍然采用二维处理方式，其深度差异较大的地方将会出现大量虚警。

从二维的图像数据中得到深度信息是一个很难的过程。大多数方法都是通过计算光流或者特征点匹配检测运动目标[1-4]。也有很多学者通过从连续帧中推导图像场景的三维信息或者通过建立场景中的运动模型检测运动目标。如在文献[1]中，作者采用光流法检测特征点的二维运动场，通过两帧图像建立图像中固定场景的运动方程。文献[4]从多视角理论出发，通过建立新的运动限制模型检测运动目标。但是在实际的应用中，此类理论都建立在一定的运动假设的基础上。如文献[1]则假设探测器的成像平面要始终平行，而文献[4]所建立的运动限制模型也具有一定的局限性，在很多特殊的条件下无法获得正确的结果。

为了克服以上问题，本文提出了一种平面+视差的运动目标搜索方法。该方法主要有两个创新点，首先采用相位相关法寻找连续图像中的主平面，实现图像中符合主平面的像素点的运动补偿；然后采用光流法对残留像素二维运动信息建立多帧运动方程，实现视差的滤除。该算法的创新点在于通过两次运动补偿可以有效地解决因探测器移动而带来的视差问题，实现利用无人机可见光载荷提取地面运动目标信息的目的。

1 算法概述

传统的检测方法是通过连续的图像恢复出实际图像中的深度信息然后通过图像的三维信息来判断运动区域如文献[1-4]。该类方法比较依赖于特征点配准精度，并且对于无特征点的区域将无法判断有否有目标存在。在文献[5]中，在三维空间中存在一个参考平面∏12，该平面上的不同视角的图像坐标点m1和m2存在单应矩阵H将其相互对应，即满足m1=Hm2。空间中其它坐标的图像坐标点p1的对应关系则可以表示为：

p1～Hp2+ke

(1)

式中，e是视角1与视角2摄像机中心的极点，k是投影深度。

平面+视差框架已经在文献[4-7]中提出。本文根据此框架提出了一种基于可见光载荷的运动目标搜索方法。如图1所示，本文提出的目标搜索方法主要分为全局运动补偿与视差滤除，全局运动补偿是通过相位相关法计算单应矩阵，提取连续图像中的主平面，实现对符合主平面上的像素全局补偿，最终得到残差图像。对于残差图像采用光流法计算每个像素连续帧中的运动信息，通过建立三维运动方程，最终提取移动背景下的运动目标。

2 主平面提取

文献[8]采用相位法实现运动补偿的预处理，但是可见光载荷的探测器的移动并非平移式，因此相邻两帧图像存在一定的平移、缩放和旋转关系。

Reddy和Chatterji提出了一种基于Fourier-Mellin变换的图像匹配方法, 对图像旋转、拉伸和平移有较强的鲁棒性[9]。设连续帧图像为Ii与Ii+1，图像Ii和图像Ii+1之间的关系为：

Ii(x,y)=Ii+1(txcosφ+tysinφ-x0,

-txsinφ+tycosφ-y0)

(2)

式中，(x0,y0)为平移量，t为缩放因子，φ为旋转角度。分别作Fourier变换后，Fourier频谱幅度为：

|H2(u,v)|=t2

|H1(t-1(ucosφ+vsinφ),

t-1(-usinφ+vcosφ))|

(3)

对式(3)进行极坐标转换得到:

H2(θ,ρ)=t2H1(θ-φ,ρ/t)

(4)

对式(4)进行幅值取对数即得：

H2K(θ,λ)=H2(θ,ρ)

=t-2H1k(θ-φ,λ-p)

(5)

式中，λ=lg(ρ),p=lg(t)，H1K即为图像的Fourier-Mellin不变描述子。

由以上描述可知将旋转和尺度缩放转变为平移的形式，通过相位相关法计算其参数。

由于Fourier-Mellin在计算中误差较大，因此不少学者提出了其改进算法，如文献[10] 在引进核函数的基础上定义了一种加权距离，经过核函数对图像的峰值进行修正，更好地解决了图像的匹配问题。

通过Fourier-Mellin算法得到图像变换的参数，计算出单应矩阵H。通过单应矩阵将Ii+1变换到Ii。其残差图像则为：

IR=HIi+1-Ii

(6)

由于相邻的两帧图像大部分的像素点都位于主平面上，或者处于主平面附近。因此残差图像主要由视差较大的像素与运动的像素区域组成。

3 视差滤除

对残差图像进行阈值分割，将其中视差较大的部分与运动的区域的像素提取出来，通过光流法描述运动状态。由于视差是由探测器的运动产生的，因此必须要从二维的光流场当中寻找到背景运动的实际模型，从而实现运动目标的检测。

如图2所示在探测器坐标系中，假设探测器的平移运动为(ΔA,ΔB,ΔC)，旋转运动为(Δα,Δβ,Δγ)，假设在图像坐标系中有点p(x,y)对应于相机坐标系坐标为P(X,Y,Z)，则图像中的p点运动矢量(u,v)与相机运动之间的关系为：

u=(-ΔAf+xΔC)/Z+αxy/f-

βxy/f-rx

(7)

假设(u,v)为图像Ii+1与Ii之间残差像素的运动场，平面∏为Ii+1和Ii之间的参考平面。假设(u∏,v∏)为参考平面与Ii之间的运动场，设平面上的点P∏(X∏,Y∏,Z∏)。

u∏=(-ΔAf+xΔC)/Z∏+αxy/f-

βxy/f-rx

(8)

由式(7)和式(8)可得到参考平面上的投影点与三维空间中的点的运动矢量之差(uΔ,vΔ)：

uΔ=u-u∏

=(-ΔAf+xΔC)/Z-(-ΔAf+xΔC)/Z∏

=(-ΔAf+xΔC)(Z∏-Z)/ZZ∏

vΔ=v-v∏

=(-ΔBf+yΔC)/Z-(-ΔAf+xΔC)/Z∏

=(-ΔBf+yΔC)(Z∏-Z)/ZZ∏

(9)

令θ=(Z∏-Z)/ZZ∏，则：

uΔ=(-ΔAf+xΔC)θ

vΔ=(-ΔBf+yΔC)θ

(10)

由式(10)可以得到方程：

0=(-ΔBf+yΔC)uΔ-

(-ΔAf+xΔC)vΔ

(11)

(12)

由以上理论可知对于运动的相机，残差图像中视差部分满足式(12)的方程。因此本文采用稠密光流计算残差区域与残差区域周围的像素，以保证估计模型参数时的正确性。如图3所示，p(x,y)为前景像素点，取其周围40×40的区域计算稠密光流，估计式(12)中的参数。

式(12)为一个线性最小二乘问题，参数估计一般都采用svd分解得到，为了获得更精确的参数，很多学者在此方面做了很多研究。本文主要采用文献[1]提出的求解算法，该算法具有较高的参数估计精度和迭代收敛速度。

4 实验与分析

本文实验主要采用可见光载荷高空俯视连续图像数据，对本文算法与其他文献算法进行实验。实验图像大小均为960×540，算法实验平台为2.4GHz主频，2G内存的计算机，使用软件为VS2008，处理速度为每秒8帧，在实验过程中相机均有较强的旋转与平移运动。本文从定量与定性的角度对本文的算法进行分析并与其他算法做比较。

4.1 定性的分析

图4为可见光CCD在热气球上高空对地面俯视得到的图像，探测高度约为50m。在图像视频中有两辆汽车与两个直立行走的人。其中白色汽车相对于地面是静止不动的，公路上的灰色的车与行人是运动的。

图4(a)和图4(b)是连续的原始的图像；图4(c)主平面补偿后得到的残差的图像；图4(d)是残差图像的二值化的结果，其中黑色的区域表示运动和视差的区域；图4(e)是经过视差滤除后的二值化的结果；通过图4(d)和图4(e)对比可以清楚地看出由于视差的影响，白色的车、路边的路灯和路的边缘等没有运动的景物在主平面配准后被凸显出来，通过视差滤除后在图4(e)中已经完全被滤除。图4(f)是运动目标检测的最终的结果。

图5为可见光CCD在低速无人机上高空对地面俯视得到的图像，探测高度约为60m。在图像视频中背景主要有道路和树木，其中运动的物体主要是两个直立行走的人、公路上一个骑车的人和一辆骑车还有在远处树林背景中的运动的车。

图5中的每行图像序列，从左到右依次是原始图像、残差图像、视差滤除后的二值化图像和最终的目标检测结果。通过每一行的残差图像与视差滤除后的二值化图像的比较，可以明显地发现，视频中树木和一些视差比较大的区域经过视差滤除后都可以很好地被去除，只保留视频中运动的目标。

4.2 定量分析

(13)

式中,Nc为关联目标的个数。

图6是本文算法与其他算法的比较，由曲线可以看出本文算法能有效分割地面运动的目标，其检测出的运动目标的位置与实际运动目标的位置偏移较小，因而能够更准确地获取地面运动目标的信息。

定义目标的检测率表示为：

(14)

检测率主要表示系统虚警率和探测率的关系，本文采用图4可见光载荷所采集的视频，对其他算法与本文算法根据式(14)做了相互的比较，其中虚警率α=0.03，结果如表1所示。

由表1可知在相同的虚警率的情况下，本文算法相比较于传统的算法将会获得更高的检测率。

表1 检测率的比较

5 结束语

本文提出一种利用可见光载荷实现对地面运动目标的检测的方法。该方法基于平面+视差的框架，首先采用相位相关法配准寻找主平面，实现对运动图像的全局运动补偿。然后采用光流法对残差图像进行视差滤除，最终能够将地面运动目标从连续的视频中提取出来。实验表明，该方法利用可见光载荷系统，通过对移动探测器运动补偿和视差滤除，能够很好地实现地面运动目标搜索，提高地面运动目标信息获取的能力。■

[1] Zhang Y, Kiselewich SJ, Bauson WA, et al. Robust moving object detection at distance in the visible spectrum and beyond using a moving camera[J]. Comput. Vis. Pattern Recog. Workshop in Proc. IEEE Conf., 2006, 24(7):131-132.

[2] Lin Y, Medioni G. Map-enhanced UAV image sequence registration and synchronization of multiple image sequences[J]. Computer Vision and Pattern Recognition., 2007, 25(8): 1-7.

[3] Yin Zhaozheng, Collins R. Moving object localization in thermal imagery by forward-backward MHI[J]. Computer Vision and Pattern Recognition Workshop in Proc. IEEE Conf., 2006, 15(5):8-16

[4] Yuan, Chang, et al. Detecting motion regions in the presence of a strong parallax from a moving camera by multiview geometric constraints[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence., 2007, 29(9):1627-1641.

[5] Mundy JL, Zisserman A. Geometric Invariance in Computer Vision[M]. MIT Press., MA, 1992.

[6] Yu Qian, Medioni G. Motion pattern interpretation and detection for tracking moving vehicles in airborne video[J]. Computer Vision and Pattern Recognition in Proc. IEEE Conf., 2009, 45(5):45-50.

[7] Jin Yuxin, et al. Background modeling from a free-moving camera by multi-layer homography algorithm[J]. Image Processing in Proc. IEEE Conf., 2008, 78(1):789-798.

[8] Xu Fuyuan, et al. Design and implementation of a real-time image registration in an infrared search and track system[J]. IS&T/SPIE Electronic Imaging. International Society for Optics and Photonics., 2013, 87(6):854-865.

[9] Xiong Wenzhen, Cai Guangcheng, Zhang Hongju. Application of an improved Fourier-Mellin descriptor in image matching[J]. Computer Engineering & Science., 2011, 54(5):458-467.

[10]Li Guo, Liao Yu, Chen Weilong. An improved registration algorithm on video super resolution reconstruction[J]. Journal of Hubei University for Nationalities (Natural Science Edition), 2010, 28(2): 177-180.

A moving target detection method using visible payload

Xu Fuyuan, Yang Wei, Qi Youjie, Zhu Mingming, Li Xianfa

(No．8511 Research Institute of CASIC, Nanjing 210007, Jiangsu，China)

The ground moving target detection using the visible payload is an important technology to obtain information of the ground moving target. To detect the moving target on the moving camera, a method within the “Plane+Parallax” framework is proposed to detect the moving target in video sequences observed by a moving camera. Firstly, the reference plane is found by the image registration based on phase-correlation and the global motion compensation is achieved. Secondly, the parallax regions are filtered by the optical flow method. The global motion compensation can effectively compensate for the motion of the main plane and the parallax in the search system is removed by the multi-view theory. The experiments show that this method can achieve the moving target detection using the visible payload through the motion compensation and parallax filter and improve the ability to obtain the ground moving target.

visible payload; main plane compensation; parallax filter; moving target detection

2016-11-30;2017-01-17修回。

徐富元(1986-)，男，博士研究生，研究方向为目标识别与信号处理。

TN971+.5

A