无人机视频图像运动目标检测算法综述

张 可， 杨灿坤*, 周春平, 李 想

(1.首都师范大学 北京成像技术高精尖创新中心，北京 100048；2.首都师范大学 资源环境与旅游学院，北京 100048)

1 引 言

无人机(Unmanned Arial Vehicle，UAV)是一种无人驾驶飞行器，随着科技的发展，无人机凭借其不受时间地域限制，可获得大范围、多角度、高分辨率数据等优势，在军事侦查、空间遥感、智慧城市、灾害监测等方面发挥着愈加重要的作用[1]。

运动目标检测是近年来非常热门的话题，它是计算机视觉重要的组成部分，广泛应用于军事、民用领域。应用主要包括：武器装备，安防，交通管制，图像压缩，三维重构等；同时运动目标检测与跟踪也是图像检索、人机感知接口和虚拟现实的核心技术之[2]。

目前，国内外学者利用无人机视频图像开展运动目标检测大多将研究重点放在典型运动目标——车辆上，例如美国[3]、德国[4]等，我国也开展了利用无人机检测运动车辆的研究[5]。本文也参考了上述与本研究内容相关的文献，以丰富研究进展。

1997年，美国设立VSAM视觉监控项目，将摄像机固定在高处或搭载在飞行器上对地面实施视频监控，并利用机载摄像机获得的数据进行车辆检测[6]；2005年，中央佛罗里达大学设计了COCOA 系统,该系统对无人机拍摄的视频进行处理，进行运动目标检测，并复现目标的运动轨迹[7]；Shastry A.C.等[8]为消除直升机自身运动造成的视频图像不稳定，运用特征跟踪自动确定控制点对应关系的配准方法，提高了配准精度，并在此基础上运用帧差法进行运动目标检测，但只有65%的检测精度；Abdelwahab等[9]提出一种适用于机载和固定摄像机的视频图像运动车辆检测技术，该技术提取特征点并进行跟踪，通过测量每个特征点周围像素的直方图变化以除去背景，从而获得属于前景的特征点，再根据运动特性将特征点分为不同车辆目标；董晶等[10]提出一种无人机视频图像运动目标实时检测算法，利用配准结合帧差法获取运动区域，实现了低复杂度场景下的运动目标快速提取，但对所占像素较少、运动速度较慢的目标在检测上存在局限性；彭博、蔡晓禹等[11-12]针对无人机视频图像的运动车辆检测，提出对称帧差结合分块背景建模法，将检测出的车辆用矩形框出，并建立了算法评价体系，算法正确检测率较高，基本不会将同一辆车重复检测，但不能完整检测出部分车体颜色与路面灰度较为接近的车辆如黑、灰色车辆。

由于无人机不可避免的抖动问题以及在拍摄过程中受风力干扰、自身运动导致的图像背景变化，目标尺度变化、目标旋转、光照变化等，使得运动目标的检测变得尤为困难[13]。本文将根据无人机视频数据的特点，从无人机视频图像运动目标检测的处理过程出发，对现有运动目标检测方法进行分类讨论，并对优缺点和适用范围加以总结，最后对利用无人机视频数据进行运动目标检测的难点和发展趋势加以探讨。

2 研究对象说明

利用无人机进行运动目标检测的方法主要可分为两类，第一类是没有任何先验知识，利用算法对数据直接展开处理，寻找帧与帧之间变化的区域，再经由后续图像处理技术获得全部的运动目标；第二类可以称为基于模型的检测方法，此类方法首先归纳特定运动目标如行人、车辆、船只等的相关特征，搜索待检测数据以得到候选样本，将特定目标的相关特征作为先验知识对样本进行匹配度计算及分类，实现目标检测。第一类方法由于没有先验知识的限制，可应用范围更广，可检测出的运动目标更全面，理想条件下，第一类方法可以检测出场景内全部的位置发生变化的目标，而不仅限于通常所说典型运动目标如车辆、行人等；第二类方法加入先验知识，可以很好的在场景中检测特定运动目标或对检测出的运动目标进行分类，此方法适合具有针对性的场景，如检测道路上运动车辆，商场中运动的行人等，相比第一类方法，检测更具针对性但不够全面。结合第一类方法检测全面及无人机获取数据灵活的优点，本文仅对第一类方法展开讨论。

表1无人机运动目标检测方法对比

Tab.1 Comparison of UAV moving target detection methods

检测对象检测原理适用场景使用要求第一类方法范围内全部运动目标寻找变化区域大范围多类目标检测无需先验知识第二类方法特定目标基于模型的检测特定场景检测需要特定目标的相关特征

相比其他较为稳定的设备如道路、商场里的监控摄像头，高空中的飞艇搭载的航空相机、卫星等获取的数据，利用无人机进行运动目标检测显然更具挑战性。视频数据相比影像数据，内容更加丰富，时间序列上更加完整，但包含的干扰信息也急剧增加，检测出全部的运动目标更加复杂。下表列出了无人机视频数据与其他类型数据的特点对比。

表2 不同类型数据的特点Tab.2 Characteristics of different types of data

3 运动估计算法

无人机在飞行过程中获取的视频数据，由于无人机自身的运动，以及不可避免的抖动和外界光照等因素的变化，若将数据直接进行运动目标检测，将导致检测结果噪声大，虚警率高，严重影响检测精度，因此首先需要对数据进行运动补偿。

运动补偿的原理是：利用无人机拍摄的视频数据进行运动目标检测的时候，图像中实际存在两种运动：运动目标的运动和由于无人机自身位置姿态改变引起的图像背景运动，假设将图像中除去运动目标的其余所有部分均视为背景[14]。常用的运动估计方法可分为空域和频域两大类，空间运动估计方法中含有光流法和像素递归法，频域运动估计方法又可分为傅里叶变换，小波变换，WHT变换，DCT变换4种[15]。针对无人机视频数据的特点，以特征点匹配为基础的运动估计和运动补偿算法以及众多改进算法被大量采用。顾名思义，特征法首先需要在图像中选定某种特征结构，并在后续图像中寻找该特征，通过特征结构间的运动关系确定图像背景的运动参数[16]，完成运动估计与补偿。

钟平等[17]提出了一种利用特征点匹配进行运动矢量估计的算法。算法首先将点特征与边缘特征相结合，提取出的明显且稳定性好的特征；然后利用均值滤波确定运动参数，实现对图像平移和旋转的运动补偿，实验表明,算法对于提高动态图像的稳定性有较好的效果；武艳美等[18]改进块匹配算法，利用圆形块进行匹配以解决图像发生大角度旋转时运动估计不精确的问题。实验表明，算法能在大角度旋转或平移下得到准确的运动参数，但无法处理图像尺度变化；宋宇等[19]根据航拍视频的成像特点，计算相邻帧之间全局运动的六参数近似变换模型，并采用角点特征提取出有效的匹配点，实现图像的运动补偿。

运动补偿依赖于图像配准精度，对于无人机视频图像，高精度图像配准存有很大难度。首先，无人机本身存在无规律的抖动，这使得视频中光照，形状等发生改变，选择基于特征点的匹配如灰度，纹理等，均会受到干扰，难以准确匹配；同时由于画面中存在运动目标，而运动目标不可以当做配准的特征点，故当视频中运动目标较多时也会造成较大匹配误差。对于图像配准的研究结果表明，现有配准模型众多，但大都具有局限性，对使用场景和数据类型要求很高，无法实现普遍适用，目前对图像进行配准通常需要具体问题具体分析，结合场景特点进行特定处理，这会使得算法运算量巨大，同时增加运动目标的检测时间。

4 运动目标检测算法

目标检测是视频处理工作的基础，一般可分为静态目标检测和动态目标检测两种。动态目标检测多为视频中的目标，如运动跟踪，交通分析等内容。在传统算法中，运动检测由运动分割和运动聚类两部分组成[20]。近年来提出的检测算法不再将数据分成两部分处理，而是直接进行运动目标检测。

基于无人机视频图像的运动目标检测，从根本上来说与常见运动目标检测并无区别，所用的算法也较为一致。现今的主流运动目标检测算法主要有帧间差法，背景建模法和光流法3种[21]。在近几年的发展过程中，很多学者针对无人机视频图像存有抖动，噪声较大等特点，对算法进行了有针对性的改进。因此，本节内容将从上述3类算法出发，分别介绍算法原理以及改进，并对近几年出现的新的适用于无人机视频图像运动目标检测的算法加以总结。

4.1 帧间差法

该算法比较图像序列中连续两帧所有对应位置的像素点，按照一定的规则计算对应点之间的差值，若其大于某设定的阈值，则认为该位置有运动目标，并加以提取。

记图像序列中的某一帧为K，相邻的下一帧为K+1，则可用如下表达式表示第K帧图像：

I(x,y,k)=Fk(x,y)+Bk(x,y)+nk(x,y),(1)

其中Fk(x,y)为前景部分即运动目标，Bk(x,y)为背景部分，nk(x,y)为图像噪声。将相邻两帧第K+1帧和第K帧相减，可得到差值Dk+1(x,y)为：

Dk+1(x,y)=I(x,y,k+1)-I(x,y,k)=
[Fk+1(x+Δx,y+Δy)-Fk(x,y)]+
[Bk+1(x,y)-Bk(x,y)]+
[nk+1(x,y)-nk(x,y)]

(2)

将差分结果二值化并以预设的阈值进行划分可得：

(3)

其中：T为预先设定的区分运动目标与背景的阈值，某位置像素差dk+1(x,y)小于阈值时值为0，表示该像素点为背景；大于阈值时值为1，表示该点像素为运动目标。因此，当背景与运动目标间灰度信息差别不大时，帧差法会产生检测目标不完整甚至漏检的情况，且当目标运动速度较快时，帧差法易将背景检测为运动目标，造成误检[22]。为了进一步消除噪声和误差的影响，近年来，又陆续提出了基于连续三帧图像的三帧差法，公式如下：

dk(x,y)=|I(x,y,k+1)-I(x,y,k)|+
|I(x,y,k)-I(x,y,k-1)|

(4)

公式中前一帧和当前帧做差的结果和后一帧与当前帧做差的结果相加意为进行逻辑与运算。

从帧间差法的提出开始，大量学者对其进行了改进，同时无人机的逐渐兴起，也产生了针对无人机的帧间差法的改进。

Gang等[23]将canny边缘检测引入三帧差法，使检测出的目标更加完整。该方法可以抑制帧差法产生的重影、目标内部及边缘缺失等现象，但无法改善强光和明显阴影造成的影响，对动态场景的适应性也较差；谢红等[24]提出一种结合边缘检测的改进三帧差算法，该算法在提取完整运动目标的同时不会增添冗余的边缘信息；然后将算法与Vibe算法相结合，消除了Vibe算法可能导致的“拖影”现象，算法对光照突变具有一定的适应性；陈宝远等[25]提出一种改进的三帧差分运动目标检测算法。该算法改进之处在于，用自适应阈值代替传统三帧差分法的固定阈值对图像进行二值化，减少噪声；算法抗干扰性较好，但当运动目标颜色与背景较为接近时会出现漏检、运动目标提取不完整的现象。

4.2 背景建模法

该算法通过对当前图像与背景图像做差来检测运动区域。具体来说，算法先得到场景的静态背景初始化模型，然后与当前帧进行对比，剔除其中的背景，得到运动目标。实际情况中，背景经常发生变化，这便需要对静态背景模型不断更新，以得到更准确的结果。原理如下：

(5)

设被检测帧图像为I，建立的背景模型为B，It(x,y)表示被检测帧中位置为(x,y)的像素点在t时刻对应的像素值，Bt(x,y)表示背景模型中位置为(x,y)的像素点在t时刻对应的像素值，T为设定阈值，Dt(x,y)表示检测结果，即运动目标。

在视频数据中，图像背景不断变化，仅利用检测初始使用的背景模型是不够的，这就要求背景模型是自适应的，可以根据图像变化不断进行更新，否则可能无法检测出运动目标。现有成熟的背景建模法按照背景更新模式分为非回归递推和回归递推两类。非回归递推的算法根据一定量的数据样本来建立背景模型，回归递推的算法不需要预先输入数据样本，检测过程中每输入一帧新的图像，就对模型进行一次更新[26]。

4.2.1 均值法

均值法属于非回归递推算法。该算法建立背景模型的原理是对前T帧图像取均值，要求用做建模的前T帧图像内要尽可能少的存在目标，才能获得更准确的背景模型。公式如下：

(6)

4.2.2 中值法

中值法属于非回归递推算法。由于该算法背景建模时选择用于建模的图像内每个像素点的中值，为使背景模型更加稳定，中值法通常选取存有运动目标的图像进行建模。公式如下：

Bt+1(x,y)=median-backyround
(It-T(x,y),…,It(x,y))

(7)

4.2.3 运动平均法

运动平均法属于自适应回归算法，它可以根据输入图像不断进行模型的自我更新。公式如下：

Bt+1(x,y)=αIt(x,y)+(1-α)Bt(x,y)

(8)

其中：学习速率α的取值范围为[0,1]，α越大，学习速率越快，背景模型的更新越快。

实际情况中，当使用含有运动目标的帧对背景模型进行更新时，模型会受到干扰导致检测结果不准确，因此产生了局部更新的改进运动平均法。公式如下：

(9)

4.2.4 高斯背景模型

高斯分布(Gaussian Distribution)可以用来描述视频序列中所有图像的某同一位置，以此为依据可以构建背景的高斯分布概率模型。通过预设的概率阈值T判断像素点的值是否符合模型，符合则该点为背景，不符合则为运动目标。公式如下：

(10)

阈值T可以使用自适应阈值，也可以人为设定以降低运算量。

当输入为灰度图像时，上式可简化为单维度公式：

(11)

其中，σt(x,y)表示位置为(x,y)的像素点的高斯分布均方差。

高斯背景模型采用下述公式实现背景更新：

μt+1(x,y)=(1-α)μt(x,y)+βIt(x,y)

(12)

(13)

其中，α为模型更新速率，β为方差更新速率。

高斯背景建模法对简单背景处理效果好，对于图像光照变化明显、画面里有水波等复杂背景处理效果较差。Stauffer等[27]提出了对复杂背景有一定鲁棒性的混合高斯模型。

4.2.5 Vibe算法

Vibe算法是Olivier Barnich 和 Marc Van Droogenbroeck在2011年提出的一种全新的背景建模方法[28-29]。Vibe算法与其他背景建模法的区别在于，Vibe算法仅使用单幅图像建立背景模型，并在更新时随机选取像素及其邻域进行更新，计算速度快，占用内存较小。原理如下：

假设每个像素点和在其一定范围内像素点的值具有相似的分布特征，算法采用其领域内的一些像素构成该像素点的背景模型，注意所选范围应足够大[30]。在t=0时刻输入第一帧图像，像素点的背景模型由如公式(14)表示：

(14)

式中，NG(x,y)表示像素点邻域内的所有像素，f0(xi,yi)表示该像素点的值，进行N次初始化，属于NG(x,y)内的某个像素点(xi,yi)在每一次初始化的过程中被使用的次数可以是1,2,3,…,N次。

(15)

式中：r随机选取，当fk(x,y)满足符合背景N次时，认为像素点为背景，否则为前景。

最后，对背景模型进行更新。Vibe算法的更新在时间和空间上都具有随机性。

4.3 光流法

B.K.P.Hom和B.G.Schunck在1981年最先提出光流算法[31]。运动目标在图像平面上进行二维投影，得到运动场，当目标运动时，其灰度的瞬时变化率反应在运动场上，形成的变化率的集合称为光流场。此种光流可以反应出图像的变化，因此可以用于运动目标检测[32]。依据光流约束方程，点(i,j)及其四邻域中光流误差的离散量计算公式如下：

e2(i,j)=Ixu(i,j)+Iyv(i,j)+It，

(16)

其中，u(i,j)和v(i,j)为点在光流空间中x与y方向的分量：Ix，Iy，It分别为图像I(x,y,t)在x,y方向和时间t上的梯度值。该点和四邻域的光流值进行差分得到光流平滑量如下：

(17)

则极小化函数为：

E=∑∑(e2(i,j)+αs2(i,j))

(18)

光流迭代方程为：

(19)

(20)

光流法可以在相机等设备发生移动的情况下检测出物体的运动状况，但是由于运算过程需要不断迭代，导致算法运行时间长，实时性较差[33]。后续为克服算法运算量大的缺点，出现了计算稠密光流的Lucas-Kanade算法[34]。Barrir等[35]通过添加动量项使算法的收敛速加快；刘洪彬等[36]同样为缩短光流法运行时间，提出了权重自适应的光流算法，检测出的运动目标明显，噪音少，且可以满足光流法的最优、次优性能。

4.4 其他方法

利用无人机视频图像检测运动目标，难点在于如何提高检测精度、降低虚警率，将运动目标全部检测出来。因此，本部分将介绍近年来的一些新型检测方法，这些方法可以在一定程度上抑制无人机视频图像存在的背景复杂多变、画面无规律抖动、阴影、光照等因素的干扰，得到很好的检测效果[37]。

基于区域信息的检测方法将图像划分为不重叠的多个区域，划分依据可以是目标区域与背景区域之间的纹理信息差异、灰度差异、颜色差异等，具体包括阈值分割法、区域生长法和聚类法等。

李俊韬等[38]为提高运动目标检测精度，将基于假设的检验模型引入运动目标检测过程，抑制了随机噪声对检测的影响；同时运用区域增长法对检测结果进行处理，基本消除“孔径效应”，将运动目标完整的提取出来。

李响等[39]针对视频图像中复杂多变的背景，提出基于局部运动补偿的二次分割目标检测算法。通过提取点级色度特征和空间梯度特征抑制光照变化产生的影响；根据贝叶斯决策理论对图像进行第一次分割，得到运动目标像素和背景像素；仅对划分为运动目标的像素进行运动补偿，根据补偿结果对像素二次分割，从而提高算法的准确度，得到运动目标。

张旭光等[40]利用局部投影法进行运动目标提取，解决画面变化显著时的运动目标检测问题。通过划分投影区域，计算相邻两帧图像的投影偏移量，得出全局运动矢量，补偿由于摄像机运动引起的背景变化；最后利用帧差法提取运动目标。算法在背景纹理特征明显的图像发生显著变化时能够准确提取运动目标。

为了消除阴影对运动目标检测的影响，Dong等[41]利用RGB颜色空间中运动目标与阴影的不同特征，并依据当前图像和背景图像像素的色度差和亮度差将二者分开；对于误分类的运动目标和阴影则依据区域面积比和边缘比二次划分。可以发现，算法利用色度差和亮度差区分前景与背景，会导致当运动目标颜色与背景颜色相近时，容易产生误检。

为了解决光照变化对运动目标检测产生的影响，Liao等人[42]提出一种新的背景减除框架用于运动目标检测。算法对复杂场景的适应性较好，但对存在遮挡的目标检测效果不理想；Choi等[43]提出一种基于光照变化模型的运动目标检测算法。由于当光照发生快速变化时，除运动目标外的部分背景像素也会被检测为前景像素，该方法通过建立色度差分模型和亮度比模型以去除这部分被错误检测的前景像素。算法可以较好的区分误检的前景像素和真正运动目标，但对于积雪背景等场景不太适用。

Minaeian等人[44]提出一种可以高效稳定的检测无人机视频图像中多个独立运动的目标的算法。方法通过跟踪背景关键点来估计相机运动；通过在滑动窗口上集成局部运动历史函数及时空差分进行前景分割从而检测多个移动目标；检测时间间隔根据经验法则及相机参数进行动态调整。试验表明该方法可以准确实时的检测出多个运动目标，同时该方法也适用于传统固定摄像头。

Teutsch等人[45]利用图像堆叠方法去除无人机视频图像中对移动物体产生干扰的图像结构，解决视频中小型移动物体在运动目标检测过程中出现模糊和失真的现象。对用提出的图像堆叠方法进行处理后的数据进行运动目标检测，从而提高检测精度，相比直接进行运动目标检测得到的结果，错检和漏检情况的数量可减少超过每秒3次。

Kalantar等人[46]提出了一种从无人机视频图像中检测多个运动物体的新方法，即匹配区域邻接图的轨迹检测运动目标。将视频帧分割成均匀区域，构造区域邻接图以表示每个帧；使用多图匹配算法在连续帧之间匹配相应的区域并在帧组中处理所有匹配的区域；利用图形着色算法最终将对象标记为背景区域或运动目标。算法的核心思想是，背景和前景运动物体在图像中表现出不同的运动特征，因此可通过预期它们的空间距离随时间变化有效地检测出具有不同运动模式的多个移动物体和背景区域。

除此之外，还有基于图像边缘信息的方法和基于形态学的方法等可用于无人机视频图像的运动目标检测。

5 分析与讨论

无人机的飞行状态除去起飞和降落之外，大致可分为悬停状态与巡航状态，在这两种状态下获得的视频图像具有不同的特点[47]。无人机在悬停状态可以基本实现稳定的拍摄视频，但机翼旋转和外界风力影响会使画面出现抖动，导致视频背景存有不规律运动；无人机巡航状态指的是无人机进行前飞、后飞等平移飞行状态，在此时拍摄的视频图像中，图像在短时间内偏移量很大，除运动目标外，背景也存在大幅变化和运动，适用于固定摄像机的传统图像处理方法均不能很好的解决无人机视频图像的运动目标检测问题。

运动目标检测算法种类繁多，学者对其的改进也层出不穷，但目前仍没有一类算法可以良好适应各类环境，每一种算法都有所针对。

对于帧差法而言，阈值是帧差法中的关键参数，阈值合适与否决定了检测结果的是否准确，阈值的选取通常依据图像各处的灰度值得出。帧差法的优势在于算法简单，计算量小，运行速度快，当图像稳定时检测结果较好；劣势在于极易受光照变化和噪声的影响，并且当运动目标速度过快或过慢时都无法准确检测；因此，帧差法适用于背景较为稳定的情况，如无人机在悬停状态下拍摄的视频图像，此时的画面较为稳定，可以获得较好的检测结果。

背景建模法相比帧差法，算法原理复杂，计算量大，在实时处理中不占优势，但适用场景更为广泛，它可以较好的适应视频中背景不断变化的场景，无论是无人机悬停状态拍摄的视频中不断晃动的树叶或水面，还是巡航状态中拍摄的背景不断出入的视频；同时对画面本身的微小抖动也有一定的适应性；但背景建模法普遍存在当实际背景与背景模型差较大或者光照变化较大时，算法的检测精度会大幅下降。Vibe算法是背景建模法的特例，算法简化了模型建立、更新的过程，不仅提高了检测速度，还可以较好的应对背景突变的情况；缺点是由于可能采用了运动物体的像素初始化样本集，容易产生拖影区域。随着模型的不断更新，拖影区域会不断消失，检测效果愈加稳定，这说明算法在背景模型更新上具有一定的优势。

光流法在理想状态下检测效果较好，而在实际中，算法对噪声、阴影、遮挡、光照等干扰因素的抵抗性较差，不借助其他手段，光流法检测出的目标会出现内容缺失的情况[48]。最重要的是，光流法是传统运动目标检测算法中的复杂度最高的一种，处理大量数据如视频图像或进行实时运动目标检测需要设备支持。

后续出现的新型算法，只对无人机视频图像存在的某方面干扰因素有一定的鲁棒性。而在真实场景中，干扰因素通常是复杂和多方面的。如何能将这些手段融合，以便可以同时应对场景中多个干扰因素，将是进一步研究的重要关注点[49]。

综上所述，各算法分析结果可总结为表3。

表3 无人机视频图像运动目标检测算法对比Tab.3 Comparison of moving target detection algorithms for UAV video images

续 表

6 结 论

本文主要探讨了基于无人机视频图像的运动目标检测中存在的问题以及近年来提出的一些算法。对于利用传统数据如监控视频等开展运动目标检测工作的算法已经成熟，但面对新的数据采集设备(无人机)姿态多变、获取的视频数据特点各异干扰众多的情况，现有运动目标检测算法在实际中显得有些“力不从心”。尽管逐渐有学者提出改进方案，目前仍没有可以广泛用于无人机不同状态下获取的视频图像的运动目标检测,特别是当检测结果常出现错检、漏检、多检、运动目标等情况，这表明没有一种方法可以将画面中所有的运动目标完整的检测出来。当处理无人机拍摄的数据时，需要根据无人机的运动信息和图像特点仔细选取合适的算法，才能获得较好的检测结果。

无人机技术相比传统卫星手段，弥补了卫星数据受天气、时间等限制造成的区域部分信息缺失，同时相比固定摄像头拍摄，无人机的高机动性可以使数据采集不受地域限制，变得更为“灵活”。同时，视频数据无论从内容上或是时间上，比单独几幅影像含有更加丰富的信息，特别是卫星逐渐开始发展视频功能[50]，将会极大扩展视频数据来源，未来可以与卫星视频图像相结合，研究适用性更好的运动目标检测算法。