基于多边形顶点单应映射的多摄像机前景融合实时运动目标检测*

任 劼 ，许 铭 ，赵慧民

(1. 西安工程大学电子信息学院，陕西 西安 710048;2. 西交利物浦大学电气与电子工程系，江苏 苏州 215123;3. 广东技术师范学院电子与信息学院，广东 广州 510665)

基于多边形顶点单应映射的多摄像机前景融合实时运动目标检测*

任 劼1，许 铭2，赵慧民3

(1. 西安工程大学电子信息学院，陕西 西安 710048;2. 西交利物浦大学电气与电子工程系，江苏 苏州 215123;3. 广东技术师范学院电子与信息学院，广东 广州 510665)

采用多摄像机多平面单应前景映射融合的方法可以减小目标遮挡所造成的影响并提高目标检测的准确性和可靠性。采用传统的前景图单应变换是一个图像级的运算，需要将前景图中的全部像素逐一投影到参考视角中。为了消除透视效应产生空洞区域，还需根据分辨率较高的参考视角反映射的方法确定前景投影图。由于计算量较大，处理无法应用到实时目标检测中。该文提出了一种前景轮廓多边形顶点映射的方法，首先对在单摄像机中检测出的前景进行多边形逼近，只对前景多边形的顶点进行单应映射，最后在参考视角中根据映射顶点进行前景重构，提高前景映射的运算速度以满足多摄像机前景融合实时目标检测。实验中，多边形顶点法与传统法、轮廓法、矩形框法进行了比较。实验表明，重构的前景映射图不仅可以有效地逼近图像级单应变换的前景映射图，而且在运动目标大小不同的情况下，多摄像机前景融合目标检测的运算速度可以分别提高约12和69倍。

运动目标检测;单应;多摄像机

近年来，加速转型的中国社会所面临的越来越多的不稳定因素，以及社会治安防范的日益复杂，视频监控需求呈快速而稳定的增长。传统的实时监控方式需要工作人员在布满监视器的监控室中工作并对特殊事件做出预警，效果很大程度上依赖于当前监测者的主观意识、反应速度和疲劳程度。智能视频监控作为人工智能和机器视觉的一个研究方向，引起了广泛的关注。智能视频监控系统的目标就是可以自动并实时完成对目标的检测、跟踪、分类和识别，对可能发生的异常情况发出预警信号，以帮助监控人员快速做出应对，对存储的各种视频进行快速恢复、寻找查询和分析[1-2]。

根据所采用的摄像机的数目，智能监控系统可分为单摄像机和多摄像机两类。如果采用单摄像机，典型的视频监控系统需要承担的工作分为运动物体检测、目标跟踪、目标分类和特殊事件检测。视频序列中的运动物体可通过前景检测的办法逐帧进行检测并利用时空关系进行跟踪。被跟踪目标的特征信息在被提取后，利用设定的特殊事件触发条件进行判断，当特殊事件发生时将会产生预警信号。

当运动物体在屏幕中是单一无遮挡时，单一摄像机可以轻松完成上述各种工作。在现实应用中，来自其他运动物体的动态遮挡和来自树木、建筑物等障碍物的的静态遮挡会严重影响智能监控的结果。考虑到当一个运动目标在一个摄像机中被其它物体遮挡时，在其它不同位置的摄像机中观测时可能不会产生遮挡现象，利用多摄像机协同监测可以有效地缓解遮挡带来的影响。由于多摄像机可被安置在不同的地点以检测不同的区域，采用多摄像机还可以扩大监测区域。基于多摄像机视频监控的优越性，对多摄像的智能视频监控系统的研究有着重要的现实和理论意义。

1 文献综述

根据多摄像机信息融合的程度，国内外研究多摄像机目标检测和跟踪的文章可被划分为低度融合、中度融合和高度融合三类。

1.1 低度融合

采用低度信息融合方法的视频监控系统主要是采用多摄像机切换的办法来解决单一摄像机监测时视野受限的缺陷[3]。具体办法是首先利用某一摄像机进行目标检测与跟踪，当监测到当前视角在目标的运动过程中不再具有良好的检测效果或目标离开当前摄像机的视角范围时，需要切换到另一台摄像机进行检测与跟踪。在这一类方法中，目标的检测和跟踪是由不同的摄像机完成的，在同一时间只有一个摄像机负责监控，摄像机之间几乎没有信息融合。所以多摄像机切换的方法仅仅是增加了视角覆盖范围而无法缓解由于遮挡所带来的影响。

1.2 中度融合

当同一运动物体在不同摄像机中的对应关系被确定后，在不同摄像机中检测到的运动轨迹或运动物体的观测信息就可以被融合到参考视角以提高检测和跟踪的可靠性。研究者们常采用中心投影[4-5]、极线法和单应变换法等几何约束的方法来建立不同摄像机之间的对应关系[6-10]。

采用运动轨迹融合的方法中，Khan和Shah[11]在建立了不同摄像机之间的对应关系后，将各个摄像机视角中所检测到的目标的运动轨迹映射到一个虚拟的顶视图平面进行融合，以提高目标检测和跟踪的准确性。这类方法的缺陷是在一个视角的跟踪结果不会被用来提高其他视角中跟踪的可靠性。

改进的算法中目标跟踪不再由单一摄像机执行，而是先将各个摄像机中所检测到的特征信息投射至参考视角并融合，然后在参考视角内利用融合后的信息进行全局的目标检测与跟踪。各摄像机视角中所获取的检测特征大致可以分为：点[6]、线[8,12]、区域[13-14]。Mittal and Davis[5]利用前景区域和对极线相交的线段的颜色信息寻找匹配区域。Hu等[8]用主轴的方法可以缓解前景检测误差所带来的影响。

1.3 高度融合

Fleuret等[15]将地平面划分成了小的栅格，每个小栅格的大小由该摄像机中行人所对应的矩形区域的平均大小决定；随后根据每个栅格中运动目标像素所占的比例计算出了地平面占有率图。Khan和Shah[16]将各单视图的前景似然率图通过基于地平面的单应变换投射至一个参考视角，然后在参考视角中对其进行叠加，并利用设定的阈值在参考视角中确定行人在地面的位置。随后，基于地平面的单应变换被拓展至一系列在一定高度且平行于地平面的虚拟平面的单应变换，以提高目标检测的可靠性。文献[17]同样采用了包括地平面在内的3层单应平面通过多摄像机的前景似然率图融合对行人进行定位，实现稳定跟踪。Eshel和Moses[18]将不同摄像机的各像素根据头顶平面的单应变换映射至虚拟的头顶平面，然后根据投射至同一点的来自不同摄像机的各像素的灰度信息建立超级像素，利用超级像素的匹配结果来确定运动目标的位置。Peng等[19]将不同摄像机视角中检测出来的前景区域根据地平面映射至虚拟顶视图中进行融合后，将相交区域根据行人高度所决定的虚拟平面反映射回各摄像机视角，利用贝叶斯网络进行检测和跟踪。

传统的单应映射方法是一种图像级的变换，摄像机视图中的每个像素需通过单应变换被逐一投射至参考视角中。为了避免在参考视角图像中由于透视效应产生空洞区域，一般采用将参考视角中的每一个像素反映射回摄像机视图，如果反映射的像素点在摄像机视图中，则用摄像机视图中的像素值填充参考视角中对应像素点的值。这样，所需要进行映射变换的像素的数量需由参考视角图像的分辨率来确定。在实际应用中，常作为参考视角的顶视图由于要覆盖较大的区域通常具有更高的分辨率，使这种逐像素的映射在计算和传输过程中所需的时间较长，造成其难以适用于实时检测中。如果采用多摄像机以及多个高度平面单应变换融合的算法，所需要的时间将会成倍增加。

为了改进上述缺陷，本文提出了一种基于多边形近似逼近算法的多层单应变换融合算法用于多摄像机目标实时检测，并采用了两组不同的序列对所提出的算法进行了有效性和可靠性的评估。在与传统的图像级变换法、矩形框法和轮廓法进行比较后，实验结果表明所提出的方法在保证了可靠性的同时，除了可以有效地降低所需要的时间外，还具有时间及精度可控的优点。

2 单应估计

单应关系是基于同一平面(单应平面)的两个视角图像之间的映射关系。通过选取其中的一幅图像作为参考视角图像，可以将另一幅图像投射至参考图像进行图像融合。除了可以选取摄像机捕获的图像作为参考图像外，还可以选取合成俯视图像或空中俯视图像作为参考图像以获取更大的视野范围。设(uc,vc)是在摄像机视角c下图像中单应平面上的一点，其在顶视图中的对应点为(ut,vt)，pc=[uc,vc,1]T和pt=[ut,vt,1]T是这两点的其次坐标表示，则它们之间的单应变换可表示为：

(1)

(2)

其中，符号≅在单应变换中存在一个缩放因子。Pc和Hc,t中的上标c为摄像机的标号，c=a,b。由于在本文中采用了虚拟的顶视图作为参考视角图像，pt和Hc,t中的上标t指顶视图。两幅图之间的单应关系矩阵可根据两幅图像中相关的点、线或椭圆等特征的对应关系计算。本文采用了一系列手工选取的对应点进行摄像机校准，从而求出单应矩阵。

2.1 地平面单应矩阵估计

由于单应变换是投影变换在一定约束条件下的简化形式，所以在对摄像机进行标定后，摄像机的投影矩阵可被用来直接计算基于地平面的单应矩阵。设pw=[Xw,Yw,Zw,1]T是三维空间中的一个点，pw映射到图像中的对应点Pc的关系可通过一个投影矩阵M表示：

(3)

其中m1,m2,m3,m4各是一个3×1的向量，M是由摄像机标定所得的内外参数构成的3×4矩阵。

(4)

(5)

(6)

2.2 多平面单应矩阵估计

在单应变换中不仅可以采用地平面作为单应平面，选取平行并高于地平面的一组虚拟平面作为单应平面时，图像之间的单应变换依旧存在。当摄像机标定后，多平面单应关系矩阵依旧可以从摄像机投影矩阵直接产生。当不采用摄像机标定时，多平面单应关系矩阵可根据地平面单应矩阵和垂直方向的消影点[16]、四个共线的点的交比关系或4个杆子上具有不同高度标示点求得[17-18]。除此之外，多平面单应矩阵还可以通过一系列在头顶和脚底点之间根据高度比例线性内插的点求得。

(7)

对比公式(4)和(7)可知，基于h高度平面的单应矩阵可由基于地平面的单应矩阵与投影矩阵M中的第三列元素乘以给定的高度h求得：

(8)

其中，[o]是一个3×2的全零矩阵[20]。

3 单摄像机前景检测与表示

3.1 前景检测

前景提取的目的是根据背景图像将运动的物体从每帧图像中提取出来，其提取效果主要由背景模型决定。混合高斯模型可以有效地抑制如树叶摆动等背景元素的轻微变化，被广泛地应用在前景提取中[21]。本文采用K个高斯分布对每一个像素的彩色值进行建模，设一个像素在时刻t的颜色取值为pt=[Rt,Gt,Bt]T，该像素取该值的概率为：

(9)

(10)

在t时刻，图像帧It中的每个像素It(r,c)与背景模型进行比较，如果其值与B个分布的中心的差值都大于该分布标准差的ThB倍，则该像素被判断为一个前景像素。ThB可根据经验选取，通常为2.5,且j∈[1,B]。

(11)

如果一个像素被判断为背景像素，即它能与已有的K个分布中的一个匹配上，则需要对与其匹配的分布进行更新。如果背景像素与已有的K个分布中都匹配不上，则需建立新的分布，并在对权重更新后重新对各分布进行排序。检测出的前景像素在经过连通成分分析、形态学运算、尺寸滤波后形成前景区域。

3.2 前景多边形逼近表示

4 基于地平面的多摄像机前景融合

4.1 多边形映射

(12)

(13)

如果将摄像机用一个光源替代，每一个目标在顶视图的前景映射区域就可看作是在光源作用下物体在地面上的影子，即由地平面与物体轮廓投影的相交区域。图1为基于地平面的单摄像机单应投影示意图。类似的方法可以在文献[24-26]中找到。

图1 基于地平面的单摄像机单应投影示意图Fig.1 Schematic diagram of the homography projection according to the ground plane

4.2 多摄像机融合

当采用多个摄像机时，多个摄像机分别检测出来的前景图在投射至顶视图后进行叠加就可得到多摄像机的融合图。由不同摄像机视角产生的前景投影区域可能会在顶视图中相交，相交区域在融合图中得到增强：

(14)

式中，c是摄像机的标号,c=a,b。

当顶视图中的前景投影区域来是来源于不同视角的同一运动物体时，它们的相交区域显示了该运动物体在顶视图中接触地面的位置。图2是一个行人的双摄像机融合和相交的示意图，其中两个前景投影区域相交于的黑色区域是目标站立在地面上的位置，但其形状、尺寸和目标的横截面并不完全相同。

图2 基于地平面的双摄像机单应投影融合和相交的示意图Fig.2 Schematic diagram of the overlaid foreground projections and the intersection region

4.3 多平面融合

为了提高多视角融合目标检测的可靠性，可采用与地面平行的一系列不同高度的虚拟平面作为单应平面。如采用h作为平面下标，基于多平面的多视角前景融合顶视图可以表示为

(15)

在获取各目标在顶视图中的位置时，可采用一系列根据经验设定的阈值进行判断。如果融合顶视图Ft中的某一个像素值大于给定的阈值Thi，该像素即为前景像素。最后经过连通区域分析、形态学处理和尺寸滤波，就可将检测出来的前景像素转换成代表目标位置的前景区域，完成顶视图中的目标检测。

(16)

5 实验结果及分析

本文采用了两组视频序列对所提出的多视角实时运动目标检测算法进行测试，并将基于多边形顶点的前景映射法与基于图像、轮廓、矩形框的前景映射法进行比较，对算法的有效性和可靠性进行评估。实验中同样对算法的运行时间进行了测试，以评估其实时性。序列一是在校园中采集的，两个摄像机离运动目标较近，所以检测出的前景区域的尺寸较大。序列二是标准序列，摄像机被架设在路边的建筑物上，所以检测出的前景区域较小。

5.1 校园序列

校园序列中，每个视角视频采用的分辨率为像素，帧率为15帧/s。视频中共有2 790帧，由于前660帧不存在目标或只存在单目标，实验只对后2 155帧每隔15帧处理一次。顶视图的分辨率为840×1 000像素。

图3所示为前景区域提取和前景区域的多边形近似结果，图3(a)和3(b)为原图及所提取的前景图。实验测试了不同的近似距离ε来控制顶点的个数，图3(c)和3(d)中采用的ε分别为0和2个像素。其中绿色的线条为前景区域的轮廓，红色的点为多边形近似后的顶点。

图3 前景区域检测及多边形近似结果Fig.3 The foreground polygon approximation results

设第k帧的原始前景图像为Ftemp,k，经过近似后重构的前景图像为Fpoly,k，

(17)

(18)

式中，#()表示计算非0像素的个数，c表示补集。

表1所示为采用不同的ε进行前景多边形近似，与前景轮廓(高度近似)和矩形框(非常粗略近似)的时间和准确度比较的结果。如不采用多边形近似，平均每个前景区域的轮廓需要用217.84个像素表示，而矩形框只需要4个像素。采用多边形近似用顶点表示前景区域，随着ε的取值由1增加到10，所需的顶点像素个数由62.73减小到8.87个，但所需的处理时间并没有明显的降低。多边形近似可准确地重建检测出的前景区域，准确度随着ε值的减小而提高。采用矩形框法会造成非常多的错误映射像素。

表1 前景多边形近似、轮廓、矩形框近似性能比较

经过多边形近似后，多边形的顶点被投射至顶视图，并根据投射的顶点重构前景投影区域。图4(a)和4(b)分为图3(b)和3(d)在顶视图中的映射结果。采用三种方法获取的像素映射后重构出的前景映射区域的准确率比较结果如表2所示。多边形近似法可以可靠地重建前景映射区域，当ε小于2个像素时，重建结果与轮廓法的准确性相似，更能调节ε取值以灵活选取所需计算和传输的顶点个数。

图4 前景区域图像级映射和多边形近似映射结果比较Fig.4 Foreground projection results

表2 前景多边形近似、轮廓、矩形框映射准确率比较

Table2Thecomparisonresultoftheaccuracyforthepolygonprojectionwithdifferentwithdifferentdistance,

thecontourmethodandtheboundingboxmethod

项目轮廓多边形近似距离ε(像素)1 02 05 010 0矩形框RFN/%3 093 023 264 966 160 01RFP/%2 983 073 264 519 6978 72

当采用多个摄像机时，顶视图中的前景映射区域叠加后即可得到顶视融合图，所采用的单应平面可以是地面或与地面平行的一系列虚拟平面。图5为两个视角下，对第1 275帧根据不同高度平面进行前景映射至顶视图叠加的结果。所采用平面的高度分别为：0m(地平面)，0.75m和1.5m。

图5 根据不同高度平面映射叠加的结果Fig.5 Fusion of the foreground projections according to the homographies for a set of parallel planes at different heights

图像法和多边形近似法的时间评估主要分三部分：① 两个摄像机的前景检测；② 两个摄像机的前景投影；③ 顶视图中前景映射融合。本文主要是对第二部分进行了改进，两种算法的时间比较结果如表3所示。相比于图像级映射所需的71.56s处理142帧，采用多边形近似法后映射只需要1.03s，其计算速度是图像级的69.47倍。

表3 图像法与多边形近似法投影时间比较

根据公式(16)，可计算叠加区域中的相交区域。图6 所示是根据多高度平面映射叠加的结果(图6(a))，及取不同阈值时的相交区域结果。选取不同大小的阈值会对影响相交区域的结果，图6(b)和6(c)的阈值分别取255和210。阈值Thi可根据经验选取，或根据所采用单应平面的层数D自动选取：

Thi=255D-1(D-1)

(19)

图6 根据多高度平面映射叠加及使用不同阈值时的相交区域结果Fig.6 Overlaid foreground projections from two camera views and intersection regions identified with differnet thresholds Thi

图7 采用序列2的多平面前景单应映射融合运动目标检测结果Fig.7 Object detection by foreground fusion for multi-plane homographies using PETS’ 2001 datasets

5.2 PETS’2001序列

PETS’2001序列是由英国金斯顿大学公布的视频监控的一组标准序列，实验中摄像机视角和顶视图分别选用了384×288像素和500×500像素的分辨率。图7为采用标准序列的两个视角前景多层单应的运动物体检测过程，其中，(a)(b)是前景轮廓， (c)(d)是前景区域，(e)是前景映射融合，(f)是顶视图中的运动目标检测结果。由于摄像机架设得较远，图像中运动物体的尺寸较小，实验中ε的取值变化为0.5～2像素。实验结果显示漏报率由2.9%增加至4.4%，虚警率则由4.8%增加至5.4%，同样可以精准地重构映射的前景区域。处理一帧算法所需运行时间为8.5ms，相比基于图像级映射所需的108.5ms，提高12.8倍。

综合以上两个测试数据集的实验结果，本文提出的算法在运动目标尺寸较大或较小的情况下，均能可靠地重构出映射的前景区域，完成基于多摄像机多平面单应前景映射融合的目标实时检测。随着参考视角分辨率的增高，相对于传统的图像级单应变化，其运算速度的提高会更加显著。

6 总 结

本文提出了一种实时的多摄像机目标检测算法。为了解决摄像机信息高度融合时，传统的图像级单应变换对像素逐一映射所带来的速度慢的缺点，本文采用了基于前景轮廓多边形逼近，只对多边形的顶点进行单应映射，并在参考视角中根据映射顶点进行前景重构。实验表明，重构的前景映射图不仅可以有效地逼近图像级单应变换的前景映射图，而且可以有效地降低运算时间，使基于多摄像机多平面单应前景映射融合的目标检测具有实时性。与基于轮廓和矩形框的重构方法相比，本方法具有更强的可控性或较低的错误映射像素。

[1]WANGX.Intelligentmulti-cameravideosurveillance:Areview[J].PatternRecognitionLetters, 2013, 34(1): 3-19.

[2] 黄凯奇, 陈晓棠, 康运锋, 等. 智能视频监控技术综述[J]. 计算机学报, 2015, 38(6): 1093-1118.

[3] 李熙莹，罗长政，王镇波，等. 高饱和交叉口背景提取与更新算法[J]. 中山大学学报(自然科学版), 2012, 51(3): 23-28.

[4]DOCKSTADERSL,TEKALPAM.Multiplecameratrackingofinteractingandoccludedhumanmotion[J].ProceedingsoftheIEEE, 2001, 89(10): 1441-1455.

[5]MITTALA,DAVISLS.M2tracker:Amulti-viewapproachtosegmentingandtrackingpeopleinaclutteredscene[J].InternationalJournalofComputerVision, 2003, 51(3): 189-203.

[6] 夏候凯顺, 严娟，叶小朋，等. 基于Kalman滤波的无线传感器网络多目标跟踪[J]. 中山大学学报(自然科学版), 2014, 53(2): 18-22.

[7]BLACKJ,ELLIST,ROSINP.Multiviewimagesurveillanceandtracking[C]∥ProceedingsoftheIEEEWorkshoponMotionandVideoComputing, 2002: 169-174.

[8]HUW,HUM,ZHOUX,etal.Principalaxis-basedcorrespondencebetweenmultiplecamerasforpeopletracking[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2006, 28(4): 663-671.

[9] 林青, 范晶晶, 胡波. 多摄像头目标跟踪动态单应投影方法研究[J]. 复旦大学学报, 2015, 50(4): 501-510.

[10] 高翔, 朱婷婷, 刘洋. 多摄像头系统的目标检测与跟踪方法研究[J]. 计算机技术与发展, 2015, 25(7): 221-225.

[11]KHANS,SHAHM.Consistentlabelingoftrackedobjectsinmultiplecameraswithoverlappingfieldsofview[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2003, 25(10): 1355-1360.

[12]KIMK,DAVISLS.Multi-cameratrackingandsegmentationofoccludedpeopleongroundplaneusingsearch-guidedparticlefiltering[M]∥ProceedingsoftheECCV.BerlinHeidelberg:Springer, 2006: 98-109.

[13]ARSID,HRISTOVE,LEHMENTN,etal.Applyingmultilayerhomographyformulticamerapersontracking[C]∥ProceedingsoftheSecondACM/IEEEInternationalConferenceonDistributedSmartCameras, 2008: 1-9.

[14]ALAHIA,JACQUESL,BOURSIERY,etal.Sparsitydrivenpeoplelocalizationwithaheterogeneousnetworkofcameras[J].JournalofMathematicalImagingandVision, 2011, 41(1/2): 39-58.

[15]FLEURETF,BERCLAZJ,LENGAGNER,etal.Multicamerapeopletrackingwithaprobabilisticoccupancymap[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2008, 30(2): 267-282.

[16]KHANSM,SHAHM.Trackingmultipleoccludingpeoplebylocalizingonmultiplesceneplanes[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2009, 31(3): 505-519.

[17] 姜明新, 王洪玉, 刘晓凯. 基于多相机的多目标跟踪算法 [J]. 自动化学报, 2012, 38(4): 531-539.

[18]ESHELR,MOSESY.Trackinginadensecrowdusingmultiplecameras[J].InternationalJournalofComputerVision, 2010, 88(1): 129-143.

[19]PENGP,TIANY,WANGY,etal.Robustmultiplecameraspedestriandetectionwithmulti-viewBayesiannetwork[J].PatternRecognition, 2015, 48(5): 1760-1772.

[20]CRIMINISIA.Single-viewmetrology[M]//AccurateVisualMetrologyfromSingleandMultipleUncalibratedImages.London:Springer, 2001: 69-105.

[21]STAUFFERC,GRIMSONWEL.Adaptivebackgroundmixturemodelsforreal-timetracking[C]∥ProceedingsoftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition, 1999.

[22]SUZUKIS.Topologicalstructuralanalysisofdigitizedbinaryimagesbyborderfollowing[J].ComputerVision,Graphics,andImageProcessing, 1985, 30(1): 32-46

[23]DOUGLASDH,PEUCKERTK.Algorithmsforthereductionofthenumberofpointsrequiredtorepresentadigitizedlineoritscaricature[J].Cartographica:TheInternationalJournalforGeographicInformationandGeovisualization, 1973, 10(2): 112-122.

[24]RENJ,ORWELLJ,JONESG,etal.Trackingthesoccerballusingmultiplefixedcameras[J].ComputerVisionandImajeUnderstanding, 2009, 113(5):633-642.

[25]RENJ,ORWELLJ,JONESG,etal.Real-timemodelineof3-dsoccerballtrajectoriesfrommultiplefixedcameras[J].IEEE, 2008,18(3):350-362.

[26]RENJ,XUM,ORWELLJ,etal.Multi-cameravideosurveillanceforreal-timeanalysisandreconstructionofsoccergames[J].MachineVisionandApplications, 2010,21(6):855-863.

Real-time object detection with foreground fusion from multiple cameras using homography mapping of polygon vertices

RENJie1，XUMing2，ZHAOHuimin3

(1.College of Electronics and Information, Xi’an Polytechnic University, Xi’an 710048,China；2.Department of Electrical and Electronic Engineering, Xi’an Jiaotong Liverpool University,Suzhou 215123,China；3.School of Electronic and Information, Guangdong Polytechnic Normal University,Guangzhou 510665, China)

Multi-camera and multi-plane foreground fusion approach can relieve the effects of occlusion and improve the accuracy and robustness of moving object detection. The traditional homography mapping is an image-level transformation which projects each pixel in the binary foreground image into a reference view. To avoid perspective openings or holes which are generated during the mapping from the camera view to the top view, the number of the pixels in the homography mapping is decided by the resolution of the top view, which is usually higher than that of the camera view. The slow speed has dissuaded the foreground homography mapping from real-time applications. A foreground polygon approximation method is proposed. After the foreground regions are identified in a camera view, each foreground region is approximated by a polygon and only the vertices of the polygon are projected to the reference view through homography mapping. Then the projected foreground region, which is rebuilt in the reference view, is utilized in real-time moving object detection with multiple cameras. To evaluate the performance, the proposed polygon approximation method has been compared with the contour based method and the bounding-box based method. The experimental results have shown that the proposed algorithm can produce competitive results in comparison with those using foreground bitmap mapping. Considering the differences of moving objects’ size, the processing speed is about 12 and 69 times faster than the bitmap mapping method.

object detection ； homography ； multi-camera

10.13471/j.cnki.acta.snus.2016.04.006

2016-02-19

国家自然科学基金资助项目(60975082)；陕西省教育厅科研计划项目(15JK1310)；广东省自然科学基金资助项目(2015A030313672，2016A030311013); 广东省教育厅省级重大资助项目(2014KZDXM060); 广东省普通高校国际合作重大项目(2015KGJHZ021)

任劼(1984年生)，女；研究方向：机器视觉视频监控;E-mail:renjie_xpu@126.com

TP

A

0529-6579(2016)04-0030-09