毫米波雷达与视觉传感器信息融合的车辆跟踪

胡延平 刘 菲 魏振亚 赵林峰

1.合肥工业大学机械工程学院,合肥，2300092.合肥工业大学汽车与交通学院，合肥，230009

0 引言

在所有交通事故中，追尾事故占比最高，高达30%[1-2]。为减少追尾事故的发生，基于毫米波雷达检测的跟踪算法越来越多地应用在车辆纵向防碰撞预警系统(forward collision warning system，FCWS)中，国内外学者对此进行了大量的研究。文献[3-4]采用基于CV/CA(constant velo-city/constant acceleration)车辆运动模型的卡尔曼滤波(Kalman filter，KF)算法对前方车辆的运动状态进行跟踪与预测，其中，文献[4]解决了有杂波情况下的目标滤波问题。文献[5]针对车辆在行驶过程中经常面临的减速、超车等复杂交通状况，采用基于当前统计模型的自适应卡尔曼滤波器对目标进行跟踪，以期减小跟踪误差。车辆在行驶过程中，运动状态经常发生改变，采用单一运动模型模拟车辆运动状态是不现实的，因此文献[6]提出了交互多模型算法，通过几种运动模型模拟目标的运动状态，提高了跟踪精度。基于雷达的目标跟踪算法具有一定可行性，但雷达不具备模式识别能力且雷达检测结果存在虚假目标，易产生误报，造成驾驶员精神紧张。为弥补单传感器的设计缺点与局限性，不少学者相继提出多传感器融合概念。文献[7-10]利用毫米波雷达与摄像机的信息融合来检测前方车辆，首先通过空间坐标转换将雷达目标映射到摄像机图像中，然后，确定雷达目标在图像中的目标兴趣区域(region of interest, ROI)，最后使用不同检测算法在雷达ROI中进行车辆检测。文献[8-10]提出不同算法来细化检测车辆的边界、校正雷达ROI位置，进一步缩短车辆检测时间。此类方法通过缩小目标检测区域，极大缩短目标检测时间，有效解决了视觉设备的目标检测实时性差的问题，但这种算法的性能受毫米波雷达能力的限制，一旦目标被雷达遗漏，后面的检测算法将不能检测到车辆。

笔者提出一种基于毫米波雷达与视觉传感器信息融合的车辆跟踪方法。该方法采用雷达与视觉传感器并行的策略，首先通过直接线性标定算法对雷达与视觉传感器进行联合标定，确定二者的空间转换矩阵，并基于视觉图像提取Haar-like特征，利用Adaboost分类算法检测车辆并生成车辆ROI；其次，雷达通过CAN总线采集目标数据信息，通过提出的算法剔除干扰目标后将获取的雷达有效目标投影至视觉图像中并生成ROI，并分析雷达目标ROI的对称性，减小横向位置误差；然后采用提出的目标匹配算法计算视觉传感器获取的车辆ROI与雷达目标ROI的重合率，确定该目标车辆(此类目标车辆称为融合车辆)是否同时被雷达与视觉传感器检测到；最后，通过提出的核相关滤波-卡尔曼滤波(kernalized correlation filters-Kalman filters，KCF-KF)组合滤波跟踪算法对融合车辆进行跟踪。试验结果表明，该算法具有良好的环境适应性与准确率。

1 毫米波雷达有效目标的获取

采用综合宽视角中距离和窄视角长距离的多模式Delphi ESR毫米波雷达最多可探测64个目标，通过计算接收信号与发射信号的时间差来获得探测目标的相对距离、相对速度、方位角。雷达探测的任一目标数据可描述为

x=(r,α,v)

(1)

式中，r为目标与雷达的相对距离；α为目标与雷达的方位角；v为目标与雷达的相对速度。

则当前时刻雷达采集的一帧数据可表示为

X=(x1,x2,…,xn)

(2)

根据获取的雷达目标特征，可将雷达目标分为四类[11]：①非危险目标，造成追尾事故的车辆往往是与本车较近的同车道车辆或相邻车道车辆，较远或其他车道车辆的追尾风险较小，属于非危险目标；②空目标即相对距离为零的目标；③虚假目标，该类目标在极短时间内出现并消失，但实际上并不存在，属于雷达测量产生的噪声；④有效目标，除上述目标外的其他目标。有效目标外的其他三类目标属于干扰目标，若不剔除，既会增加程序计算量，又会对驾驶员的预判产生干扰。先后通过有效目标初选与设定目标生命周期来对目标进行筛选，以改善获取的目标信息质量。

1.1 有效目标的初选

由图1可知毫米波雷达探测范围较广，保留其原始探测范围会在探测到更多目标信息的同时，增加对非危险目标的分析与处理工作量，延长数据处理时间。因此，通过约束雷达目标的纵向、横向范围来减少对非危险目标的处理是非常必要的。将雷达探测目标的相对距离分解为相对纵向距离dY与相对横向距离dX：

图1 毫米波雷达扫描障碍物范围示意图

(3)

再通过设定横向范围Xdist与纵向范围Ydist来约束dX和dY的范围：

(4)

空目标的特征是相对距离为0，相对速度为81.91 m/s，方位角为0°，可通过检验目标相对距离是否大于0来剔除。

1.2 目标有效性检验

雷达工作时存在不稳定性，可能会检测出虚假目标。另外，短暂出现在雷达扫描范围内的目标也会被检测到。为缩短对这两类目标的处理时间，提出目标有效性检验方法，具体步骤如下：

(1)确定待跟踪目标。设定目标连续被探测到的次数FT、目标连续丢失的次数LT，以及FT、LT的判别阈值TF与TL。FT与LT初始值均为0，现规定FT>TF的目标为待跟踪目标。

(2)利用扩展卡尔曼滤波算法预测下一周期目标信息。Xn=(xn,yn,vx,n,vy,n)为描述目标运动的状态向量，xn、yn、vx,n、vy,n分别为第n周期内获得的有效目标的横向相对距离、纵向相对距离、横向相对速度和纵向相对速度。下一周期的目标预测值为

(5)

其中，T为雷达扫描周期，T=50 ms；xn+1|n、yn+1|n、vx,n+1|n、vy,n+1|n为根据周期n计算所得的周期n+1状态值。

(3)计算本周期目标的状态预测值与实际测量值的差值，判断二者是否表示同一目标，即

(6)

式中，xn+1、yn+1、vx,n+1、vy,n+1为本周期有效目标实际测量值；Δx、Δy、Δvx、Δvy为目标实际测量值与预测值之间的准许误差。

若是同一目标，则对应的FT加1；否则对应的FT减1，LT加1。

(4)根据本周期每个目标的FT与LT确定是否继续跟踪。若FT>TF且LTTL，则不再继续跟踪，重新确定跟踪目标。

毫米波雷达安装于试验车保险杠，预先驾驶试验车在城市道路中采集原始目标数据并将其存储于.txt文件中。表1、表2所示分别为同一场景下雷达的原始目标数据与有效目标数据，图2为对应的雷达目标图像。由表1可知，ID为2、7和9的目标短暂出现在雷达扫描范围内，ID为5、7、9、10、12的目标的横向距离均大于3 m，均属非有效目标，如图2a所示。采用上述滤波算法获取的有效目标如图2b所示，其中，设定参数Xdist=3 m，Ydist=150 m，TF=7，TL=20。对比表1、表2可知，该滤波算法可有效剔除超过横向、纵向范围的目标与短暂出现在雷达视野中的目标，减小了干扰目标的影响，为后续的融合输出稳定可靠的目标。

表1 雷达原始目标数据

表2 雷达有效目标数据

(a)原始雷达目标图像 (b)滤波后雷达目标图像

2 基于视觉的车辆检测

采用Adaboost算法[11]对车辆进行检测，由于文献[5]已充分阐述了基于Adaboost算法的车辆检测器的形成过程，因此，下面仅简述车辆检测器训练步骤并展示训练效果。

基于Adaboost算法的车辆检测主要包括3个步骤：正负样本准备、特征提取、训练分类器。首先，准备正负样本并完成样本灰度化与归一化处理，其中，所有样本归一化为相同尺寸(20pixel×20pixel)。正样本为车辆图片，以轿车为主，共3972张；负样本为非车辆图片，如树木、栅栏、路牌等，共8543张。其次，分别从正负样本中提取Haar-like矩形特征并存储在文件中。然后基于Adaboost算法，从Haar-like特征中提取有效特征生成同等数量的弱分类器。最后，将弱分类器加权组合成强分类器。至此，一个车辆检测器即可产生。

在天气晴朗、光线良好的情况下采集3段城市道路视频，以此测试车辆检测器的识别正确率。视频图片输入格式为.bmp，大小为640pixel×480pixel。表3所示为该算法基于3段视频的检测结果，车辆总数指视频中出现的车辆总数；正确检测数指被正确识别的车辆数；误检数指被错误识别的车辆总数；车辆正确识别率PZ指正确检测数占车辆总数的比例，误检率PW指误检数占车辆总数的比例，PZ=91.28%，PW=2.54%说明基于Adaboost算法训练的车辆检测器可有效识别前方车辆。

表3 检测结果统计

3 雷达与视觉传感器检测结果融合

3.1 雷达与摄像机坐标系标定

传统的坐标转换是基于小孔成像的逆向思想、将三维空间中的点映射到像素坐标系的变换，其转换矩阵依赖于摄像机标定中的外参数矩阵与内参数矩阵。由于外参数矩阵可能因车辆俯仰而改变，因此当使用外参数矩阵计算世界坐标系下的视觉目标位置时，可能会出现较大误差，所以，为了高效、方便地解决雷达与摄像机标定问题，本文采用直接线性标定算法[12]解决雷达与视觉传感器间的对准问题。

记录雷达坐标系与视觉坐标系中标记物的位置，在对标记位置进行多次测量的基础上，得到标记位置数据。假设从雷达与视觉传感器共同视场捕获M个雷达目标{Ri=(xi,yi)|i=1, 2, …，M}及其对应的M个像素坐标{Ci=(ui,wi)|i=1, 2, …，M}。记录M组坐标数据并归一化处理之后，进行雷达坐标与像素坐标的转换：

[uw1]T=H[xiyi1]T

(7)

其中，H为雷达与视觉传感器的空间转换矩阵。通过Aih=0求得矩阵A最小奇异值的奇异向量h=(h11,h12,h13,h21,h22,h23,h31,h32,h33)，其中：

Ai=[Ai1Ai2Ai3]T

(8)

3.2 雷达横向位置的修正

毫米波雷达可精确探测目标的相对纵向距离与相对速度，但其横向探测能力较差，这是因为毫米波反射点可出现在探测目标上的任何位置。精确的横向位置可使雷达ROI更完整地包围目标车辆，也是雷达目标与视觉目标准确匹配的重要前提。

预先根据雷达与车辆的距离估计车辆ROI大小：以5 m为间隔，估算0～150 m范围内车辆在图像中所占像素大小，然后，以雷达目标投影到像素坐标系中的位置坐标为中心，画出ROI。现假设雷达投影到像素坐标系中的坐标点为P(x0,y0)。由于雷达安装在车辆保险杠，导致雷达反射回来的目标位置并非车辆中心，而在车辆中心以下，所以需通过坐标修正公式x1=x0,y1=y0-Δl获得雷达目标修正后的投影位置坐标P(x1,y1)，其中，变量Δl随目标相对纵向距离变化而变化，需通过实验确定。

接下来分析雷达目标ROI内图像的对称性，找到目标ROI的对称轴，调整其在图像中的横向位置，使其中心与被探测目标车辆的中心重合。ROI对称性的分析可分为以下3个步骤：遮挡推理、对称检测及对称检验。

3.2.1遮挡推理

对象被遮挡时，视觉传感器只能获取其部分未被遮挡图像，对此进行对称性分析，很容易出现对称轴错误检测，增加不必要的处理时间。

假设ROI1和ROI2分别为2个不同探测目标对应的感兴趣区域，假设ROI1左上角与右上角的坐标分别为(a1，b1)、(c1，d1)；ROI2左上角与右上角的坐标分别为(a2，b2)、(c2，d2)。根据以下步骤，判断ROI1和ROI2是否存在相互遮挡。

(1)判断ROI1与ROI2是否相交。若ROI1与ROI2相交，则其相交结果必然是一个矩形。假设ROI1与ROI2的相交矩形为R，矩形R左上角与右上角的坐标为(a，b)、(c，d)。参数a、b、c、d满足

(9)

(2)ROI1与ROI2的相交面积Ajion1=(c-a)(d-b)，若Ajion>min(A1,A2)/3(A1、A2分别为ROI1和ROI2的面积)，则继续执行步骤(3)；否则判定ROI1与ROI2没有相互遮挡。

(3)分别计算ROI1与ROI2的面积，并比较ROI1与ROI2相应目标的纵向距离。若该目标ROI的面积较小且其对应的纵向距离更大，则认为拥有较小ROI的目标被遮挡，否则未被遮挡。

3.2.2对称检测

(1)确定对称轴搜索范围。雷达横向探测距离误差较大，导致投影在像素坐标系中的点可能会出现在车身任意位置，因此扩大对称轴搜索范围以防止原ROI范围内不存在车辆对称轴。现以原ROI为中心，在原ROI左右各扩展一个与原ROI大小相同的ROI，将此区域命名为ROIS，ROIS即为对称轴搜索范围。

(2)对称检测。在对称轴搜索范围内扫过与原ROI大小相同的窗口，扫描步长为D，利用求和归一化互相关匹配(summed normalized cross-correlation，SNCC)算法计算每个位置的对称相关值。对称相关值的峰值所对应的横坐标即为雷达目标ROI对称轴位置。

3.2.3对称检验

以对称相关值的峰值位置为基准，分别向上、下、左、右扩展，形成与原ROI大小一致的区域，将该区域命名为ROID。

由图3a可知，雷达反射点并非车辆中心，生成的ROI产生位置偏移。利用上述对称轴检测算法，在对称轴搜索范围内，从左向右移动固定位移，并计算位移为XS时对应的SNCC值，从而得到图4所示的该车辆ROI的对称度曲线,图中的曲线峰值对应位置为ROI对称轴所在位置，ROI横向位置改进后的图像如图3b所示。

(a)改进前 (b)改进后

图4 车辆感兴趣区域对称度曲线

3.3 毫米波雷达与摄像机的目标匹配

本文通过计算雷达目标ROI与基于视觉检测的车辆ROI的重叠率来判断该车辆是否被雷达与视觉传感器同时检测到。假设ROI3、ROI4分别为雷达目标ROI与摄像机目标ROI，判断ROI3和ROI4是否为同一目标的步骤如下：

(1)结合式(9)判断ROI3与ROI4是否相交，若相交，则执行步骤(2)；若不相交，则ROI3与ROI4所包围的车辆不是雷达与摄像机共同检测车辆。

(2)采用Ajion2=(c-a)(d-b)计算ROI3与ROI4相交矩形面积。

(3)计算重合率S，即Ajion2与ROI3面积A3的比值：

S=Ajion2/A3

(10)

先根据试验估计阈值ΔS，若S>ΔS，则ROI3与ROI4对应同一目标。以10 m为间隔，统计目标位于不同距离时，雷达与摄像机目标检测区域的重合率，20次试验的统计结果如表4所示，为保证目标匹配结果的准确性，应适当减小ΔS。

表4 雷达与视觉共同检测区域的重合率

(4)将雷达目标ROI与摄像机目标ROI的相交矩形作为融合车辆ROI。

3.4 基于KCF-KF组合滤波算法的车辆跟踪

核相关滤波器(kernelized correlation filters，KCF)跟踪效果好且实时性高，但出现遮挡、快速运动、方向改变等多种情况时，KCF跟踪器可能无法跟踪目标车辆，出现目标车辆跟踪丢失的情况。针对该缺点，采用KCF-KF组合滤波算法跟踪目标车辆。确定目标车辆后，KCF算法、KF算法分别对目标车辆进行跟踪。若目标车辆短暂离开视野，导致KCF跟踪车辆的方框丢失或方框中心坐标与原先方框中心坐标相差过大，则使用卡尔曼滤波器预估方框中心坐标；若目标车辆重新回到视野中，则继续使用KCF算法跟踪目标车辆；若坐标偏差存在一段时间，则认为是物体自身运动变化，继续使用KCF算法跟踪目标车辆；若方框丢失时间过长，则认为目标已离开视觉检测区域，重新确立跟踪目标。

3.4.1KCF跟踪器

核相关滤波算法[13]是相关滤波算法的一种。KCF算法在目标跟踪过程中训练目标检测器，属于鉴别式跟踪算法。首先利用循环矩阵在目标周围区域采集正负样本，并利用脊回归对目标检测器进行训练；然后采用目标检测器检测下一帧图像中的目标位置；最后采用新检测结果去更新训练样本，进而更新目标检测器。训练目标检测器时，一般选取目标区域为正样本，目标周围区域为负样本。

3.4.2卡尔曼滤波器

卡尔曼滤波器的输入是跟踪方框中心的坐标(x，y)。在目标跟踪过程中，卡尔曼滤波算法通过t-1时刻系统状态信息来预测t时刻的系统状态。

t时刻的系统状态由方框中心坐标值组成：

Xt=[xtytΔxtΔyt]T

(11)

式中，Δxt为时刻t与时刻t-1对应横坐标的差值；Δyt为时刻t与时刻t-1的纵坐标差值。

卡尔曼滤波算法分为预测阶段与更新阶段。先根据系统之前状态规律预测出当前时刻的系统状态值，再通过比较系统预测状态值与实际测量状态值来减小预测误差。利用系统之前的状态值对下一时刻系统状态进行预测：

Xt|t-1=AXt-1|t-1+Bu(t)

(12)

其中，Xt|t-1是基于t-1时刻的预测结果，Xt-1|t-1是t-1时刻对应的最优状态结果或初始状态，B为控制矩阵。注意，若系统没有控制输入，则状态控制矩阵u(t)可以忽略。

接下来则更新Xt|t-1对应的协方差矩阵：

Pt|t-1=APt-1t-1AT+Q

(13)

式中，Pt|t-1为Xt|t-1对应的协方差矩阵；Pt-1|t-1为Xt-1|t-1对应的协方差矩阵；Q为系统过程噪声。

利用当前时刻的系统实际测量值与测量值计算当前时刻的系统最优估算值：

Xt|t=Xt|t-1+Kt(Zt-HXt|t-1)

(14)

Kt=Pt|t-1H(HPt|t-1HT+R)-1

(15)

其中，Kt为卡尔曼增益；H为测量矩阵；R为测量噪声矩阵。

该跟踪算法是迭代进行的，因此，需实时更新Xt|t对应的协方差矩阵：

Pt|t=(I-KtH)Pt|t-1

(16)

式中，I为单位矩阵。

4 实验结果与分析

天气晴朗时，采集城市道路中车辆正常行驶的视频与雷达数据，以验证毫米波雷达与摄像机目标融合算法与跟踪算法的有效性。毫米波雷达为美国Delphi 76-77GHz电子扫描雷达(electronically scanning radar，ESR)；摄像机选用全瑞视讯的RER-USB13M02，输出图像分辨率为640pixel×480 pixel，帧率为每秒30帧；计算机采用工业控制计算机，处理器型号为Inter Core i7，内存为16GB；系统环境为Windows，编译环境为Visual Stidio，编译语言为C++。

4.1 雷达与摄像机融合结果与分析

图5所示为毫米波雷达与摄像机车辆的检测结果(黄色矩形框为基于车辆检测器生成的ROI，蓝色矩形框为雷达目标横向位置修正后的ROI)。雷达目标ROI与摄像机目标ROI的重合率如表5所示，其中，图5c与图5d的目标重合率按照由左到右的顺序依次计算。对比表4内的重合率可知，图5内的车辆均属于雷达与摄像机共同检测目标，其融合结果如图6所示。

(a) (b)

(a) (b)

表5 重合率计算结果统计

为进一步证明雷达与摄像机目标融合算法的有效性，分别对3个数据集的融合结果采用匹配成功率和误匹配率进行评价。目标匹配成功率P1与目标误匹配率P2分别为

P1=N1/N

(17)

P2=N2/N

(18)

式中，N为雷达与摄像机共同检测目标数；N1为目标成功匹配数目；N2为目标错误匹配数目。

P1越大，融合算法越好；P2越大，融合算法效果越差。表6所示为融合算法在3个数据集下的融合结果，雷达与摄像机目标融合算法效果良好。

表6 雷达与视觉传感器目标的匹配结果

4.2 车辆跟踪结果与分析

为便于说明目标被遮挡的问题，从采集的数据集中选取目标未被遮挡→部分被遮挡→完全被遮挡的特殊场景数据进行分析。如图7a～图7d所示(红色矩形框为雷达与视觉目标匹配后生成的ROI，绿色矩形框为车辆跟踪框)，当被跟踪车辆在第70帧被部分遮挡时，仅采用KCF算法无法对其进行继续跟踪，导致目标丢失。本文算法在被跟踪车辆遮挡时，采用卡尔曼滤波算法对融合车辆的ROI中心位置坐标进行跟踪，从而实现稳定跟踪融合车辆，图7e～图7h中显示的坐标为利用卡尔曼滤波预测的车辆坐标。

(a) (b) (c) (d)

记录随着图片帧数递增的车辆实际坐标与跟踪坐标(xS，yS)的变化，图8、图9所示分别为KCF算法与KCF-KF组合滤波算法的跟踪融合车辆。0～69帧时，目标车辆在道路上稳定行驶且未被遮挡，KCF算法与KCF-KF组合滤波算法均能稳定跟踪融合车辆；70～78帧时，目标车辆由部分遮挡过渡到完全遮挡，KCF算法无法继续跟踪目标车辆，KCF-KF组合滤波算法利用KF算法继续跟踪目标车辆ROI的中心位置坐标，直到恢复KCF模式。

图8 KCF算法跟踪目标车辆

图9 KCF-KF组合滤波算法跟踪目标车辆

如图10所示，采用KCF-KF算法跟踪目标车辆，坐标误差更小，跟踪精度更高。车辆位置坐标跟踪的准确率P3=W1/W2，其中，W1为预测坐标，W2为实际坐标，P3越大，算法跟踪效果越好。该算法对X坐标、Y坐标的跟踪准确率97.34%与95.19%。70～78帧时，目标车辆被短暂遮挡，但是KCF-KF组合滤波算法仍能稳定跟踪目标车辆。

(a)横坐标误差

5 结论

(1)提出的滤除雷达干扰目标算法可剔除空目标、非危险目标及虚假目标，获取有效目标。

(2)为减小与基于视觉检测的车辆兴趣区域(ROI)的匹配误差，提出一种改进雷达目标ROI横向位置算法来对雷达映射至视觉图像中的ROI进行对称性分析。

(3)提出一种目标匹配算法来计算视觉传感器获取的车辆ROI与雷达目标ROI的重合率，确定雷达与视觉传感器共同检测的车辆。利用核相关滤波与卡尔曼滤波联合跟踪算法对融合车辆进行跟踪。研究结果表明，在光照良好的情况下，该算法跟踪效果良好，具有较强适应性与较高准确率。