基于雷视融合的车辆跟踪系统设计研究

陈 强

(广西交科集团有限公司,广西 南宁 530007)

0 引言

随着我国机动车保有量突破4亿辆,高速公路里程数突破16×104km,高速公路的通行效率和通行安全成了智慧高速领域重点的关注对象[1]。对高速公路上的车辆进行跟踪不但可以为高速公路的调度提供有效的数据支撑,提高高速公路的通行效率,还可以对重点车辆进行跟踪,保障高速公路的行车安全。然而,目前的路侧感知通常以单独的视频或者雷达为主[2-3],前者虽然可以提供车辆的有效特征和具体的可视化静态信息,却难以获取精确的车辆行驶速度、位置等动态信息,无法对车辆的进行准确的轨迹跟踪[4];后者虽然可以得到精确的车辆行驶状态,但是稀疏的数据使得其难以标识车辆的类型、颜色等静态信息,且由于缺乏可视化的车辆特征,使其无法快速识别重点车型。因此,高速公路迫切需要一套可以兼顾车辆行驶状态和车辆静态特征的路侧感知系统。

针对这一需求,本文研究设计了一种基于雷视融合的车辆跟踪系统。基于深度学习、数据增强等技术,依托毫米波雷达和高清相机的数据融合,构建一套完整的基于雷视融合的车辆跟踪软硬件系统。系统可以通过融合毫米波雷达和高清相机的数据达到对车辆的精准识别与跟踪,弥补了毫米波雷达或者高清相机等单一路侧难以全方面感知高速公路行驶状态的缺点,为高速公路的高效安全通行提供有效的数据感知支撑。

1 系统总体架构

基于雷视融合的车辆跟踪系统指的是对毫米波雷达和高清交通摄像头数据进行处理及融合,综合二者的数据特点进行车辆精准跟踪。由于系统是对动态多源数据进行融合,数据大且需要较高的实时性,因此需要算法的部署设备与数据采集直接进行链接以降低数据传输的时延。为了降低时延,在设计中采用了边-端的二级物联网总体架构,如图1所示。在前端,毫米波雷达和高清交通摄像头使用刚性较大的结构进行连接,通过位置标定、时间标定同步采集数据。在边缘端,部署毫米波雷达数据的优化算法对雷达数据进行滤波、平滑及修正等数据增强,提高雷达点云数据的检测精度;部署基于CNN的车辆识别算法,提取车辆的车型和颜色等静态信息,以弥补毫米波雷达难以进行车辆识别的问题;通过位置和时间标定参数进行空间坐标系和时间坐标系数据的融合,完成车辆的精准跟踪。在完成雷视融合后,将结果以视频的形式上传到中心。雷视融合系统在全域、全天候进行车辆跟踪的同时,可以得到车辆运行现场的各种信息,为高速公路的应急保障、调度指挥提供直观可视的图像,弥补单一传感器在应用中数据单一的问题,具有较高的应用价值与技术优势。

图1 系统的总体框架设计图

2 系统设计

2.1 前端数据采集系统

雷视融合的前端由一台毫米波雷达和一台高清相机组成,部署在进行车辆跟踪的重要交通路段,对路面数据进行实时采集。在前端,毫米波雷达主要作用是采集高速公路中车辆的行驶速度、空间位置、运行状态、车流量等关键交通信息。然而,毫米波雷达的数据较为稀疏,缺乏可用于车辆颜色、大小、类型的识别数据,难以对车辆本身进行识别判断。高清相机则是一种数据稠密的传感器,可以采集路面上的全部信息,用于车辆特征的提取及提供直观可视的现场数据。

系统前端采用的毫米波雷达和高清相机分别是H1200长距毫米波雷达和HIC2641-FW高清相机。与目前的车辆跟踪与检测传感器包括超声波雷达、激光雷达、双目相机等设备相比,毫米波雷达具有跟踪目标多、数据量小、抗干扰能力更强等优点。(1)与超声波雷达相比,H1200长距离毫米波雷达可以同时跟踪多达512个目标,可以保证系统在交通繁忙的路段进行多车跟踪。(2)与精密的激光雷达相比,H1200长距离毫米波雷达具有更好的抗雾、烟、灰尘等干扰的能力,具有规模更小的点云数据和更好的可维护性能。(3)与双目相机等光学传感器相比,毫米波雷达具有全天候监测的优点,且可以在无算法情况下实时提供包括停车、超速、逆行等交通异常事件信息。另外,与现有的普通毫米波雷达相比,H1200毫米波雷达具有超视距的探测距离,由于可以检测更远的距离,可以极大地降低部署密度,且在雷视融合中可以为融合算法提供更长融合时间。虽然毫米波具有以上优点,但其无法进行车型、颜色的识别。因此,本系统选用了HIC2641-FW高清相机作为数据的补充,相机的最大分辨率达到2 688×1 520,可以满足基于卷积神经网络的车辆识别等算法要求。

2.2 边缘处理系统

系统的边缘设备是部署雷视融合算法的重要载体,一方面接收毫米波雷达和高清相机的数据,另一方面需要部署多种算法进行数据的处理。在系统设计中边缘设备应该综合考虑设备的算力性能、接口、价格等特点。本系统在设计中选择在搭载Intel I7的服务器上进行部署运行,所选服务器搭载了HDMI+DP双显示接口、4个USB3.0端口、2个USB2.0端口、1个Mini PCIe插槽、2个千兆网口,具有稳定可靠、接口丰富、尺寸小巧等优点,符合雷视融合算法快速部署的要求。

2.3 数据流系统

数据流设计是保障数据能在硬件系统中快速处理的重要手段。通过高清相机对路面情况进行图像采集,并且在边缘计算设备进行预处理。其中,本系统使用的图像预处理包括两部分:(1)由于本系统设计的算法模型在部署后能处理的图像大小是固定的,因此,第一步需要将视频流逐帧转换成固定尺寸;(2)为了提高数据在神经网络中流水化处理速度,需要将雷达数据和图像数据进行同步采样,并将其打包成一个数据包进行传输。

系统传输使用的PCIe高速接口作为边缘设备处理器和图形计算卡直接传输地数据接口。PCIe是一种串行扩展总线标准,用于连接计算机到一个或多个外围设备。根据系统要求,单个边缘设备需要对接三台高清相机和三台毫米波雷达,因此产生的数据量是巨大的,需要使用高速接口进行数据传输。如图1所示,为了提高传输效率,本文使用的PCIe传输都是以直接存储器存取(Direct Memory Access,DMA)的方式进行传输。所有数据的下载与结果的上传都是通过PCIe进行传输以降低系统延时。

3 雷视融合系统

3.1 毫米波雷达数据的优化模块

毫米波雷达可以获得车辆的位置、速度等关键信息,且雷达数据的精确程度影响着整个系统的精度。然而在实际的数据采集中,雷达的数据比较容易受到干扰,产生错误的数据。(1)由于路面、路边设施等对微波的反射干扰,会产生虚假目标或者一辆车分裂成多个目标的情况。(2)在实际的应用中,需要对车辆进行一段时间的跟踪,而雷达在对车辆进行跟踪的过程中,会出现部分帧无法探测到车辆的情况。前一种误差会导致车辆在映射到视频中时出现问题,产生映射错误;后一种误差会导致在跟踪中出现跟丢或者位置跳跃的情况。针对以上问题,系统对毫米波雷达进行数据优化。使用k-mean聚类对数据进行二次聚类,消除虚假目标和目标分裂的问题。对雷达的持续数据使用时间滑窗的办法,保证数据的连贯性。使用车辆的运动模型,对雷达的跟踪轨迹使用Kalman滤波,使得跟踪结果更为平滑。通过以上三个数据优化算法,可以有效提高雷达数据的准确性,进一步保证系统的跟踪效果。

3.2 基于卷积神经网络的车辆跟踪与识别模块

虽然雷达可以对车辆的轨迹进行比较精确的跟踪,但雷达的点云数据过于稀疏,且难以提供车辆的有效特征。因此,需要高清相机的视频数据作为车辆识别的主要数据来源。本系统使用Yolo v5 Deepsort模型对多车辆进行识别与跟踪。为了提高识别精度,系统使用手工标注的高速公路车辆数据对Yolo v5 Deepsort进行进一步训练。训练后的模型部署在边缘设备的图形计算卡中进行车辆的跟踪与识别。

3.3 雷视数据融合模块

根据以上方法对毫米波雷达和视频数据进行处理后,可以得到车辆的位置、速度等信息和车辆的标识结果,然后将雷达的位置、速度等信息通过雷视融合算法融合到视频的车辆标识框中。雷视融合算法模块主要包括三个步骤:(1)通过相机的安装位置,对车道线的距离进行标定和划分,得到一个像素和距离的映射关系;(2)根据车辆的实际运行情况,离线计算毫米波雷达和相机之间的旋转和平移矩阵;(3)将毫米波雷达的数据通过旋转和平移矩阵映射到视频的像素点中。

4 测试结果与分析

表1展示了本文提出的雷视融合系统在实际运行中各个模块的运行时间。表1中的统计方法为使用服务器自带时间进行10 000次运行,取其平均时间。如表1所示,整个系统的运行时间为52.8 ms,因此系统可以以18.9帧/s的速度实时处理高清图像。其中最耗时的计算模块为图像识别,占据了整个运行时间的52.7%,这是因为本文使用了深度卷积网络进行特征提取,需要较高的算力。

表1 雷视融合算法各模块的运行时间表

除了运行时间,还对系统进行了实地测试,具体测试结果如表2所示。由表2可知,雷视融合的有效距离为140 m,这是由于图像识别的有效距离仅有150 m;系统可以对双向十车道进行全监控,可以有效满足目前高速公路的要求;融合检测准确率为92%,准确率的计算方式为:在有效范围内,系统可以完整地跟踪车辆信息则记为一次正确检测,否则记为一次错误检测;速度的测量精度为96%,可以较为准确地显示车辆速度。

表2 雷视融合系统的测试结果表

以上所有的模块独立部署在边缘设备上并且独立运行,模块之间使用总线进行数据通信。在完成以上全部模块的计算后,系统将得到如图2所示的结果传回中心进行雷视融合可视化输出。

图2 雷视融合的可视化结果输出示例图

5 结语

路侧感知是保障高速公路高效、安全通行的数据保障。本文通过融合毫米波雷达和高清相机的数据,设计实现了一套完整的车辆跟踪系统。该系统由前端数据采集、边缘计算系统和雷视融合算法三部分组成。通过使用数据增强、深度学习等技术,得到准确的车辆识别与跟踪,有效解决了单一路侧识别难以同时提供车辆的动态和静态特征的问题,为保障高速公路高效、安全通行提供有效的数据支持。