基于时空信息的交通违法识别方法研究

肖子遥，张伟伟

（201620 上海市 上海工程技术大学 机械与汽车工程学院 ）

0 引言

随着我国公路网络的建设发展，2020 年我国公路通车里程已达约510 万km，汽车保有量也迅速增加，如何高效解决交通拥堵和事故频发已成为智能交通系统的重要难题。交通事故和拥堵重要原因之一就是非法驾驶，然而在交通违规管理方面，很多地区的相应识别还处于人工监控阶段，或用设备+人工排查的方式，例如电磁线圈设备抓获该地区违法车辆后，人工进行后续处罚，但电磁线圈只能检测到少数车辆违规行为，如车辆超速、闯红灯等。近年来，学者们在该类问题的研究中取得了很多成果[1-3]，但其中很多在鲁棒性和泛化性上与工业化实施还存在一定的距离。本文针对更多类别的车辆违法行为，如非法变道和不礼让行人检测，利用计算机视觉技术通过检测算法获得的目标空间信息、通过分析目标时序上的行为，设计了一种有效的车辆违章识别系统。

1 系统架构设计

车辆检测、跟踪和多属性识别，如车牌、类型、颜色和方向，是进一步违规检测的基础。在该系统中，实现了车辆违章检测模块，包括非法变道识别、不礼让行人识别。结合实际应用场景，本系统采用4 层架构实现，即硬件层、数据层、业务层以及前端UI，统架构如图1 所示。

图1 中，前端UI 为系统与用户之间的桥梁；业务层包含基础支撑模块和车辆违法检测模块，从数据层获取实时监控数据，并将车辆违法记录保存到本地；数据层负责提供和保留这些数据以供处理。系统基于Python 3.7、Tensorflow2.4 和PyQt5 实现，可在Windows 上运行。

图1 车辆违法识别系统Fig.1 Vehicle illegal recognition system

2 算法基础模块

2.1 目标检测

目标检测是智能交通违法识别的核心模块，本研究采用Bochkovskiy 等人提出的YOLOv4 算法[4]，相较于YOLO 的前代系列，YOLOv4 进一步优化了网络速度与精度，并达到了SOTA的水平。参见图2。

图2 YOLOv4 网络结构图Fig.2 YOLOv4 network structure

为了获得更高的准确性，YOLOv4 设计了一个更深更复杂的网络，并在其中使用了Dense Block，包含多个卷积层，并使用批归一化 ReLU进行卷积。跨阶段部分连接（CSP），然后将密集块的输入特征图分成2 部分，一部分直接进入下一个过渡层的输入，另一部分将通过 Dense Block，降低了计算需求，因为只有一个部分通过密集块。对于特征提取的主干，使用了 CSPDarknet-53，它使用 CSP 连接来自先前YOLOv3 的Darknet-53。空间金字塔池（SPP）被用作 CSPDarknet-53 的颈部，因为它增加了感受野，区分了最重要的特征并且不会导致速度降低[5]。此外，为了进一步输出强定位特征，YOLOv4 使用路径聚合网络（PANet）[6]代替YOLOv3 中的特征金字塔网络（FPN）。对于头部网络，YOLOv4 沿用原始的 YOLOv3 网络。

2.2 多目标跟踪

为了更准确地判断交通参与者的行为信息，除了检测目标之外，也需要对其在时序上进行跟踪分析。本系统的跟踪模块是基于DeepSORT[7]开发的。大多数现代跟踪器遵循通过检测结果进行跟踪的范式[8-9]，即根据检测器的结果将不同帧之间的目标关联起来。

简单在线实时跟踪（SORT）是一种简单的跟踪框架[10]。它在图像平面中使用匈牙利算法来匹配多目标，并对不同帧之间的目标测量其边界框的重叠度来执行卡尔曼滤波，以此来挖掘不同帧之间的数据关联。其中，对于每一个描述对象，即用于将目标身份沿用到下一帧的表示和运动模型，其目标的状态建模为

式中：s，r——目标边界框的尺度（面积）和纵横比。

在预测过程中，纵横比被认为是恒定的，而u和v 表示目标中心的水平和垂直像素位置。当检测与目标相关联时，检测到的边界框用于更新目标状态，其中速度分量通过卡尔曼滤波器框架得到最佳求解。如果没有检测与目标相关联，则使用线速度模型简单地预测其状态而不进行校正。

但SORT 在通过遮挡进行跟踪方面有一定缺陷。在此基础上，DeepSORT 通过使用额外的CNN网络分支来提取目标外观信息以提高 SORT 的性能。为了整合运动与外观信息，其使用预测的卡尔曼状态和信道大的测量值之间的Mahalanobis 距离：

式中：（yi，Si）——第i 个轨迹分布到测量空间的投影；dj——第j 个边界框检测。

2.3 多属性识别

在该系统中，车牌识别是基于 LRPNet[11]和MTCNN[12]设计的。LRPNet 由一个轻量级的卷积神经网络组成，它以端到端的方式进行训练，其对中文车牌的实时识别准确率可高达 95%。为了获得更好的性能，LRPNet 与 MTCNN 结合用于车牌识别。MTCNN（多任务卷积神经网络）在人脸关键点检测中被广泛采用，可以同时进行人脸检测和人脸对齐任务。在本系统中，考虑到速度因素，只使用MTCNN 的P-Net 和O-Net 进行车牌定位，去除R-Net 后几乎没有精度损失。

除了车牌，车辆的其他附加属性也通过应用B-CNN[13]来识别。B-CNN 是一种用于细粒度分类的神经网络模型。将检测到的车辆位置信息作为输入，通过B-CNN 进行分类，得到对应车辆的颜色、类型和方向信息。

3 车辆违法识别模块

3.1 非法变道识别

路面交通车道线是用来分隔同异向行驶的交通标识线，其中白色、黄色实线属于不可骑轧变道的标识线。本违法识别模块主要针对实线变道的行为。视频监控的坐标原点位于像素平面左上角，X轴水平向右，Y 轴水平向下。

根据车道线的起止点划分车道线，使用基础模块对道路车辆目标进行检测跟踪，经观察取车辆检测框的下边缘中心点center 作为车辆行为的判断点较为合适，即判定准则为在连续时间内，车辆判断点是否连续经过车道线两侧，可表达为

在实际测试中，由于检测框大小有抖动，可能会出现车辆判断点在极短时间内跨越两个车道线的情况，故利用图像平面的像素欧式距离移除异常值，若在极端时间内车辆判断点位移过大则舍弃。

3.2 不礼让行人检测

不礼让行人是指车辆在通过斑马线前，若行人正处于通行过程，则车辆需要在斑马线前停车让行。在手动确定斑马线礼让区域后，执行违法检测。经归纳，可将判定条件抽象为行人在斑马线区域（Region of Interest,ROI）内时，此时若车辆（检测框下边线的中点）也在斑马线区域内，则构成不礼让行人，即

4 系统实施

该系统感知模型部分在带有Nvidia TITAN RTX、CUDA 11.0、Python3.7 以及Tensorflow2.4 的工作站中进行训练，通过PyQt5 实现交互界面，系统可在Windows10 上运行。图3 显示了非法变道和不礼让行人的检测结果。

图3 非法变道和不礼让行人的检测结果Fig.3 Illegal lane changing and unyielding to pedestrian detection results

在图3 中，系统根据检测及跟踪结果可视化了违章车辆的违法过程，包括违法变道和不礼让行人行为。如图3（a）所示，首先设置车道线的图像区域，当车辆被跟踪参考点轨迹跨越车道线实线时，则会将该车辆违法类型以及对应的车牌、颜色及车型信息保存在本地。对于图3（b）中没有停车礼让行人的车辆，系统用类似方法进行记录。

此外，为该系统在园区内做了场景模拟测试，2 类违法检测各做了50 次实验（其中25 次模拟违章行为，25 次模拟接近却未违章行为,视为困难负样本），实验结果如图4 所示。

图4 交通违法模拟实验结果图Fig.4 Traffic violation simulation experiment results

该实验主要选用3 个指标衡量，其中正确率是指被分对样本数在总样本数中的占比；召回率是指车辆违法样本数中有多少被识别出的比例；特异性表示所有车辆正常行为（困难负样本）中被分对的比例。如图4 所示，本方法中实验的2 种违法类型正确率都在94%以上，召回率96%。在实际场景中，交警只需验核上传的记录即可快速鉴定交通违法行为，节省大量时间。

5 结语

本文结合了目前表现最优的SOTA 检测和跟踪方法，对道路场景下车辆目标的时空信息是否违法进行判别，并取得了较好的效果，对智能交通系统的功能拓展，减轻交警的工作量有较大帮助。此外，可参考本文思路，在检测-跟踪框架上对基于交通目标时空信息的行为进行判别，快速开发类似的交通违法识别方法。