基于YOLO v3的有轨电车在途障碍物检测方法

马永刚，吴 凯，谢文斌

（通号万全信号设备有限公司，杭州 310018）

我国城市化进程不断加速，城市发展逐年加快，与此同时，城市交通压力也在不断增加，为减轻交通压力，各大中型城市都在着力发展公共交通。在现有的主要公共交通手段中，有轨电车作为一种高效、便捷的公共交通方式，由于其成本相对较低、建设周期短，且准时性较高、运力有保障，故而逐渐受到各大城市的关注[1]。区别于高铁、地铁等具有独立路权的高运力公共交通方式，有轨电车往往采用混合路权，相对而言增加了危险发生的可能性。目前，有轨电车主要采用轧道车、专人定时巡线与司机自主防范的方式，尽量确保突发状况下的行车安全。然而，混合路权情况下，发生突发性事件的可能性较高，且当突发状况产生时，最主要的防范方式依旧是依赖于司机的临时反应，所以更加需要一种辅助手段，在危险发生前发出预警，帮助司机规避危险。此时，一种准确高效的障碍物检测手段便显得尤为重要。

有轨电车在途障碍物检测研究中，存在着大量有待检测与研究的目标，社会车辆构成了其重要组成部分。由于目标多、场景复杂、目标尺度不统一，且一般都与有轨电车存在较大的相对运动速度，一定程度上增加了目标检测难度。初期，传统的基于图像的障碍物目标检测手段主要依赖于人工提取目标特征，再对特征进行分类。其中，郭磊提出的基于单目雷达的目标检测方法，通过提取目标周边阴影及有效边缘特征，结合雷达检测数据，有效提升识别准确率[2]。同时，外国学者Jazayeri A等人通过提取视频数据中的几何特征并将其连续投射到一维平面的方式，有效地对视频中的运动物体进行概率建模，配合已有的前期场景建模，完成了对运动目标的实时检测[3]。Tehrani等学者也提出了使用HOG特征和SVM分类器的在途目标检测方案[4]，该方案能够同时兼顾准确率与检测速率，识别效果相对优异。

然而，在传统目标检测手段中，人工提取的特征信息相对固定，且特征信息往往过于“潜在”[5]，无法适用于较为复杂多变的检测场景，尤其当被检测目标种类较多、尺度变化较大时，检测效果将大打折扣。20世纪80年代以来，卷积神经网络（CNN）的提出，以及随后研究者们对其网络结构的不断优化[6]，为图像目标检测提供了新的解决方案。CNN能够有效的提取目标的“深层次”特征，在复杂场景下亦能准确提取有效特征，实现目标检测[7-8]。其中，刘敦强采用多尺度预测分支的方式，对Faster R-CNN网络进行了优化，提升了网络对特征数据的挖掘能力，从而大幅提升了网络的检测精度[9]。王宇宁以道路监控视频为样本，采用YOLO卷积神经网络对其进行识别分类，准确率可达89.3%。准确率提升的同时，CNN的目标检测速率也在不断提升[10]。为了解决CNN普遍存在的检测速率较慢问题，卞山峰采用目标框维度聚类优化等方式，对YOLO v2卷积神经网络结构进行了优化，在保证准确率的同时极大程度提升了该网络的检测速率。经实验验证，优化后的网络模型可以做到实时检测样本视频中的待检测目标[11]。

可以发现，CNN对有轨电车行车过程中可能遇到的多目标及复杂场景均有一定的鲁棒性。因此，本文旨在利用YOLO v3卷积神经网络结构特点，通过对其网络结构的优化，使其更加契合有轨电车障碍物检测使用场景，从而提出一种基于YOLO v3的有轨电车在途障碍物检测方法。

1 方法提出

1.1 YOLO v3卷积神经网络介绍

YOLO v3卷积神经网络，沿用了目前性能较为优异的DarkNet网络架构[12]，并使用结构更为复杂的DarkNet-53模型替代了原有的DarkNet-19模型。由于网络结构更为复杂，故而可以提取到更深层次的特征信息，增加准确率[13-14]。同时，该网络引入了多尺度预测的概念，通过先验框在3个不同尺度上对样本进行采样，大幅降低了网络的漏检率，提升网络对不同尺度的指定目标的识别准确度。其主要网络结构如图1所示[15]。

图1 YOLO v3网络结构示意Fig.1 Schematic diagram of YOLO v3 network structure

如图1可见，该结构主要采用1×1和3×3两种形式的卷积核对样本做特征采样，输出时，有3种不同特征尺度，分别为8倍、16倍和32倍，低倍率采样特征会向上进行上采样，以防止特征信息丢失，从而保证网络可以对不同尺度特征进行提取的同时，识别率同样能得到保证。并且，由于使用DarkNet-53模型替代了原有的DarkNet-19模型，模型深度更深，为防止梯度丢失，模型中加入了多个残差模块，以确保检测的准确度。区别于之前版本的网络，YOLO v3的Convolutional由卷积层、BN层和LeakyReLU层构成[16]。

1.2 YOLO v3的损失函数

YOLO v3的核心网络架构从属于DarkNet-53模型，一般而言，其损失函数由以下两部分构成。

1）置信度损失模块：即计算先验框内包含被检测目标的概率，若概率大于某一既定阈值，则认为其中包含被检测目标。否则认为先验框内仅包含背景信息。

2）类别损失模块：为防止由于某一特征同时从属于两种类别时，产生的错误预判，YOLO v3使用二分类的交叉熵公式，计算损失值，其公式（1）如下：

通过使用公式（1），将原有的类别鉴别问题转化为一个二分类问题，从而有效降低网络的漏检率。

1.3 损失函数优化

目标位置判断是目标检测的重要功能之一，同时对有轨电车障碍物检测具有重要意义。检测到目标后，需要判定目标边缘与轨行区域是否重合，从而预测该目标是否会对行车构成威胁。因此，对损失函数的优化，不仅能够提升网络检测能力，亦能够增强本方法对司机的辅助能力。

假设，某一样本图片包含一个待检测目标，在标注过程中，针对该目标人工标定给出的准确位置信息为A。网络训练过程中，网络某次迭代完成后，网络通过公式（1）计算后得到该目标的最可信位置信息为B，A与B之间存在着一定的位置误差，即A与B并非完全重合。那么，在YOLO v3网络中，会使用IoU值来描述该误差，IoU可由公式（2）表示：

可以看出，IoU的值越大，则B与A的契合程度就越高，网络的检测准确度就越高。一般而言，在网络训练过程中，随着迭代次数的不断增大，IoU会逐渐趋近于某一稳定的最佳数值。然而，公式（2）仅描述了A与B的重合面积，并未描述A与B的重叠方式，容易导致训练过程中，收敛速度慢，边框位置不准确等问题。

为尽量减少该问题发生，本文引入了新的IoU计算方法[17]，用以优化IoU数值的求取过程，其数值可由公式（3）表示：

其中，NIoU表示经本文引入的方法优化后的IoU值，C表示同时包含A与B的最小闭合区域的面积。由于引入了最小闭合区域C，NIoU可以更好的描述A与B的重合度以及重叠方式，从而增加最终输出位置结果的准确性。

2 实验验证

2.1 数据集准备

为验证网络的适用性以及优化后的网络性能是否有所提升，使用车载视觉传感器在天水有轨电车T1线现场采集了10 000帧有轨电车运行视频。其中，约9 500帧图片包含待识别目标（暂时选用社会车辆作为识别目标）。选用其中随机9 000张作为样本，剩余1 000张作为测试样本，分别采用官网给出的YOLO v3网络模型和优化后的YOLO v3网络（简称NYOLO）做对比测试。训练过程中，为契合有轨电车车载硬件条件，选取TensorFlow-1.13.1-gpu作为网络搭建平台[18],设置batch_size为6，迭代次数为10 000次。

2.2 实验结果

使用两种网络分别对样本进行学习后，使用测试集做对比测试，测试结果如表1所示。

表1 优化后YOLO v3网络与原网络识别效率对照Tab.1 Comparison table of the identification efficiency between optimized YOLO v3 network and original network

其识别效果如图2所示。

图2 优化后的YOLO v3网络障碍物识别效果Fig.2 Optimized obstacle identification effect diagram of YOLO v3 network

如表1与图2所示，优化后的网络能很好的描绘目标边缘，对于重叠目标也有一定的分辨能力，是一种较为适用的网络模型。由于采用了优化的损失评价函数，一定程度上提升了网络识别准确率和识别效率。但是，整体而言网络的识别准确率在80%左右，数值相对较低，主要原因是车载视觉传感器成像质量不佳造成的。后期可通过更换高清摄像头，或对原始图片做增强处理等手段提高识别准确率。同时，由于现场天气状况多变，亦可加入一定的除雾等预处理手段，以确保识别率稳定。

3 结语

本文以YOLO v3卷积神经网络为基础，提出一种有轨电车在途障碍物检测方法，并通过对YOLO v3网络结构的优化，提升网络的识别能力，得出以下主要结论：

1) 对比官网YOLO v3网络和优化后YOLO v3网络，发现优化后的YOLO v3网络在准确率及漏检率都有大幅的提升和降低；

2) 实验证明YOLO v3网络具有较好的适用性和鲁棒性，是一种较优的有轨电车在途障碍物检测方法。