基于SSD卷积神经网络的智能交通应用研究
2019-09-19 11:34金亚楠严碧波
电脑知识与技术 2019年20期
金亚楠 严碧波
摘要：针对传统的道路交通监控系统对目标的识别准确率较差、模型鲁棒性较弱且不具备实时性等问题，本文提出了一种基于卷积神经网络的道路交通目标检测方法。和传统的道路监控检测系统相比，卷积神经网络的模型更加适合处理大规模的数据。在卷积神经网络的分层特征提取下，既可以获得图像的低级语义，也可以获得图像的高级语义，经过对不同层级的样本特征分析，可以综合性地对目标进行识别分类，进一步提高模型的分类性能。验证结果表明该方法不但在准确率方面远远优于传统的识别系统，而且在硬件条件允许的情况下具有实时性。
关键词：卷积神经网络;SSD模型;迁移学习;目标检测
中图分类号：TP18 文献标识码：A
文章编号：1009-3044（2019）20-0211-03
开放科学（资源服务）标识码（OSID）：
Abstract： To address the problems that the traditional road traffic monitoring system has poor target recognition accuracy， weak model robustness and no real-time performance， a road traffic target recognition method based on convolutional neural networks is proposed. Compared with the traditional road monitoring and recognition system， the convolutional neural network model is more suitable for processing large-scale data. Under the hierarchical feature extraction of convolutional neural networks， both the low-level and the high-level semantics of the image can be obtained. After analyzing the sample features of different levels， the target can be comprehensively identified and classified， and the models classification performanc can be further improved as well. Experiments show that this method is not only superior to the traditional identification system in terms of accuracy， but also has real-time performance when the hardware conditions permit.
Key words： convolutional neural networks; SSD model; migration learning; target detection
隨着人们生活水平的不断提高，国内的汽车保有量近几年快速攀升，导致道路交通拥堵，交通事故频发等问题层出不穷，交通管理部门所面临的压力越来越大。通过道路监控系统进行目标检测成了智能交通领域的一个重要研究课题，可以为交通监管和违章识别告警等方面提供有力的技术支持。
传统的道路监控系统主要采用以下几种非深度学习的目标检测方法：特征匹配法[1]，光流法[2]，帧差法[3]和背景建模法[4]等，但由于在实际的道路环境下，监控画面的角度、光照和背景等多方面的原因都会给传统的识别系统带来很大的挑战。传统的目标识别系统对复杂环境的目标捕捉和识别率较低，模型的鲁棒性也很差。
近几年，利用深度学习方法，借助卷积神经网络等进行目标检测的研究工作有明显上升[5]。卷积神经网络使图像可以直接作为网络的数据输入，避免了传统识别算法中复杂的特征提取过程，图像特征也更加充分得到应用。与传统方法相比，卷积神经网络可以将更多的数据特征拿来训练模型，进而有效降低外界条件对模型性能的影响，使模型具有更好的识别准确率和鲁棒性，更适合道路交通目标的检测识别要求。
1 SSD模型
由于对交通目标的检测需要具有实时性，这就不仅要求深度学习模型具有较高的识别精度和鲁棒性，而且还要求对目标的检测速度要足够快。根据对目前较为流行的目标检测模型Faster R-CNN[6]、YOLO[7]、SSD[8]等进行对比（见表2），最终选择性能更为优越的端到端检测的单发多框检测器（Single Shot Multibox Detector，SSD）模型作为道路交通目标检测系统的训练模型。
1.1模型功能介绍
SSD模型在VGG16[9]的基础上设计了6个特征提取模块，来对不同层级的语义特征进行提取和分类识别预测，同时在同一层级的特征图上选择长宽比不同的预测框，来提高目标检测精度。为了避免过多的负样本边界框影响模型训练的准确率，网络在非最大抑制策略的基础上，使用Hard Negative Mining策略，根据边界框的置信损失进行排序，只训练较高损失度的负样本子集，保证正负样本的比例为1：3，这样既减少了样本计算量又避免了负样本过多造成的模型训练精确度的影响。
该模型的算法结合了YOLO和Faster R-CNN的优势，以对目标特征进行分层提取和预测作为主体思路进而实现回归和分类。根据图像的语义分析，在低层次的特征图中语义分割质量更高，包含较多的特征细节，适合对小尺度目标的进行特征提取;在高层次的特征图中语义分割更为抽象化，更为适合大尺度目标。该模型的结构在单一的回归网络的基础上，针对不同的特征层级进行多尺度目标特征提取和预测分类，进而实现目标分类识别。SSD模型是采用端到端的训练方法，把检测和分类一体化，它既综合了YOLO模型端到端快速检测的优势，又保留了Faster R-CNN模型对小目标的检测精度等特点。
1.2模型的损失函数
神经网络的模型的效果以及优化的目标都是通过损失函数来定义的，SSD模型的损失函数是模型训练和验证时的重要衡量指标之一，损失函数是可以根据数据要求进行自定义的。根据训练时的目标匹配策略，该模型总体的目标损失函数是定位损失（loc）和置信度损失（conf）的加权和：
其中参数N是匹配的默认边界框的数量，如果N为0，则将损失函数设为0。定位损失是预测框（
2 构建数据集
道路监控系统要求基于交通监控设备对交通目标进行实时的目标检测，识别道路上的机动车、非机动车和行人，因此我们需要构建一个具有一定数量的不同目标的数据集来实现对深度学习模型的训练、验证和测试。数据来源分为两个部分，一部分来自MIT的车辆数据集，另一部分由道路监控采集而来，样本的采集兼顾了不同的背景、不同光照条件等，通过左右翻转和调整饱和度等方式实现数据增广，保证样本数据的多样性和全面性。
构建的数据集共包含4648张图片，其中包含的检测目标分别为机动车、非机动车和行人，采用lableImg标注工具对收集的目标数据进行标注，制作成为PASCAL VOC 2007格式。根据要求将数据集按照4 ：1的比例分为训练验证集和测试集，再按照1 ：1的比例将训练验证集分为训练集和验证集。数据集制作完成之后采用数据分析的形式对PASCAL VOC数据集的XML文件进行数据分析，统计训练集、验证集和测试集中各个目标样本的真实标注框的数量和所在图片的数量，作为SSD模型训练和验证时的参数。数据集统计数据如下表所示：
3 對模型进行迁移学习
所谓迁移学习，就是将一个已经训练相当成熟的模型通过简单的结构调整使其适应新的问题，在新的数据集上，可以直接利用这个训练好的模型来提取特征，然后再将新组合的特征向量作为输入来训练调整后的模型参数，以此来实现新的分类问题[10]。迁移学习的优点在于所需要的训练时间和训练样本都要远远小于重新训练完整模型，而且可以达到令人满意的实验效果。
由于实验数据和实验条件的限制，我们将在现有的SSD模型的基础上，保留SSD原有模型的权重参数，根据实验的分类要求对模型相关超参数进行更改，这些超参数主要有类别、学习率、学习率衰减因子、代次、迭代最大步数等（具体参数见下文4.2实验参数设置），进而对模型个别层的参数进行微调，使模型能够很好地满足对道路交通目标中机动车、非机动车和行人的识别要求。
4 模型的测试及相关数据
4.1 实验环境
本文实验环境是操作系统 Windows 10 64位 （ DirectX 12 ），处理器型号为英特尔 Core i7-8750H @ 2.20GHz 六核，显卡型号为Nvidia GeForce GTX 1060，显存为6G，内存为16G。所选择的深度学习框架为Tensorflow。
4.2 实验参数设置
该实验是在采集制作的PASCAL VOC 2007格式的数据集上进行，实验所采用的模型为VGG16-SSD模型，采用的最优化算法为Adam，经过不断对各个参数的调试对比，最终选择模型效果较好的超参数组合。经过对模型的不断调试，确定各个超参数设置如下：批次大小为24，权重衰减为0.005，学习率初始值为0.01，学习率衰减因子为0.98，学习率衰减频率为8 epochs，最大迭代步数50000，GPU占用量0.7。
4.3 实验数据对比分析
深度学习的神经网络模型有一系列的评价标准，其中在模型训练时较为重要的评价指标主要是模型总体损失函数，而在测试阶段模型性能评价指标主要有平均准确率及平均准确率均值等。平均准确率（Average precision，AP）是评价深度学习检测模型准确性最直观的标准，平均准确率均值（mean AP，mAP）是各个类别 AP 的平均值，mAP 越高表示模型在全部类别中检测的综合性能越高。下表是各类算法在测试数据集上的性能评价指标对比：
4.4 模型的测试效果展示
在实验的过程中为了方便表示不同分类目标，选择了用数字代表分类的方法;其中数字1代表机动车，数字2代表行人，数字3代表非机动车。以下四幅图片是训练的模型检测效果展示：
由以上测试结果可知，该模型的性能优于先前的算法，对道路交通目标有更高的检测准确率和更低的误检率，而且满足系统所要求的实时性和模型鲁棒性，但图6的检测结果同时也表明该模型还存在一定的缺点，如目标漏检等，经过分析，可能是数据集还不够充分，有待进一步改进。
5 结束语
目标检测是深度学习热门的研究方向之一，应用前景非常广泛。通过实验对比，深度学习模型SSD在道路目标检测上取得了较为不错的测试效果。但与此同时也发现了该模型算法存在的不足，在基于视频目标检测时，帧与帧的图像之间在时序和内容上存在上下文关系，而该模型并未对此加以利用来优化模型准确率和误检率。根据跟踪算法和循环神经网络结构在时序问题上所展现的优势，我们可以考虑以此为研究方向对该模型进行更进一步的改进和优化。
参考文献：
[1] 李双双，赵高鹏，王建宇.基于特征融合和尺度自适应的干扰感知目标跟踪[J].光学学报，2017，37（5）：15-20.
[2] BARRON J L， FLEET D J， BEAUCHEMIN S S. Performance of optical flow techniques[M]. Kluwer Academic Publishers， 1994， 12（1）：43-77.
[3] ALI A T， DAGLESS E L. Alternative practical methods for moving object detection[C].International Conference on Image Processing and ITS Applications， 1992：77-80.
[4] HARITAOGLU I， HWRWOOD D， DAVIS L S. W4： real-time surveillance of people and their activities[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2000，22（8）：809-830.
[5] 章毓晉.中国图像工程：2017[J].中国图象图形学报，2018，23（5）：617-628.
[6] REN S， He K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks[C]. International Conference on Neural Information Processing Systems， 2015：91-99.
[7] REDMON J， DIVVALA S， GIRSHICK R， et al. You Only Look Once： Unified， Real-Time Object Detection[C]. IEEE Conference on Computer Vision and Pattern Recognition， 2016：779-788.
[8] LIU W， ANGUELOY D， ERHAN D， et al. SSD： Single Shot Multi Box Detector[J].Computer Vision-ECCV2016， 2016：21-37.
[9] SIMONYAN K， ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Computer Science， 2014.
[10] 郑泽宇，梁博文，顾思宇.Tensorflow 实战Google深度学习框架[M].2版.北京：电子工业出版社，2018：161.
【通联编辑：唐一东】
猜你喜欢
振动工程学报(2017年1期)2017-04-21
计算机应用(2016年12期)2017-01-13
科学与财富(2016年28期)2016-10-14
现代电子技术(2015年14期)2015-07-22
