基于小型深度学习网络的车位检测方法

杨科 王炜斌 徐维庆

摘 要：针对车载嵌入式系统开发需求，文章提出一种小型深度学习网络的车位检测方法。环视图像的车位角点具有大小相近、分布均匀的特点，将整个环视图像分割成若干个子图像，裁剪深度网络模型结构，使用小网络对各个子图像进行车位角点检测，可以有效降低大图像高算力的要求。实验数据表明，以384*640图像大小为例，将原图像分割成128*128子图像，子图像的深度网络算力要求为原图像的1/15，而相应的检测性能没有损失。

关键词：深度学习;车位检测;环视图像;网络裁剪

中图分类号：U461.99  文献标识码：A  文章编号：1671-7988（2020）13-155-04

A Parking Spot Detection Method Based On Small Deep Learning Network

Yang Ke， Wang Weibin， Xu Weiqing

（ Pan Asia Technical Automotive Center Co.， Ltd， Shanghai 201208 ）

Abstract： According to the development requirement of vehicle embedded system， a parking spot detection based on small deep learning network is proposed. Due to the corner points of parking spot in the surrounding image have the similar size and uniform distribution， the whole surrounding image can be divided into several sub images. Correspondingly， the deep learning network model can be pruned. Using small network to detect the corner points in the sub images can effectively reduce the demand of high computing calculation. The experimental data show that， taking 384*640 image as an example， the original image is divided into several 128*128 sub images， and the calculation of each sub image is 1/15 of the original image. Meanwhile the detection performance of sub image has no loss， compared with the original image.

Keywords： Deep learning; Parking spot detection; Surrounding image; Network pruning

CLC NO.： U461.99  Document Code： A  Article ID： 1671-7988（2020）13-155-04

前言

自動泊车系统能够有效解决城市停车难问题，近些年来是智能驾驶领域一个重要的研究方向。快速、准确地获取车辆周边的车位信息，是实现自动泊车功能的一个重要前提。基于超声波传感器的空间车位检测方法，通过处理周边障碍物回波信息，实现空闲车位检测，当前该类系统已配置于多个品牌的量产车型。基于摄像头传感器的视觉车位检测方法，通过检测图像中的车位线（或车位角点）来获取车位信息，视觉信息和超声波信息相互补充，能够有效增强车位检测性能。视觉检测方法又细分为传统视觉检测[1]和深度学习检测[2]两种方法。深度学习检测方法通过不同场景图像采集和网络模型训练，能够适应于各类停车场的环境变化，在视觉检测中具有较好的检测优势。

深度学习网络结构复杂，随着网络层数的增加，检测性能得到提升，同时会占用更多的运算资源。在车载平台上，处理系统通常不会有充足的运算能力，因此在保障检测性能的前提下，如何合理地使用车载运算资源，成为一个亟需解决的问题。本文开展基于深度学习的车位检测方法研究，网络模型的输入图像选用360环视图像，该类图像上的车位角点具有大小相近、分布均匀的特点，通过将环视图像分割为若干个子图像，同时对深度网络模型进行相应的裁剪，实现“小网络”对“子图像”的车位角点检测。最后实验数据验证了该方法的有效性。

1 基础网络模型

经典的深度学习检测模型有Faster-RCNN[3]、SSD[4]、YOLO[5]等，其中YOLO模型经过多次改进和性能提升，第三代YOLO（YOLOv3）在检测性能和运算速度上都有较好的表现，因此本文选用YOLOv3作为基础网络模型。

YOLOv3网络模型如图1所示，输入图像为RGB三通道彩色图像，通过多组卷积（Convolution，简写为Conv.）处理，对输入图像进行特征提取;然后进行上采样（Up Samp -ling）和拼接（Concatenate）处理，可以获得不同分辨率下的特征图（feature map）;最后通过预测（Predict）处理，获取图像中待检测目标的位置和类别信息。

在图1中，以输入图像大小384×640为例，经过5组卷积操作处理，输出的特征图大小为12×20，然后进行1次上采样处理，特征图大小变为24×40，将该特征图和原先24×40特征图进行拼接处理，实现两个特征图的信息融合，可以更好地获取大类目标的特征。同理，通过上采样和拼接可以获取大小为48×80的特征图。分别对不同大小的特征图进行检测，可以实现多尺度目标检测。

如图1所示，给网络输入一幅图像，通过卷积、上采样、拼接等处理，YOLOv3可以直接输出待检测目标的相关信息，因此YOLOv3具有较快的检测速度。另外，YOLOv3能够实现多尺度目标检测，因此YOLOv3具有较好的检测性能。

2 小型网络模型研究

在车辆前、后、左、右各安装一个鱼眼摄像头，四路原始鱼眼图像经过鱼眼校正、透视变换、图像拼接等处理，得到一幅完整的360度环视鸟瞰图。在环视图像中，能够获取车辆周边全视域的车位角点信息，本文选用环视图像作为网络输入图像。通过YOLOv3对整幅图像进行检测，可以一次性检测到图像中所有车位角点，但是该检测模型要占用大量的运算资源，不适用于车载处理平台开发。

如图2所示，“L型”或“T型”车位角点具有相近的形状大小，并且均匀地分布在环视图像上，将整幅图像分割成若干个子图像，分别把各个子图像作为网络输入，可以有效地降低网络模型对运算资源的要求。在图2（a）中，环视图像大小为384×640，用窗口大小128×128对图像进行分割，可以得到15个子图像。考虑车位角点位置有可能会落在分割线上，如图2（b）所示，采用窗口滑动的方式，在水平和垂直方向上依次滑动窗口，实现不同位置的车位角点图像截取。在图2（b）中，如果每次滑动64个像素，水平方向可以滑动5个窗口，垂直方向可以滑动9个窗口，总共可以获取45个子图像。

小型网络模型如图3所示，从原始的环视图像中分出一块子图像，并且将这块子图像作为网络输入图像。由于输入图像的形状变小，对整个网络模型进行等比例的裁剪，相应的特征图也随之变小。假设图3中的子图像大小为128×128彩色图像，经过第一组卷积处理，特征图的大小为64×64，对比图1中卷积后特征图的大小192×320，卷积操作所需的运算次数降为原先的1/15。同理，图3中的其它卷积和上采样操作也是原运算次数的1/15。对比图1模型和图3模型，模型的各个功能模块保持不变，而整个模型被裁剪成一个“瘦小”模型。

通过窗口滑动能够获得完整的车位角点，同时滑动所得的子图像存在图像冗余问题。观察图2可以发现，通常只有几个子图像包含有效的车位角点，大多数子图像不包含车位角点信息。对所有子图像进行初步筛选，剔除无效的子图像，只对有效的子图像进行检测，可以明显地提高整幅环视图像的检测效率。子图像筛选可以归结为车位角点有无的二分类问题，对比各类经典的目标分类模型，综合考虑模型的实时性和分类性能，选用目标分类模型AlexNet[6]，修改网络只输出车位角点有无两类结果。使用带有角点有无的标签图像，对分类模型进行训练，并使用训练后的网络进行二分类，可以实现有效子图像的初步筛选。

相邻的两个滑动子图像，可能会包含同一个车位角点，需要对比两个子图像的检测结果，选择两者较优的结果作为最终输出。小型网络的输出结果包含预测框位置信息（x、y、w、h）和预测框置信度（confidence），（x、y）表示预测框的中心点坐标，w表示预测框的宽度值，h表示预测框的高度值。以原始环视图像的坐标系为统一坐标系，对相邻子图像的检测结果进行坐标转换，并计算两者预测框的交并比（Intersection over Union），如果交并比超过门限值，那么判定两个预测框是同一个车位角点，然后根据预测框置信度，选择置信度较高的，作为当前这个车位角点的预测结果。交并比计算公式为：

（1）

式中：Soverlap为两个框交集区域的面积;Sunion为两个框并集区域的面积。

以下给出整个车位检测方法的主要步骤：

步骤1：环视图像分割，采用窗口滑动的方式对环视图像进行分割，获得若干个子图像;

步骤2：网络模型裁剪，根据输入子图像的大小，调整网络参数来实现网络裁剪;

步骤3：模型训练，使用标注后的子图像，对分类模型AlexNet和裁剪后YOLOv3模型进行训练;

步骤4：车位角点有无判定，使用AlexNet对子图像进行角点有无二分类判定;

步骤5：子图像车位角点检测，使用裁剪YOLOv3对子图像进行角点检测，获得角点位置和置信度信息;

步骤6：重叠角点判定和选择，计算相邻子图像的预测框的交并比值，选择置信度较高的预测框，作为最终检测信息输出。

3 仿真实验

本次仿真实验基于Ubuntu操作系统，车位检测的深度学习框架使用Darknet框架。深度学习网络的输入图像选用360环视图像，图像的原始大小为384×640，图像分割后的大小为128×128。实验所用数据来自于实车采集，一共选取了2368张环视图像，其中训练集2135张图像，测试集233张图像。对环视图像进行分割，所得的子图像用于小型网络模型，挑选包含车位角点的有效图像6108张，其中训练集5519张，测试集589张。

通过对比召回率（recall）-精确度（precision）曲线，可以有效地衡量深度学习模型的整体性能。如图4所示，本文小型网络模型和标准YOLOv3模型的两条曲线相近。平均精度值是召回率-精确度曲线的量化指标，它表示不同召回率对应的精确度的平均，通过计算曲线下的面积可以得到该值。分別计算图4中的两条曲线所围成的面积，标准模型的平均精度值是0.8772，本文模型的平均精度值是0.8714，因此可以认为本文模型基本上没有性能损失。另外，分别统计两个模型的运算资源开支，标准模型需要占用92.742 BFLOPs（billion float operations per second，每秒十亿浮点运算次数），本文模型需求占用6.188 BFLOPs，本文模型所需的运算资源仅为标准模型的1/15。

图5是不同天气条件和地面材质的车位检测结果，图中实线是标准YOLOv3模型的检测结果，虚线是本文小型网络模型的检测结果。小型网络对分割后的128×128子图像进行检测，网络输出的坐标位置经过坐标转换，重新映射到原始环视图像上。图5（a）是阴天、柏油地面上的垂直车位检测结果。图5（b）是晴天、柏油地面上的斜车位检测结果，图中部分车位有车辆阴影的影响，但是各个车位角点仍被有效检测。图5（c）是晴天、水泥地面上的垂直车位检测结果。由图5可知，对于不同的天气条件和地面材质，本文方法都有较好的检测效果。对比图5中的实线和虚线框，相对于标准模型的检测结果，本文小型网络具有相近的检测性能。

4 结论

本文提出小型深度学习网络车位检测方法，通过图像分割将环视图像分成若干个子图像，并对YOLOv3模型进行网络结构裁剪，实现小网络模型对子图像的车位检测。相比较于原始YOLOv3模型，裁剪后的小型网络模型没有检测性能损失，但是在硬件资源要求方面，小型网络模型只需要较少

的运算资源开支，能够较好地适用于车载嵌入式系统开发。

参考文献

[1] 朱旺旺，黄宏成，马晋兴.基于图像识别的泊车车位检测算法研究[J].汽车工程， 2019， 41（7）： 744-749.

[2] 徐乐先，陈西江，班亚，等.基于深度学习的车位智能检测方法[J]. 中国激光，2019，46（4）： 222-233.

[3] Shaoqing Ren， Kaiming He， Ross Girshick， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networ -ks[J].IEEE Transactions on Pattern Analysis and Machine Intelli -gence， 2017， 39（6）：1137-1149.

[4] Liu W，Anguelov D，Erhan D，et al.SSD：single shot multiBox detector [C].European Conference on Computer Vision，2016：21-37.

[5] Redmon J，Farhadi A.YOLOv3：an incremental improvement[J].ar -Xiv：1804.02767，2018.

[6] Krizhevsky A，Sutskever I， Hinton G E. ImageNet Classification with Deep Convolutional Neural Networks[J].Advances in Neural Infor -mation Processing Systems，2012， 25（2）： 2012.