基于毫米波雷达和视觉信息融合的车辆检测

王淑林 张冉

摘 要：为了避免单一传感器对于车辆检测的不稳定问题，本文基于假设验证的决策思想，通过融合毫米波雷达和机器视觉信息，将雷达检测信息映射到图像中构建感兴趣区域，而后采用机器视觉方法在感兴趣区域中进行前方车辆验证。实验表明该信息融合方法提高了车辆检测的準确性。

关键词：车辆检测;信息融合;假设验证;毫米波雷达;机器视觉

基于机器视觉的车辆检测方法简单直接，但受天气、光照、阴影、摄像头抖动等因素影响严重，易将一些非车辆区域误认为是车辆。基于毫米波雷达的车辆检测方法能准确检测前方障碍物，且不易受天气、光照、阴影等环境影响，但主要缺点是不能区分障碍物是否为车辆。本文融合毫米波雷达采集信息以及摄像头采集图像数据对前方车辆进行检测。[1]

1 前车检测的传感器信息融合策略

基于毫米波雷达与机器视觉信息融合的车辆检测流程方法如图1所示，包括毫米波雷达信息处理模块、雷达视觉信息融合模块以及机器视觉信息处理模块。毫米波雷达信息处理模块用于获得初步前方障碍物区域，主要包括采集信息、信息预处理、有效运动目标初选以及基于卡尔曼滤波的有效目标运动状态估计。[2]雷达视觉信息融合模块用于获得毫米波雷达信息与图像信息在时间和空间上的对应关系，并基于此对应关系将毫米波雷达获得的初步前方障碍物区域映射到图像信息中。机器视觉信息处理模块用于在毫米波雷达信息的基础上进一步采用机器视觉进行前车验证，包括视觉采集信息、图像预处理、建立图像感兴趣区域以及基于Adaboost的前车检测。

本文基于毫米波雷达和机器视觉信息融合的前车检测方法本质上主要包括两个步骤：假设产生和假设验证。假设产生：将毫米波雷达获取的前方障碍物判定为车辆，并在图像上划分出该区域，即图像感兴趣区域。假设验证：基于机器视觉的方法对上述感兴趣区域进行验证，判断该区域内是否存在车辆。如果是，则最终判定前方障碍物为车辆。可以看出，信息融合是整个检测方法获取准确信息的关键，主要包含两方面的融合，即空间上融合、时间上融合。

2 传感器信息的时间空间融合

传感器信息空间上的融合主要包括以下步骤：

（1）基于左手坐标系原则，通过旋转、缩放和平移操作，得到毫米波雷达坐标系与三维世界坐标系之间的转换关系;

（2）通过反用基于单帧静态图像的测距模型，得到三维世界坐标系与摄像机坐标系之间的转换关系;

（3）通过小孔成像模型，得到摄像机坐标系与图像坐标系之间的位置关系;

（4）依据摄像机中的CCD传感器的存储原理，得到图像坐标系与像素坐标系之间的转换;

（5）在离线状态下，基于张友正相机标定方法，采用MATLAB摄像机标定工具箱，求出空间融合模型建立所需要的摄像机内、外参数以及摄像机的畸变参数。这样可以消除镜头引入的变形现象，完成空间上的信息融合。

时间上的信息融合主要是指两种传感器在时间上的同步。[3]本次采用的毫米波雷达采样频率为20Hz，摄像机的频率为60Hz。由于这两种传感器的采样频率不相同，因而导致采集的信息很可能为不同时刻的信息。传感器时间上的信息融合需要两种传感器信息在时间上同步，本次采用线程同步的方式实现。在主控制程序中创建两种传感器信息的接收线程，并设置当毫米波雷达采集当前时间的信息时同时摄像机也检测当前帧图像，从而保证了两者信息达到时间上的同步。

两种传感器的时间空间信息完成融合后，将毫米波雷达检测到的前方障碍物信息映射到图像上，形成图像的感兴趣区域，每个感兴趣区域被传递给嵌套级联Adaboost分类器来检测前方障碍物是否为车辆。如果此时基于机器视觉的车辆检测判断前方为车辆，则认为感兴趣区域位置中存在车辆。因此，感兴趣区域的获取对于车辆检测尤为重要。本文感兴趣区域的定义为：首先，以轿车尾部的宽高值为依据（宽度为2.55m，高度值为2m），形成矩形区域作为感兴趣区域的基准大小;然后，将毫米波雷达得到的前方障碍物形心、距离信息映射到图像信息上，作为图像感兴趣区域的中心;最后，将车辆尾部矩形区域映射在图像信息上绘制出感兴趣区域，并且感兴趣区域大小与毫米波雷达测出的前车距离成反比。

3 车辆检测实验

4 结语

实验证明，毫米波雷达能够快速检测到前方的障碍物信息，并据此信息得到图像的感兴趣区域，使得基于机器视觉的检测方法能够根据该感兴趣区域快速地检测前车，同时也节约的计算资源，提高了不同环境下前方车辆检测的稳定，平均准确性达到97.1%。

参考文献：

[1]贾立山.体现驾驶员特性的车道偏离预警系统关键技术研究[D].武汉：华中科技大学，2011.

[2]刘志强，王盈盈，倪捷，刘恒.前方车辆障碍物检测方法的研究[J].机械设计与制造，2018，7，23-29.

[3]高德芝，段建民，于宏啸.基于机关雷达和摄像头的前方车辆检测[J].北京工业大学学报，2012.38，1337-1342.

项目支持：江苏省大学生创新创业训练项目（201711052004Y）