融合超声传感与视觉图像的智能小车避障设计

黄鼎键，杨华山，林辰耀，钟勇，王尚湋

(1.福建省汽车电子与电驱动技术重点实验室(福建工程学院)，福建 福州 350118；2.福州市汽车机电行业技术创新中心(福建工程学院)，福建 福州 350118)

目前，实现主动避障所采用的传感器有超声传感、红外传感、激光雷达、摄像头、毫米波雷达等，乔凌霄[1]设计了基于超声传感器的避障小车，通过分析速度、距离数据完成智能小车避障。戴文翔[2]利用红外传感器设计了基于树莓派的智能避障小车。一些学者运用单线或多线激光雷达完成挖掘机器人、无人艇、车辆等避障系统[3-5]。还有一些学者利用视觉图像实现机器人、智能小车的避障[6-8]。但是仅选用其中一种传感器在不同场合存在局限性，因此国内外学者在融合多种传感器实现主动避障方面开展了众多研究[9-11]。本文提出一种融合超声传感和视觉图像的方法实现智能小车主动避障，设计了具备主动避障功能的智能小车结构方案，完成了基于单目相机和超声传感的测距，为基于超声传感和视觉图像的障碍物检测和主动避障提供理论和技术依据。

1 智能小车结构与系统方案设计

智能小车主要由控制单元、传感模块、执行器以及车架4部分构成，其中控制单元由工控计算机和Arduino UNO开发板构成，以工控计算机作为整个控制系统的数据处理和运算平台，以Arduino开发板作为数据采集和电机控制器，传感模块采用HC-SR04超声模块和单目摄像头两种传感器进行数据采集，用于获取前方障碍物的距离和方位，执行器则是采用安装在车体两侧的直流电机，电机驱动模块L298N用于配合控制器实现直流电机的控制。智能小车的控制单元、传感模块、执行器之间的硬件连接关系如图1所示。

图1 硬件连接关系图Fig.1 Hardware connection diagram

车架是用于固定智能小车硬件以及保证小车动作稳定的部分，主要由一块固定板、一个万向轮以及各种连接配件组成。智能小车的总体结构与系统布置方案如图2所示(不含线束)。

图2 总体结构Fig.2 Overall structure

2 基于视觉图像的障碍物识别与测距

利用单目相机实现障碍物测距，建立相机测距的数学模型并界定世界坐标系、图像坐标系、相机坐标系之间的关系。世界坐标系OwXwYwZw用于描述相机位置；相机坐标系OcXcYcZc是以相机光心为原点的坐标系；图像坐标系可分为图像物理坐标系xoy和像素坐标系uv，如图3所示。

图3 3种坐标系Fig.3 Three coordinate systems

经过坐标变换得到像素坐标系与世界坐标系的关系，如式(1)。

(1)

式中，f为光心到成像平面的距离，一般为相机焦距；fx=f/dX，代表u轴上的尺度因子；fy=f/dY，代表v轴上的尺度因子；(u0，v0)为光轴在像素平面上的坐标。

R是一个3×3的欧拉变换矩阵，R=RxRyRz，其中矩阵Rx,Ry,Rz分别表示绕x轴旋转ψ角，绕y轴旋转θ角，绕z轴旋转φ角，表达式分别如式(2)～(4)所示。

(2)

(3)

(4)

内参矩阵M1由相机的内部构造决定，外参矩阵M2由相机相对于世界坐标系的方位决定。采用MATLAB提供的“Camera Calibrator”工具箱基于张氏标定法对相机内参进行标定，共输入17张棋盘格图片，剔除3张误差值较大的图片，如图4所示。标定结果的主要参数如表1所示。

图4 相机内参的标定Fig.4 Calibration of camera internal parameters

表1 标定结果主要参数

对相机进行人工标定并计算相机外参，相机的外参矩阵如式(5)所示。

(5)

根据标定结果校正图像畸变，并获得一个初选测距方程。初选测距方程进行测距试验，使用数据拟合方法对测距误差进行处理和消除，获得一个准确的测距方程，如式(6)所示。

(6)

向该方程输入一个像素坐标，可以输出该点在地平面上的世界坐标，即该横向和纵向距离。

为消除摄像头安装、距离标记点等人为因素导致的误差，使用最小二乘法通过MATLAB对数据进行拟合，得到x和z方向误差的一阶拟合方程式如式(7)所示。

(7)

式中，ΔXW和ΔZW分别是X方向和Z方向的测距误差值。

根据式(7)，通过MATLAB编写解初始测距方程式程序，并对结果进行数据修正，最终测试结果如表2所示，修正后测距效果较好。

表2 测试结果

3 基于超声波模块的障碍检测

超声波模块采用HC-SR04，它共有4个引脚，即VCC、GND、接收端Echo、控制端Trig。超声测距硬件关系和测试场景如图5所示，上位机向下位机发出采集信号，下位机通过引脚将信号传递给超声波模块，使其发射探头发出超声。当前方障碍在超声模块量程里时，超声模块向开发板返回一个回声信号，开发板处理回声信号后，将距离数据传输至上位机，通过上位机检测该距离信息。

图5 硬件关系和测试场景Fig.5 Hardware relationship and test scenario

4 智能小车样机制作与实验

搭建智能小车装配和实验场景，进行智能小车障碍物定位识别、超车的实验。智能小车样机及组成结构如图6所示。

图6 智能小车样机Fig.6 Intelligent car prototype

障碍物识别及主动避障变换车道测验分为3种情况：仅正前方存在障碍物、前方与右前方存在障碍物、前方及左前方存在障碍物，由于前两种情况智能小车的运动控制策略均是向左变道避障，所以仅展示后两种避障物识别及主动避障变换车道的实验图，如图7～图8所示。

由图7～图8可以看出，智能小车利用超声传感和视觉图像融合判定障碍物距离和方位，能根据不同的道路场景主动选择相应的策略实现避障、自动变换车道，说明智能小车具备识别前方障碍物及自主变换车道的功能。

图7 障碍物在前方及右边时变换车道Fig.7 Lane-changing when obstacles are ahead and to the right

图8 障碍物在前方及左边时变换车道Fig.8 Lane-changing when obstacles are ahead and to the left

5 结语

设计了基于超声传感器和图像融合的智能小车，实现障碍物的检测和避障功能。完成了智能小车结构方案设计和硬件选型、基于视觉和超声的障碍物检测和测距、智能小车装配和实验场景的搭建，该系统具有设计简洁、成本低廉、操作简单等特点。实验表明，智能小车在不同场景中都能取得预期的避障实验结果，验证了方法和结构方案的可行性，为探索其他主动避障和智能辅助驾驶提供了一种思路。