基于深度学习的无人驾驶垃圾清扫车的设计和研究

甘恩硕 胡伟

摘 要：随着新冠疫情肆虐全球，为了减少人员接触和提高清扫效率，设计了一款基于深度学习的无人驾驶垃圾清扫车，项目采用NVIDIA jetson nano平台，通过搭载的深感摄像头以及激光雷达采集路面信息，使用PID控制算法控制车辆行进方向和速度，利用仿真软件对车辆进行建模，确保能够实现较好的全局路径规划，进而实现对垃圾清扫的无人化和高效化。

关键词：人工智能;无人驾驶;图像处理

当前环境下疫情再次卷土重来，为了进一步减少人与人的接触，能在各类场景下杀菌消毒的无人驾驶消毒杀菌清扫车在国内外的市场前景广阔。以机器视觉和open-cv为基础的无人驾驶深度学习算法，以北斗高精度导航为导航系统，以麦克纳姆轮为底盘的全向移动驾驶平台的垃圾清扫车，其具备环境感知能力，智能决策能力，节能环保等特点，可以實现在公共场合下的环境采集数据、图像信息传输等日常巡检工作，有效的减少人力劳动，提高工作效率[1]。为完善低速清扫车无人驾驶功能，通过理论分析设计了本研究方案，最后通过仿真道路测试验证了无人清扫车行驶过程中安全可靠性[2]。

一、系统整体结构

本系统是采用NVIDIA Jetson nano为无人驾驶车硬件，该平台是将视觉计算、信息传递、图像处理和模式识别技术结合在一起的综合信息处理平台。它将车载传感器实时观测到的各种路况信息经过采集、处理并经过准确识别，快速给出实时准确的路况报告，为车辆进一步的安全行驶提供科学依据。车辆控制系统主要分三个部分：图像信息采集部分、图像处理与模式识别部分和行进与方向控制部分。

二、系统设计

（一）总体设计

本项目是基于NVIDIA jetson nano 平台作为无人车的核心进行开发设计，配合深感摄像头模块，车辆电机驱动模块，激光雷达模块等构成无人车的控制系统硬件，再搭配Ubuntu20.04系统实现无人驾驶和清扫等功能。麦克纳姆轮可以实现全方位移动，搭配电机实现制动，停止，正向转动，反向转动等功能，以应对车辆在复杂条件下的运动要求。

（二）图像信息采集

道路图像信息的采集依靠车载摄像头传感器完成，并将采集到的图像信息传递给处理器进行加工和图像预处理。为了提高相关信息的可检测性，对数字图像信息进行数据类型转换，形状变换，翻转，高亮，归一化，平滑和复原等操作，可最大限度地简化数据，从而提高资源提取、图像分割和图像识别的可靠性。处理过程所用的高斯平滑核如图2所示。

（三）图像与模式识别整体设计

（1）识别车道线和汽车前置车道边界。依靠图像处理和深度学习技术，将每一帧的图像进行反向透视，确定车道线位置与走向，再利用卷积神经网络（CNN）完成对车道线的特征提取和分类，最后将不同情况即遮挡，阴影，逆光，图像质量，路况，道路问题都不同的数据加入训练集进行训练，保证车辆在不会越过边界的前提下安全稳定地行驶。

（2）识别交通标志。依靠图像处理和模式识别技术，将图像信息转化为数字信息与已知的交通标识模式对照以辨别出具体交通标志种类，确保车辆在无人驾驶过程中在不违反交通规则的前提下行驶或停止，SSD模型结构用于在图像的输出平面处添加一个逐渐减少的折叠层以进行多尺度预测。对于每个新添加的层，可以使用一组折叠核心进行预测，以预测每个位置的相应值。即相对其他box的偏移量，这里的box就是在特征图中各处预测的若干个box，基本完成后再进行训练和测试。

（3）进行车辆和行人的检测与跟踪。运用图像处理与模式识别技术，仍可以利用SSD架构标记出路上的车辆和行人并进行实时的追踪，以便在行驶中可及时地跟车或让行，保证安全。可以使用SSD卷积神经网络对box的概念进行对象检测，设置不同尺寸和比率的预定义框，然后对于每一个box，SSD卷积网络可检测该box内是否存在物体，并计算物体边界框和固定boxes之间的偏移量，最后再对偏移量使用损失函数最小化。

（四）车辆检测方法

（1）帧间差分法（Temporal difference）

采用对相邻的二或三帧信号差异实现，并进行了场景变换测试，由于对动态场景有很强的适应性，单检测准确率并不高，难以达到精确描述。

（2）背景减除法（Background subtraction）

应用于摄像机的静止情形时，其关键为背景模型，性能主要与监测场景的复杂情形和系统特点相关，经典算法主要有高值模型、自适应模型、高斯模型、以及多模态的均值模型。

（3）光流法（Optical flow）

可用于摄像机运动情形，提取目标完整信息（包括运动信息），计算复杂度高，抗噪性能差。在摄像机固定的情况下应用较少。

（五）行进与方向控制部分

预测和更新车辆位置，通过无损卡尔曼滤波器，在已测得实时车辆速度的条件下，预测下一帧图像中车辆的位置并实时更新，保证车辆能够平稳地行驶或停止[3]。首先需要产生sigma点集并计算其均值，后写出对估计状态的不确定性即协方差矩阵，然后通过公式与矩阵变换预测sigma点集和其均值与方差，最后完整地按照卡尔曼滤波的更新步骤计算即可，完整流程如图1。

三、算法实现

首先该算法是在GPU上运行，不采用粒子滤波框架，而使用卡尔曼滤波可及时获得准确特征。其次对整个Network，进行大量训练，对于每个Branch网络作训练mini-batch，选择32个正样本和96个负样本。最后进行跟踪，对每个待跟踪目标建立一个FC6全连接层[4]。对于输入每一帧图像，在该目标位置附近采样256个Box 作为Candidates;所有Candidates 归一化到 107*107尺寸，输入到训练好的 MD-Net 网络（shared + FC6-k）;网络输出是一个二维的向量（Box ID，目标概率），最终目标是概率值最高的Box;每隔一段时间，根据可行度高的正负样本，进行网络更新。

四、gazebo仿真测试

通过gazebo仿真，对设计的车辆进行建模，利用Gazebo强大的传感器模型库，包括camera，depth camera，laser，imu等机器人常用的传感器，基于Gazebo真实的物理仿真引擎，添加重力，阻力，惯性等等，创建出一个符合设计的小车，通过上述的算法，对小车无人驾驶功能进行测试，最终实现其路径规划避障等无人驾驶功能[5]。图2所示为设计的小车模型。

五、结论

本文设计和研究的方法为无人驾驶清扫车提供了一种新的解决方案。适用于在疫情复杂情况下，在减少人员接触的前提下，对环境进行清扫，代替保洁人员完成清扫任务，在一定程度上降低疫情传播风险，提高了环境清扫的稳定性、高效性和安全性。在现如今新冠肆虐的大环境下，具有很好的推广和应用价值。

参考文献：

[1] 刘浩;钟宙明;覃坤雪;陈永强;李猛;消毒防疫智能巡检机器人的设计，电子制作，2020

[2] 朱忠攀;吴宪;李刚;施超;低速无人清扫车远程监控系统架构及控制模型[J]，机电一体化，2017

[3] 徐继宁;曾杰;基于深度强化算法的机器人动态目标点跟随研究[J]，计算机科学，2019

[4] 马静;基于机器视觉的3C电子辅料泡棉背胶检测系统设计与实现[J]，电子测试，2020

[5] 王彦臻;林彬;金松昌;武云龙;赵名扬;基于Gazebo和Docker的群体机器人仿真系统设计晏杰[J]，组合机床与自动化加工技术，2021