基于端到端学习机制的高速公路行驶轨迹曲率预测*

焦新宇，杨殿阁，江 昆，曹 重，谢诗超，王思佳

（汽车安全与节能国家重点实验室，智能新能源汽车协同创新中心，清华大学汽车工程系，北京 100084）

前言

智能汽车驾驶决策是无人驾驶实现的关键技术。经典的决策方法是基于人工控制逻辑，结合环境感知和车辆动力学模型生成车辆行驶轨迹［1-2］。这种明确的控制逻辑最大优势就是可靠性高，但却因为场景和环境动态的高度复杂性和多变性，需要人工针对性设定各种复杂的控制逻辑，这就需要人类知识的积累可以覆盖车辆行驶时的各种场景和意外情况。

人工智能技术特别是深度学习等端到端学习技术的发展为车辆行驶轨迹的决策提供了全新的思路［3-4］，可以实现从传感信息到行驶轨迹或行驶控制指令的端到端预测，就可以避免复杂的车辆动力学控制模型和人工逻辑。NVIDIA公司使用深度神经网络［5］，实现了较精确的从图像到转向盘转角的端到端车辆控制，COMMA.AI公司也进行了类似的研究［6］。百度公司也致力基于深度学习的端到端自动驾驶，公布了阿波罗计划，并公布了Roadhackers数据库，含有10 000km的摄像头行驶数据等，对无人驾驶研究进行支持。

基于百度Roadhackers数据库与端到端学习机制，可以对智能车无人驾驶控制逻辑进行探索，实现从图像到行驶轨迹曲率的预测，进而可以支持行驶方向和转向盘的直接控制。但由于数据库中训练数据有限，原始数据中存在驾驶员行为决策不定性的因素，基于该数据实现行驶轨迹曲率的准确预测存在很大困难。为此，本文中对行驶轨迹进行量化，建立行驶轨迹曲率预测模型，并提出合理的评价体系。此后，采用端到端学习机制研究直接从图像到行驶轨迹曲率的预测，针对其性能不佳的问题，采用场景切分和特征预提取进行优化，并对其进行试验验证。

1 行驶轨迹曲率预测模型与评价体系

建立行驶轨迹曲率预测模型，给出行驶轨迹曲率和轨迹位置坐标以及转向盘转角的关系。在此基础上，考虑曲率的波动量，建立行驶轨迹曲率的评价体系。

1.1 行驶轨迹及转向盘转角与行驶轨迹曲率换算模型

行驶轨迹曲率可以定量地反映行驶轨迹的弯曲程度。实际数据采集中，可以由GPS信息计算曲率。为计算给定点轨迹曲率，取其前后各10个点，共21个点，拟合三次方程并计算曲率。

通过车辆建模，即可实现转向盘转角和曲率的换算。以线性2自由度车辆模型为例：

式中：δ为转向盘转角；k为曲率；u为速度；K为稳定性因数；L为轴距；n为转向系角传动比。使用更精确的车辆模型，可以实现转向盘转角和行驶轨迹曲率更精确的对应。

由上述分析可知，行驶轨迹曲率可以对行驶轨迹的弯曲程度进行反映，且可以和转向盘转角相互换算。因此，实现图片到行驶轨迹曲率的预测，即可化为对行驶轨迹和转向盘转角的预测。

1.2 行驶轨迹曲率预测评价体系

在轨迹规划或轨迹预测中，均需对所得轨迹的优劣进行量化评价。现有轨迹规划或预测中，一般只能通过直观显示［1］或车道中心线偏移距［2，5］来评价。但是，以车道中心线为标准仅适用于车道保持，且不能反映转弯方向的预测性能。

针对上述问题，本文中提出一种更为全面合理的轨迹预测评价体系。以行驶轨迹曲率预测模型进行量化，以均方根误差和相关系数对预测轨迹曲率的数值进行评价，并基于允许误差的思想，对预测正确率进行评价。由于转弯方向对安全有重要意义，单独对方向预测提出一个评价指标。

行驶轨迹曲率预测评价体系由4个评价指标组成，如图1所示。

图1 行驶轨迹曲率预测评价体系

1.2.1 均方根误差与相关系数

回归分析中，常用均方根误差RMSE与相关系数r进行评价：

1.2.2 预测正确率与方向正确率

在实际的交通场景中，不同人类驾驶员的驾驶轨迹曲率是不同的，转向盘抖动也导致驾驶轨迹曲率的波动。因此，计算预测正确率时，应在数据库人类驾驶员数据基础上允许一定的误差。

据牛清宁［7］的研究，在正常驾驶情况下，时间窗为20s时，转向盘转角标准差约为0.973°。采用线性2自由度车辆模型将其换算为曲率波动，车辆模型参数选为：稳定性因数K=0.0015s2／m2，轴距L=3m，转向系角传动比n=15。高速公路场景下，取车速为30m／s，代入式（1）得

额外考虑到不同驾驶员的驾驶轨迹曲率的差异，计算预测正确率时，取2.5×10-4m-1作为允许误差。

方向正确率计算中，考虑到安全性的要求，允许误差应取较小值，取曲率绝对值小于1×10-4m-1为直行。取曲率左转为正，右转为负，预测曲率和实际曲率符号相同则视为方向预测正确。

2 基于端到端学习机制的行驶轨迹曲率预测

卷积神经网络是一种典型的端到端学习模型，适于组织图像中的特征，被用于NVIDIA和COMMA.AI公司从图像到转向盘转角的端到端预测。使用百度Roadhackers数据库，卷积神经网络输入端为图片像素值，输出端为轨迹曲率数值，原理框图见图2。

图2 图片 -轨迹曲率预测原理框图

轨迹曲率预测基于COMMA.AI公司的卷积神经网络模型，如图3所示。

图3 卷积神经网络端到端学习模型

神经网络输入为3×320×160的RGB图像矩阵，综合使用卷积层、Dropout层和全连接层，输出层含有1个节点，与曲率标签对应。

训练集为百度Roadhackers数据库中的81 484张行驶图片及对应曲率，测试集为12 760张。每次训练采样500张图片，共训练50次。

测试结果曲率 时间曲线如图4所示。

评价结果：均方根误差 RMSE=2.9773×10-4m-1，相关系数r=0.3326，预测正确率64.4%，方向正确率61.1%。

可以看出，端到端预测结果的预测正确率和方向正确率均较低，且均方根误差较大，相关系数也较低，预测结果存在大量不符合实际的波动。

图4 卷积神经网络端到端行驶轨迹曲率预测

以端到端学习机制为基础的智能汽车自主决策，当相同环境信息输入网络时，其输出结果必然一致。而真实驾驶中，人类驾驶员针对同样的环境输入，可能由于不同的驾驶任务和自身个性而进行不同的行为决策。面向经典监督学习的数据库图片-标签形式下，行为决策的不定性在神经网络的训练中难以体现，加深网络或结合强化学习进行决策，也难以解决这一问题。

进行场景划分，预先进行行为决策，包含驾驶员的主观因素，在驾驶模式固定的前提下，利用神经网络进行轨迹决策或车辆控制，则可以避免上述的神经网络行为决策困难的问题。

另外，图片中含有大量无关信息，如天空、树木、建筑物等，神经网络难以提取周围车辆、车道线等有效信息。经过上述讨论，以场景切分实现决策固化，以特征预提取降低神经网络的预测难度，能够实现对端到端的预测结果的优化。

3 场景切分与特征预提取

3.1 高速公路行驶场景切分

国内外主流研究将高速公路行驶场景切分为跟驰和变道两种［8-9］。考虑无前车的自由流，将高速公路行驶分为车道保持和变道两种场景。

3.2 变道场景特征预提取

变道场景下，车辆行驶方向的快速变化，引起图片中车道线位置的快速变化，因此，车道线信息是变道场景行驶轨迹曲率预测中的有效信息，将其进行预提取，可以进一步提高预测性能。

车道线识别的任务可以由机器视觉或手动标注的方法来实现，如图5所示。

为提高神经网络的预测性能，必须保证其训练集和测试集的准确性。图5（b）为基于LIM等［10］的车道线识别方法进行优化后的结果，出现一些漏判和错判。而图5（a）的手动提取结果，将原始车道和目标车道的3条车道线标注出来，保证了神经网络数据集的准确性。

图5 车道线识别方法对比

车道线原始数据为6个坐标点，将坐标点数据处理为直线解析式y=kx＋b，经过预处理后，即可将3条车道线信息以6个数据的形式储存。

4 基于场景切分和特征预提取的行驶轨迹曲率预测

以变道场景为例，以端到端学习机制为基础，说明基于场景切分和特征预提取的行驶轨迹曲率预测优化方法的有效性。

将车道线画在图片上突出表达，即可输入卷积神经网络模型进行训练。此外，将图片中车道线的数学特征输入BP神经网络，还可实现车道线- 轨迹曲率的预测，并进行连续图片数据输入优化。系统方案如图6所示。

图6 变道场景行驶轨迹曲率预测方案

4.1 卷积神经网络变道场景行驶轨迹曲率预测

使用与端到端曲率预测中相同的卷积神经网络端到端学习模型，以1 700张图片及对应曲率为训练集，测试集为500张。采用场景切分和特征预提取的方法，针对变道场景，将车道线画在图片上，再输入卷积神经网络进行训练。

预测结果如图7所示，图中正负交替的峰反映了测试集左右交替的变道行为。

将场景切分和特征预提取优化结果与端到端的预测结果对比，如表1所示。

图7 基于车道线提取的变道场景轨迹曲率预测

表1 卷积神经网络端到端与优化结果对比

由表1看出，场景切分和特征预提取使4项评价指标均有大幅改善。由图7可知，曲线趋势可以较好地反映出来。

通过实车试验对上述优化方法进行验证。以地基增强的差分GPS采集车辆位置坐标，以摄像头同步采集行驶图片，试验设备如图8所示。

图8 试验设备与安装

进行场景切分和特征预提取优化后，基于车道线提取的变道场景曲率预测的试验结果见图9。

与使用百度数据训练的优化结果进行对比，如表2所示。

图9 基于车道线提取的变道场景曲率预测试验验证

表2 卷积神经网络优化结果试验验证

由表2可知，试验数据训练结果相关系数略低于百度数据训练结果，而均方根误差、预测正确率和方向正确率则略好。4项指标数值上都较为接近，试验结果证明了基于车道线提取的卷积神经网络变道场景曲率预测方法的有效性。

可见，经过场景切分和特征预提取后，在相同的行为决策模式内，端到端学习对人类驾驶员的驾驶模式的模仿和预测性能有了大幅提高。

4.2 BP神经网络变道场景行驶轨迹曲率预测

在场景切分和特征预提取的系统方案中，已做出变道行为决策之后，前方车辆、障碍物等引发变道决策的因素可以不必继续考虑，仅用车道线信息作为输入，即可完成变道动作。为此，可以使用神经网络直接实现车道线- 轨迹曲率的预测。变道场景下，本车道和目标车道的车道线斜率和截距特征只需6个数据表达，可以使用节点数量较少的BP神经网络，结构如图10所示。

图10 BP神经网络结构

训练集为与卷积神经网络预测中相同的1 700张变道场景图片车道线数据及对应曲率，测试集为500张。训练结果见图11。

将均经过场景切分和特征预提取优化后的BP神经网络的车道线- 轨迹曲率预测与卷积神经网络端到端学习预测结果进行对比，如表3所示。

由表3可以看出，车道线- 轨迹曲率的预测结果在4项指标上均优于卷积神经网络的结果。这是因为BP神经网络输入的是纯车道线信息，而卷积神经网络的预测中，虽然突出显示了车道线，但是图片中仍有天空、树木等其它信息。同时，这也体现了端到端学习的潜力，在数据量较大时，可能学习到更多的有效特征。

图11 变道场景车道线- 轨迹曲率预测

表3 车道线- 轨迹曲率与端到端学习预测对比

由于实际驾驶的时空连续性，每一时刻的驾驶决策不仅与当前时刻的环境输入有关，还与此前一段时间的环境输入有关。据此进行连续输入优化，将连续5张图片所提取的车道线特征数据作为神经网络的输入，训练结果如图12所示。

图12 连续输入车道线- 轨迹曲率预测结果

将车道线 轨迹曲率预测的5张连续图片预测结果和单张输入预测结果进行对比，如表4所示。

表4 车道线- 轨迹曲率预测连续输入优化

由表4看出，连续5张图片输入下，各项指标全面优于单张图片，说明考虑行驶的时空连续性使预测更为准确。

对上述性能最佳的BP神经网络连续输入曲率预测结果，通过行驶轨迹 曲率换算模型计算行驶轨迹，并投影到道路平面进行可视化，如图13所示。白色实线为实际轨迹，黑色点为预测轨迹。

图13 连续输入车道线- 轨迹曲率预测结果可视化

由图13可见，预测轨迹和实际轨迹较为接近，实现了较为准确的轨迹预测。

对连续输入车道线- 轨迹曲率预测进行试验验证，训练集取1 000张图片数据，测试集为470张，预测效果见图14。

图14 连续输入车道线- 轨迹曲率预测试验验证

评价结果：均方根误差 RMSE=1.5645×10-4m-1，相关系数r=0.9141，预测正确率96.0%，方向正确率98.7%。

可以看出，试验验证结果的评价指标反映出的性能较好，均方根误差很小，相关系数、预测正确率和方向正确率均较高，说明在实际应用中，在变道场景的固定决策模式下，仅用车道线信息进行轨迹预测的方法是合理的。

5 结论

基于端到端学习机制，直接从图像实现行驶轨迹曲率的准确预测，从而为实现车辆方向的直接控制提供依据。

（1）建立了行驶轨迹曲率预测模型，实现了对行驶轨迹的量化表达。在此基础上，建立了合理的行驶轨迹曲率预测评价体系。

（2）使用卷积神经网络端到端学习模型，利用百度Roadhackers数据库，进行了行驶轨迹曲率预测，并指出行为决策的不定性带来的困难，提出通过场景切分预先进行行为决策，以实现预测性能优化的思想。

（3）以变道场景为例，通过车道线特征预提取实现了端到端学习预测性能优化。此外，利用BP神经网络，实现了从车道线特征到行驶轨迹曲率的预测，并进行了连续图片数据输入优化。利用场景切分和特征预提取方法在变道场景下实现了较为准确的轨迹预测，并得到了试验验证。