基于标签集相关性学习的驾驶员异常行为预警方法

李光华，张洪涛，谢凤祥，韩名亮

（国能大渡河大数据服务有限公司，四川成都 610041）

车辆交通极大地便利了大众的出行，但驾驶出行方式存在的危险影响因素也随之增加，其中影响最大的危险因素就是驾驶员的异常行为，一旦车辆受到异常控制就会出现十分严重的交通事故。当驾驶员的驾驶状态出现异常时，对于外界的感知慢慢消失或者敏感度降低，为了缩短驾驶员异常行为预警的时间，减少出行事故的发生，提出了驾驶员异常行为预警方法的设计，预警方法的关键是既要在最短的时间内识别到驾驶员的异常行为，又要保证驾驶员可以充分地理解预警语音和行为。

文献[1]提出的基于PERCLO 的预警方法，对于驾驶员在车辆内的任何动作，其识别灵敏性极高，由于动作的连贯性，此方法在工作时会将驾驶员一些安全动作认证为异常行为进行预警，影响驾驶员的驾驶状态，可行系数较低。文献[2]提出的基于计算机视觉分析的预警方法，虽然误判驾驶员异常行为的概率很低，但是由于计算机视觉与动作的转化分析过程，耗用的时间较长，使驾驶员异常行为持续的时间超过车辆可以承受异常操作的时间，预警效果不明显，需要进一步进行优化更新。为了解决以上问题，提出基于标签相关性学习的驾驶员异常行为预警方法，首先利用协方差方法对驾驶员的异常行为进行特征提取，然后利用标签集相关性学习方法，对驾驶员异常行为进行预警等级的分析，最终根据不同级别的异常行为，输出相应的应答预警结果。

1 车辆异常特征提取

驾驶员异常行为最直观的表现就是驾驶车辆出现异常，所提方法获取驾驶员异常行为的方式是通过连续对驾驶员驾驶操作行为的拍摄过滤完成的，拍摄驾驶员行为的数据信息较多，无方向的信息提取，不仅给驾驶员异常行为过滤造成极大的计算量，而且不能完全发现驾驶员的异常行为。因此所提方法在保证车辆异常行为过滤的精准度基础上，根据驾驶车辆异常特征的提取，确定驾驶员是否存在异常行为[3-4]。

由于摄像设备对色彩的敏感性很高，所提方法设计的预警方法，在驾驶员动作拍摄过程中，会对靠近汽车内部关键位置的区域采用色彩分布设计，驾驶员在驾驶过程中会触碰到色域，因此当色域出现行为数据帧时，首先要进行分析，判断驾驶员行为是否存在异常，这就是颜色特征[5-6]。图像颜色特征通过HSV 颜色模型完成行为信息的提取，颜色模型可以形象地反馈出颜色底层下最真实的图像行为，颜色模型的基础三原色包括红绿蓝，因为目前出现的任意颜色都是红色、蓝色、绿色混合而成的，HSV 颜色模型考虑到了光线对于图像信息的照射情况，具有较高的还原效果[7]。HSV 图像颜色模型如图1 所示。

图1 HSV图像颜色模型

驾驶车辆异常的纹理特征是图像的本质，因为图像经过后期平移、剪辑、尺度调整、旋转等行为时，图像内的信息有时会发生改变，影响判断驾驶员行为状态的真实度。因为后期对于驾驶员驾驶视频尺度缩放或者旋转处理时，只是更改了图像的大小，并未更改图像内各个参数的比例，在提取纹理特征时，根据小波参数的方差值，依次还原最真实的图像参数，即可提取出图像的纹理特征[8]。所提方法采用三维滤波函数为核心，完成驾驶员驾驶视频中纹理信息的表征，函数如式（1）所示：

其中，g(x,y,z)表示提取的纹理特征；δx表示沿x轴正方向尺度系数；δy表示沿y轴正方向尺度系数；δz表示沿z轴正方向尺度系数；α表示数据帧的倾斜量。

驾驶员异常行为的出现往往会伴随瞬时动作，此动作对于交通安全和预判驾驶员的状态尤为重要。根据描述，所提方法利用梯度特征捕获到驾驶员的瞬时行为，避免由于行为过快，漏查驾驶员的行为信息。任何行为都会产生一种模拟声音信号，区别是声音信号的大小不同，不同的模拟声音信号对应的行为不同。具体梯度特征表征公式如式（2）所示：

其中，G(x,y,z) 表示提取的梯度特征；i表示视频像素值；dx(i,j)表示像素的位置；u表示数据帧图像的尺度系数；φ表示驾驶员行为的方向角度。

颜色特征、纹理特征以及梯度特征之间存在一定的关联性，但是各种特征所表征的类型是不一样的，所提方法利用协方差的方法对驾驶员行为进行特征融合，完成特征的提取。协方差方法的优点是可以对光线、斑驳、旋转等操作进行免疫过滤，高度还原驾驶员真实的驾车行为，提取流程为：首先将需要分析的驾驶员行为图形随机分割为若干个信息块，然后在每个信息块上建立一个三维坐标系，根据驾驶员异常行为特征的标注情况，提取出每个信息块上的异常行为特征，最终将所有特征利用协方差因子进行连接，输出驾驶员的异常行为特征[9]。

提取公式如式（3）所示：

其中，Xr表示特征提取结果；s表示驾驶员行为特征向量的均值；zi表示三维坐标中所有特征点的集合；r表示图像信息中所存在特征的个数；βr表示行为信息变换系数；f表示协方差因子。

2 驾驶员异常行为等级划分

驾驶员的异常行为指的是非正常驾驶行为之外的所有动作。驾驶员异常行为主要由突发疾病和疲劳驾驶引起，前者是不可避免的，因此所提方法在对驾驶员异常行为等级定义的基础上，利用标签集相关性学习方法分析由疲劳驾驶引起的驾驶员异常行为等级的划分[10]。驾驶员异常行为等级分为三个级别，分别为一级异常行为、二级异常行为和三级异常行为，每级异常行为表现的方式不同，因为行为的界限是一个模糊的定义，所以在对驾驶员异常行为判定时，采用进级判断。

一级驾驶员异常行为等级的本质是驾驶员的行为是不可控的，不能完成车辆的起步、停车、减速等操作，丧失了安全驾驶车辆的能力。此类型的驾驶员异常行为所造成的后果最严重。二级驾驶员异常行为等级的本质是驾驶员表现出行为迟钝，且出现驾驶员意识模糊，但在引导下可以完成基本的驾车操作。三级驾驶员异常行为等级表示驾驶员具有清晰的意识，但是由于其他因素导致驾驶员的反应较慢，可以完成停车、制动、减速等基本行为[11-12]。

标签集相关性学习方法对驾驶员异常行为进行等级划分原理是驾驶员异常行为的表征与驾驶员异常行为等级之间相关性的概率，表征结果与哪级驾驶员异常行为等级认定界限最接近，则判断驾驶员的异常行为等级即为该级。在判定驾驶员异常行为等级前，需要判断驾驶员行为是否存在异常，如果不是，则不需要进行异常行为等级划分操作，反之执行等级划分方法即可。标签集相关性学习方法的优点是可以准确区分正常驾驶行为和异常驾驶行为，因为部分安全驾驶行为操作时，由于驾驶员力度控制的偏差，会出现假性驾驶员异常操作行为。标签集相关性学习通过多次检索驾驶员某一段时间范围内驾驶员的各个瞬时行为，将拥有混淆特点的驾驶行为都进行标签记录，标签集合内的所有驾驶员异常行为类型的标签都是相对独立的，计算驾驶员异常行为特征与异常行为等级之间相关性公式如式（4）所示：

其中，L表示驾驶员异常行为与异常等级之间相关性结果；k表示权重系数；vw表示标签集合；σ表示平衡因子；Fr表示异常行为的特征变量；w表示标签的邻域变量；d表示异常驾驶行为与安全驾驶行为之间的误差系数；其他未知数的意义同上。

按照驾驶员异常行为等级的划分，规定参数结果在0～7.8 为一级异常行为等级，参数结果为7.9～14.7 为二级异性行为等级，其他区域内的参数结构都为三级异常行为等级[13]。

3 驾驶员异常行为预警

驾驶员异常行为预警方法设计的目的不仅要保证驾驶员可以正确地理解预警语言和指示灯，而且要将驾驶员的知觉作为主要引导方向，防止由于误解预警语言和辅助行为，造成更为严重的交通事故。因此根据不同级别的驾驶员异常行为，设计不同理解程度的预警展示形式。所提方法设计的预警方法采用语音、视觉以及感知三重叠加预警模式，降低驾驶员在异常状态下的理解难度，提高预警效果。视觉预警方式通过指示灯实现，语音预警向导由远程蓝牙通道完成，感知预警方法通过驾驶员脚下、面部、颈部的吹风系统进行提示。基于标签集相关性学习的驾驶员异常行为预警方法执行的流程如图2 所示。

图2 基于标签集相关性学习的驾驶员异常行为预警方法执行流程

首先，获取驾驶员驾驶视频信息，调用协防差流方法提取驾驶员驾驶视频内的驾驶行为特征；

然后，辨认获取到的驾驶行为特征是否为异常行为特征，如果是，则继续进行下一步操作，如果不是，则停止分析即可；

最终，将获取到的驾驶员异常行为特征在已存在的驾驶异常行为标签集合内进行检索，计算出异常驾驶行为所处于的异常行为等级，根据计算结果进行相对应程度的预警，驾驶员异常行为等级的预警方法如下：

1）识别到驾驶员处于一级驾驶员异常行为时，应该立即远程控制迫使汽车紧急制动，并伴随车载GPS 地理信息向相关部门进行报警避免造成交通事故。

2）驾驶员出现二级驾驶员异常行为时，其驾驶意识模糊，应立即通过车载仪器向驾驶员发出声音叫醒加以预警。

3）如果最终结果显示驾驶员的异常行为等级为三级，应该采取语音和灯光双层叠加的方式进行解决，引导驾驶员脱离危险驾驶[14-16]。

4 实验研究

为了验证基于标签集相关性学习的驾驶员异常行为预警方法，将所提方法与文献[1]的基于PERCLO 的预警方法、文献[2]基于计算机视觉分析的预警方法进行实验对比。

选取对象为12 名非专业驾驶员在所提供的驾驶模拟器中进行操作，在操作之前，工作人员需要向他们解释操作方式和操作过程的各项要求，驾驶员熟练10 min 后，可以进行操作。

选取5 名具有丰富经验的工作员预案分析驾驶员的车辆驾驶异常行为，当发现驾驶员存在异常行为后，需要确定驾驶员的异常行为的等级，同时启动三种预警方法进行对比。

不同的预警方法发出预警信号之后，用户对于预警信号的理解能力不同，设定信号理解能力共有1～4 个等级，等级1 为难以理解，等级2 为相对难以理解，等级3 为相对容易理解，等级4 为容易理解。汇总用户的理解能力结果，得到的实验结果如表1所示。

表1 用户理解能力和实验结果

根据表1 可知，不同用户对于预警方法的反应能力不同，PERCLO 预警方法对于用户而言最难理解[17-18]，因为PERCLO 预警方法采用的是触觉信号，驾驶员在驾驶时，对于触觉的理解性过低，尤其是存在异常行为时，触觉感知能力更低，因此，PERCLO预警方法的实用性较差。而计算机视觉分析预警方法对于用户而言相对较好理解，计算机视觉分析技术应用视觉信号，通过视觉信号为用户带来刺激，提醒用户存在行为异常，绝大多数用户能够更好地理解计算机视觉分析预警方法发出的预警信号。所提方法将视觉技术和听觉技术融合到一起，通过多种汇总方法对用户进行预警，利用复合预警方案让用户在更短的时间内理解自己存在异常行为，并作出改善行为，对于用户安全行驶有重要意义。

对12 名驾驶员的反应时间进行统计，比较不同预警方法下驾驶员的反应时间，得到的实验结果如图3 所示。

图3 预警反应时间实验结果

观察图3 可知，所提预警方法预警反应时间最短，预警能力最强。虽然不同人对于预警信号的反应时间存在差异，但是对12 位驾驶用户进行测试时，基于计算机视觉分析技术的预警方法，用户预警时间最长，甚至超过了23 s，即使反应最为迅速的用户预警时间也在15 s 以上，危险系数极高。相比较于基于计算机视觉的预警方法，基于PERCLO 的预警方法的预警能力更强，用户的反应时间相对较短，其中用户6 花费的预警时间仅有9 s，但是用户10 花费的预警时间为21 s。所提方法提出的预警方法花费的预警时间在3～7.5 s 内波动，用户可以在短时间内快速意识到自己的驾驶行为存在异常，对于确保用户安全驾驶有重要意义。

预警方法在进行预警时，可能会造成用户行为混淆，对于用户的舒适度产生影响，所提方法综合分析舒适度和可接受性，对于不同的预警方法进行评分，最高分为3 分，最低分为0 分，记录不同驾驶员的舒适度，得到的实验结果如表2 所示。

根据表2 可知，PERCLO 预警方法的舒适度最高，所提预警方法舒适度最差，因为所提的预警方法从多种渠道进行预警，用户容易受到信号干涉，因此舒适度相对较差。

表2 用户舒适度实验结果

综上所述，所提预警方法能够帮助用户在短时间内迅速发现自己的异常行为，通过多种渠道提醒用户让用户作出预警反应，从而保证用户的安全性。所提方法具有很强的实际应用意义，对于用户安全行驶可以起到积极的促进作用。

5 结束语

通过实验分析所提的基于标签集相关性学习的驾驶员异常行为预警方法的预警效果，证明了方法的可行性。该预警方法的优势在于采用驾驶员异常行为等级和预警方法分级控制的模式完成预警，具有参照性。并且预警方法是随驾驶员异常行为的更新而实时更新的，具有时效性。方法利用标签学，对已经认证的驾驶员异常行为进行录入，标签集相关学习方法不仅丰富了预警语言，还提高了对驾驶员异常行为分类的准确率，克服传统标签集语义冗余和相关性较差的问题。相信通过所提预警方法的分析，可以减少驾驶员由于异常行为导致发生交通事故的频率，为预警方法提供新思路。可以将所提方法设计的核心应用到预警车辆乘坐人对驾驶员驾驶状态的预警方法中，保证驾驶员行车的安全性。