基于多信息融合的铁路机车司机疲劳驾驶监测系统研究

徐春婕

XU Chun-jie

（中国铁道科学研究院 电子计算技术研究所，北京 100081)

(Institute of Computing Technology， China Academy of Railway Sciences， Beijing 100081， China)

0 引言

行车安全是铁路运输安全生产的重要保障。由于列车运行速度快，铁路交通运输安全事故危害性大，而机车司机操作过程的智能化和所处环境的影响，使得司机易于处于注意力下降、打瞌睡等状态，导致司机的违章作业或操纵失误。因此，对列车司机状态进行在线监测和管理，己经成为保障列车安全运营亟待解决的问题。

目前，国内外对司机疲劳驾驶监测技术的研究主要集中在汽车司机的疲劳驾驶方面，分析的方法主要有基于生理参数的方法[1-2]和基于计算机视觉的检测方法[3-8]。基于生理参数的方法主要分析脑电信号、脉搏、手动信息、肌电信号和皮电信号等[9]；基于计算机视觉的检测方法主要分析眼睛闭合程度 (PERCLOS)、眨眼频率等眼部特征和头部位置变化等，基于计算机视觉的检测方法由于其非接触式的工作方式得到广泛的应用，但由于列车运行过程中受复杂光线的影响，准确率比较低。

少数铁路局集团公司、站段根据本单位的工作实际，开发了基于计算机视觉分析的司机疲劳驾驶监测系统，但仍存在诸多的问题，监测手段单一，仅以闭眼时长作为判断疲劳程度的标准，准确率和可靠性有待提高；报警仅限于在司机驾驶室内进行报警，难以满足地面机务段实时监控司机状态的需求；系统功能单一，对于监控视频数据采用人工监控的方式，成为一种事后取证的工具，很难进行统计和分析，难以满足统一管理和考核的需求。为此，采用多信息融合的分析方法，提出一套完整的基于多传感信息融合的铁路机车司机疲劳驾驶监测系统。通过采集司机的驾驶图像、司机的脑电信息及手动信息，对数据进行综合分析，进行在线监测与报警，并将报警信息实时传送至地面监控中心，并对视频进行管理。该系统可以有效提高监测的准确率和可靠性，实现报警数据的实时车地传输，全面满足实时监控的需求。

1 基于多信息融合的铁路机车司机疲劳驾驶监测系统设计

铁路机车司机疲劳驾驶监测系统 (DFDS) 是指利用信息技术、集成技术、图像处理等技术，对司机的面部表情、行为状态实时采集的视频和可穿戴设备采集的生理信号等信息进行分析和统计，具有在线监控、视频管理、统计分析、设备管理、参数控制等基本功能，形成列车机务段、机车司机两级报警和分析体系，全面满足机务段对司机状态监控和管理需求的统一智能监控系统。

1.1 系统功能设计

系统从功能角度可以划分为在线监控子系统、视频管理子系统、统计分析子系统及设备监控子系统。

（1）在线监控子系统。在线监控子系统通过图像采集传感器采集机车司机的面部视频信息、安装在司机工作帽中的传感器采集脑电波信息、通过智能手环采集司机的手部运动信息，并对相应的信息进行分析，计算司机的疲劳度，然后进行信息的融合，准确快速地检测疲劳状态监及异常行为，并将报警信息实时传送监控中心系统，进行人工干预和处理。

（2）视频管理子系统。视频管理子系统主要完成视频图像的查询、预览和回放功能，用户可以根据不同的时间段、机车编号、司机编号等字段进行视频图像的检索，结合报警信息可以实现视频图像的快速定位，在视频回放过程中，实现视频图像的抓图存储功能，作为事后分析的依据。

（3）统计分析子系统。统计分析子系统是为机务段工作人员和管理人员提供所需要的数据报表，可以有效提高业务人员统计管理工作效率的报表管理系统。系统提供工作时长统计、报警次数统计、绩效考核等基本报表功能。

（4）设备管理子系统。设备管理子系统实现系统设备的状态监控和故障管理、设备的参数配置及全生命周期的管理功能。车载设备包括摄像头、可穿戴设备、智能分析设备，地面监控中心包括服务器等设备。

1.2 系统架构设计

根据机车司机提醒、机务段对司机状态进行集中监控的要求，结合中国高速铁路标准动车组设计方案，DFDS 采用机务段－机车两级架构。整个系统组成分为地面监控中心、车载监控系统、车地通讯系统3个部分。地面监控中心设置数据库服务器、应用服务器和接口服务器设备，通过统一的接口接收机车运行信息、机车司机排班信息、机车调度信息及司机报警信息，对数据进行管理和维护，完成机车司机排班等信息的维护，历史视频数据回放，机务段所属机车司机的疲劳状态实时跟踪并进行及时处理功能，从而实现对机车司机人员疲劳状态全面集中管控；车载监控系统通过摄像机组采集机车司机的面部视频信息，通过脑电波帽子采集司机的脑电波信息，通过智能手环采集司机的手部运动信息，由智能分析主机对三者信息进行综合分析处理，快速准确地检测疲劳状态监及异常行为，并将报警信息实时传送地面监控中心系统，进行人工干预和处理；车地通讯系统通过 4G/3G 无线通信单元与地面监控中心实时交互，完成报警数据和报警信息的实时传输功能。

系统软件架构通过调用不同的服务和数据资源构建系统的业务流程，设计的基于多信息融合的 DFDS 架构如图1所示。整个架构按层次划分为表现层、业务层、数据层、传输层和数据采集层5层。

（1）表现层。表现层提供用户所需要的各种功能，包括在线监测、视频管理、统计分析和设备管理等业务的各应用子系统。

（2）业务层。业务层是系统所有业务服务的集合,包括文件上传、接口管理、抓图、视频存储、视频压缩、疲劳度状态检测、报警等功能模块。根据实际需要可以设置报警参数，如针对视频信息采集设置的各级别报警时长、报警视频存储长度、报警图片的抓取等；实现视频的压缩和存储，并结合可穿戴设备采集的生理信号进行融合，实现疲劳状态的综合监测并进行报警；通过接口管理模块实现报警信号和图像或视频信息的上传，并将机车运行信息、机车司机排班信息和机车调度信息接入系统，为表现层提供业务支持。

图1 基于多信息融合的 DFDS 架构Fig.1 DFDS based on multi-sensor information fusion

（3）数据层。数据层是系统的数据中心，包括司机排班信息、机车运行信息、机车调度信息、脑电信息、手环信息、图片及视频数据文件等。

（4）传输层。传输层包括蓝牙通讯、有线通讯和 4G /3G 网络传输，蓝牙通讯实现可穿戴设备和分析主机之间的数据传输，有线完成摄像头与分析主机间视频图像的传输，4G /3G 网络完成车地数据的实时数据交换。

（5）数据采集层。数据采集层包括的硬件设备为红外摄像头、带三轴传感器的智能手环和带有脑电传感器的工作帽，从而完成视频图像和生理信息等的采集功能。

2 铁路机车司机疲劳驾驶监测系统关键技术

2.1 基于视觉分析的疲劳状态监测技术

基于视觉分析的司机疲劳状态监测由于其非接触式工作方式，在疲劳驾驶检测中得到了广泛的运用，机车运行时受白天、黑夜、隧道等不同条件光线的影响，系统采用近红外摄像头来获取驾驶员的脸部图像，以保证不同光照环境下都能获得较好的面部图像。基于视觉分析的司机疲劳驾驶监测算法流程图如图2所示。系统首先采用基于扩展 Haarlike 特征的 AdaBoost 算法，对人脸进行检测；其次，按照“三庭五眼”原则进行眼睛区域的粗略定位 (选取人脸区域垂直方向约 1/5—1/2)，并对选定的人脸区域作3×3的中值滤波技术除噪，作垂直积分投影，选取投影的最大值，确定两眼中间的水平位置，划分左右眼，选取较大区域眼睛定位区域，对区域作水平积分和垂直积分投影[10]，将水平积分投影次大值记作眼睛的水平位置，将垂直积分投影的最大值记作眼睛的垂直位置。由于采集到的图像中人眼的瞳孔半径约为 6～9 个像素，因而本系统选取眼睛直径 (记作 T) 为30个像素，以上下左右各扩展 T/2 个值的作为选取瞳孔眼睛的矩形窗口；再次判断眼睛的睁闭状态，即将定位眼睛窗口二值化，阈值由经验取为 80，此时黑眼球被二值化为黑色像素，统计各列黑色像素的个数并取最大值，判断阈值是否小于6(采用 PERCLOS[11]算法的 P80原则)，如果各列黑色像素的阈值小于6则为闭眼状态，反之为睁眼状态；最后计算司机疲劳度。

2.2 基于脑电的疲劳状态监测技术

脑电是大脑皮层神经细胞集群电活动而产生的电生理信号，依频率不同而分为 δ，θ，α，β 波。

图2 基于视觉分析的司机疲劳驾驶监测算法流程图Fig.2 Flow chart of driver fatigue monitoring algorithm based on visual analysis

鉴于高速列车运行时的实际情况，以 10～13 Hz 的 α 波和 18～22 Hz 的 β 波2个频带进行分析，在实际驾驶环境中采集到的脑电信号含有较强的干扰，因而首先需要对采集到的脑电信号使用小波包分解方法[12]进行去噪处理，小波包分解公式如下。

式中：f (t) 表示源信号；fi,j(tj) 表示小波包分解在第i 层分解节点 (i，j) 上的重构信号，i 为第 i 层分解，j = 0，1，…，2i-1。

由于驾驶员处于疲劳状态时，α 波及高频脑电会减少，而脑电的 β 波会增多；当从疲劳转为瞌睡或睡眠状态时,占主导的脑电频率会逐步降低为 θ 波。鉴于高速列车运行时的实际情况，以10～13 Hz 的 α 波的平均功率谱密度 Gα和 18～22 Hz的 β 波的平均功率谱密度 Gβ[9]比值作为脑电疲劳指标 Fa。

2.3 基于手环的疲劳状态监测技术

智能手环作为可穿戴设备的一种，通过手环中嵌入的三轴传感器收集人的手动信息，可以分析机车司机的疲劳及睡眠状态，故本系统通过采集三轴加速度分量信息，检测手部运动的活跃状态，从而反映出司机的疲劳状态程度。其主要包括以下 4个步骤：①计算三轴加速度，测量范围为 -2～2g；②对三轴加速度求方差，以表征运动系数波动的大小，为了让方差恒定，即让波动相对稳定，以便于统计推断，因而在计算时对方差值取对数；③进行阈值去噪计算手动系数；④设置门限阈值，判断手动次数，统计一段时间内手动次数值，判断疲劳程度。

2.4 基于多信息融合的疲劳状态监测技术

铁路机车司机疲劳驾驶监测系统采用多信息融合，利用各类传感器采集的数据信息分别识别出驾驶员的疲劳程度，然后通过加权平均进行相关的分析和处理。系统疲劳等级判别值 F 计算的融合矩阵满足下列公式。

式中：P1为基于视觉的疲劳状态监测等级；P2为基于脑电的疲劳状态监测等级划分；P3为基于手环的疲劳状态监测等级划分；wi为 Pi项指标的权值。

Pi参照 6A 系统 (机车车载安全防护系统) 的标准，根据被检测人员眼睑持续闭合时间 t，划分为一级疲劳、二级疲劳和三级疲劳，可以表示为

P2根据脑电疲劳指标 F，可以表示为

P3根据手动系数值 H，可以表示为

2.5 基于多信息融合的疲劳状态监测算法试验分析

基于视觉的疲劳状态监测的试验环境为英特尔i3 处理器、3 G 内存，VS2010 编程环境，程序采用VC++ 语言编写，其中人脸检测算法的处理时间为0.003s/帧，人眼特征检测算法处理时间为 0.08s/帧，在当前环境下满足视觉图像处理12帧/s 的实时需求。

基于脑电信号与手环疲劳状态监测方法试验过程中，手动系数为监测反馈信息段90s 内超过门限阈值的数量，为了减少误差，统计连续2次及以上手动系数小于30时为三级疲劳，30～60 之间为二级疲劳，60～100 之间为一级疲劳。

为了分析多信息融合检测方法的性能，分别对白天、午休、夜间和雨天、阴天、晴天拍摄的6组视频各24300帧图像，约4h 的典型数据的检测结果进行统计，设定权值矩阵取值 [1/31/31/3]T，为了与基于视觉的疲劳状态监测保持一致，试验过程每 10s 作为一个监测时间点。疲劳状态监测等级划分取值范围 [2/3，4/3) 为一级报警，[4/3，2) 为二级报警，[2，3] 为三级报警，并统计监测准确率、漏报率和误报率作为评价检测效果的指标进行分析，单因素检测与融合算法检测结果对比如表1所示。

表1 单因素检测与融合算法检测结果对比 %Tab.1 Comparison of the single factor test and the fusion algorithm

数据表明，在司机驾驶过程中，基于视觉的监测方法受复杂天气及光线的影响较大，导致准确率比较低，漏报和误报率高；基于脑电的监测方法，由于司机的头部运动易导致出脑电接触度不够，从而引起漏报率比较高；手部运动受到外界的影响因素少，但有一定时间滞后性，因而可以作为重要的辅助手段；通过多信息融合后的系统效果最好，准确率有一定提高，漏报率和误报率均有明显减少。

3 结束语

车地一体化的机车司机疲劳驾驶监测系统设计，是将车载端监测的智能报警信息通过车地无线通讯传送到地面监控中心，并进行管理、统计和分析，满足了当前铁路局和机务段集中管控的需求。车载监控系统采用基于多信息融合的铁路机车司机疲劳驾驶监测方法，首次将手环信息、脑电信息作为疲劳监测的手段，分别设计了不同信息对疲劳等级的判别，通过多信息融合算法提高系统的准确率，解决了当前系统中功能单一、监测准确率低等问题。试验依托大西高铁原平西—太原试验段进行了现场试验，并通过模拟试验和现场试验，证明了方法的可行性，取得了良好的效果。如何进一步确定矩阵的权值，从而提高监测的准确率，将是下一步研究工作的重点。

[1] HSU C M，LIAN F L，HUANG C M，et al. Heart Rate Variability Signal Processing for Safety Driving Using Hilbert‐Huang Transform[C]// IEEE.2014International Symposium on Computer，Consumer and Control.New York：IEEE，2014：434-437.

[2] WANG Y T，HUANG K C，WEI C S，et al. Developing an EEG based On-line Closed-loop Lapse Detection and Mitigation System[J]. Frontiers in Neuroscience，2014，8(8)：321-325.

[3] 姚 瑶，杨艳芳，齐美彬，等. 基于视觉的疲劳驾驶检测算法[J]. 合肥工业大学学报 (自然科学版)，2015，38(12)：1623-1627.YAO Yao，YANG Yan-fang，QI Mei-bin，et al. An Algorithm of Fatigue Driving Detection based on Computer Vision[J]. Journal of Hefei University of Technology(Natural Science)，2015，38 (12)：1623-1627.

[4] HEMADRI V B，KULKARNI U P. Detection of Drowsiness Using Fusion of Yawning and Eyelid Movements[C]//Springer. Advances in Computing，Communication，and Control. Berlin：Springer-Verlag Berlin Heidelberg，2013：583-594.

[5] CHANG T H，CHEN Y R. Driver Fatigue Surveillance via Eye Detection[C]//IEEE. International Conference on Intelligent Transportation Systems. New York：IEEE，2014：336-371.

[6] 张丽雯，杨艳芳，齐美彬，等. 基于面部特征的疲劳驾驶检测[J]. 合肥工业大学学报 (自然科学版)，2013，36(4)：448-451.ZHANG Li-wen，YANG Yan-fang，QI Mei-bin，et al.Detection of Fatigue Driving based on Facial Features[J].Journal of Hefei University of Technology(Natural Science)，2013，36(4)：448-451.

[7] LUO X，HU R，FAN T. The Driver Fatigue Monitoring System based on Face Recognition Technology[C] //IEEE. Fourth International Conference on Intelligent Control and Information Processing. New York：IEEE，2013：384-388.

[8] 张正普. 我国铁路客运实名制验票识别技术的探讨[J]. 铁道运输与经济，2016，38(5)：64-68.ZHANG Zheng-pu. Discussion on Real-name Ticket Checking and Identification Technologies of Railway Passenger Transportation in China[J]. Railway Transport and Economy，2016，38(5)：64-68.

[9] 彭军强，吴平东，殷 罡. 疲劳驾驶的脑电特性探索[J].北京理工大学学报，2007，27(7)：585-589.PENG Jun-qiang，WU Ping-dong，YIN Gang. Exploring the Characters of Electroencephalpgram for Fatigued Driver[J].Transaction of Beijing Institute of Technology，2007，27(7)：585-589.

[10] 夏 伟，张立材. 改进的积分投影眼睛定位算法[J]. 现代电子技术，2011，34(8)：105-107.XIA Wei，ZHANG Li-cai. Improved Eye Location Algorithm of Integral Projection[J]. Modern Electronics Technique，2011，34(8)：105-107.

[11] 夏 芹，宋义伟，朱学峰. 基于 PERCLOS 的驾驶疲劳监控方法进展[J]. 自动化技术与应用，2008，27 (6)：43-46.XIA Qin，SONG Yi-wei，ZHUXue-feng. The Research Development on Driving Fatigue based on PERCLOS[J].Techniques of Automation &Applications，2008，27 (6)：43-46.

[12] 王福旺，王 宏. 长途客车驾驶员疲劳状态脑电特征分析[J]. 仪器仪表学报，2013，34(5)：1146-1152.WANG Fu-wang，WANG Hong. EEG Characteristic Analysis of Coach Bus Drivers in Fatigue State[J]. Chinese Journal of Scientific Instrument，2013，34(5)：1146-1152.