基于眼动特征的疲劳驾驶检测方法

牛清宁，周志强，金立生，刘文超，于鹏程

（1.公安部道路交通安全研究中心，北京100062；2.吉林大学交通学院，吉林长春130022）

基于眼动特征的疲劳驾驶检测方法

牛清宁1，周志强1，金立生2，刘文超1，于鹏程1

（1.公安部道路交通安全研究中心，北京100062；2.吉林大学交通学院，吉林长春130022）

为了提高疲劳驾驶检测模型准确率和实时性，基于驾驶模拟实验，利用SmartEye系统提取了驾驶人不同驾驶状态下眼动数据。基于眼动参数协议，提出了眨眼频率、PERCLOS、注视方向和注视时间4个特征参数的计算方法。分析了各特征参数的最优时窗，针对不同特征参数最优时窗差异，提出了滑移时窗的数据融合方法。基于支持向量机，搭建了疲劳驾驶检测模型。实验结果表明，该模型可以有效地进行疲劳状态检测，准确率能够达到83.84%。

疲劳驾驶；眼动特征；支持向量机；滑移时窗；时窗；检测模型

疲劳驾驶是导致道路交通事故的主要因素之一。Klauer等研究发现，疲劳驾驶引发交通事故的概率是正常驾驶的4～6倍［1］。每年由疲劳驾驶而引起的交通事故占事故总数的20%左右，占特大交通事故的40%以上［2⁃3］。因此，需要对驾驶人的驾驶状态进行实时检测，当出现疲劳驾驶时，给予有效的预警，对于降低交通事故及人员伤亡有着十分重要的现实意义。

疲劳驾驶检测方法分为主观检测和客观检测。主观检测主要通过主观调查表、驾驶人自我记录表、斯坦福睡眠尺度表和皮尔逊疲劳量表等评定驾驶人的疲劳状态［4］。客观检测包括基于生理信号检测的方法（脑电信号、肌电信号和皮电信号等）［5］、基于生理反应检测的方法（眼动特征、面部朝向等）［6］和基于驾驶行为检测的方法（方向盘转角、车道偏移量等）［7⁃8］。其中，基于驾驶人眼动特征的非接触式检测方法被广泛采用［6］。Lenskiy等基于颜色和纹理实现了驾驶人眼部的准确定位和分割，提取了眨眼频率和眼睛闭合时间进行疲劳状态的检测［9］。成波等利用多重回归对PERCLOS、平均睁眼程度以及最长闭合时间3个指标进行融合实现了对疲劳状态的检测，准确率为76.7%［10］。胡淑燕等利用从眼电信号提取出的11个眼睑运动特征参数搭建了基于支持向量机的驾驶人疲劳预测模型，实现了疲劳驾驶的提前预测［11］。

目前的研究主要集中在眼部区域的定位和分割，而在疲劳特征参数的选择及检测模型的优化方面，大多采用单个或少量几个眼睑运动参数来判断驾驶人的疲劳程度［11］。同时，在多特征参数融合及不同特征参数最优时窗选择优化方面存在一定的不足，各特征参数都在同一固定时窗内计算，并没有考虑其差异性。本文通过驾驶模拟实验，利用SmartEye系统提取驾驶人的眼动特征参数：眨眼频率、PERCLOS、注视方向和注视时间，提出利用滑移时窗融合的方法，实现各特征参数在其最优时窗内的融合，基于支持向量机搭建疲劳驾驶检测模型。

1 疲劳驾驶实验

在驾驶模拟实验的基础上，利用SmartEye系统采集20名驾驶人正常驾驶和疲劳驾驶状态下的眼动数据。

1.1 实验平台

采用自行开发的奔腾B50驾驶模拟实验平台进行驾驶模拟实验，驾驶模拟实验平台如图1（a）所示。驾驶人眼动数据通过SmartEye系统直接读取。SmartEye系统是由瑞典Smart Eye AB公司提供的一类非接触式眼睛跟踪系统，包括4个摄像头和2组红外光源，分别位于驾驶人左右两侧，如图1（b）所示，可以采集不同光照条件下驾驶人眼动数据。

图1 实验平台Fig.1 Experimental platform

1.2 实验驾驶人和实验场景

相关研究表明，年轻男性驾驶人是疲劳驾驶事故的高危人群［2，12］。依据实验要求，招募20名具有合法驾照的驾驶人（女6名，男14名）进行驾驶模拟实验，年龄21～39岁（均值为26.7，标准差为5.23）。

运用Multigen Creator和Vage自行设计高速公路场景，该场景模拟长春到四平高速公路（长平高速公路）进行设计，双向4车道，单车道宽3.75 m，中间隔离带宽3 m，全长96 km，车速限制80～120 km／h。

1.3 实验过程

整个实验过程分为正常驾驶和疲劳驾驶2个阶段进行。每位驾驶人都必须进行2个阶段的实验，首先进行正常驾驶实验，2次实验时间间隔为3周。在实验前2天提前通知驾驶人，实验前12 h内禁止饮酒。

1.3.1 正常驾驶

正常驾驶实验前1 d要求驾驶人保证充足的睡眠，实验时间选择在驾驶人正常休息后精力充沛的上午进行。从上午10∶00开始，持续2 h。实验前20 min研究人员介绍实验过程及注意事项，驾驶人熟悉驾驶环境，不记录实验数据，只记录后100 min实验数据。

1.3.2 疲劳驾驶

疲劳驾驶实验前1天限制驾驶人睡眠时间为凌晨1∶00～6∶00共5 h。疲劳驾驶实验选择最易出现疲劳状态的时间，从下午2∶00开始［12］，持续2 h或驾驶人由于过度疲劳而要求中止实验。

1.4 实验数据

同步采集的实验数据包括驾驶人眼动参数、道路前景视频和驾驶人面部视频。其中眼动特征参数采样频率为50 Hz，道路前景视频和面部视频采样频率为10 Hz。

1.5 疲劳状态评价

研究表明，驾驶人疲劳程度自我实时评价与面部视频他人评价之间存在明显的一致性［13］，为了避免实时自评侵入性影响和个人主观差异性影响，本文采用视频他评的方法确定驾驶人疲劳程度。实验结束后根据驾驶人的面部视频和道路前景视频，由3名经过训练的研究人员依据KSS睡眠尺度表［14］对驾驶人疲劳程度独立进行评分（KSSscore），取其平均值作为疲劳状态的客观评分。为保持数据的一致性，当3名研究人员评分结果差异较大时，重新确认原有评分。实验开始和结束时，要求驾驶人依据KSS睡眠尺度表对其疲劳状态进行自我评价，作为该驾驶人疲劳程度客观依据。

依据KSSscore得分，对采集驾驶人眼动数据分段记录，包括：驾驶人编号、开始时间、结束时间、持续时间和KSSscore。

如果KSSscore≤3，认为驾驶人处于正常驾驶状态，如果KSSscore≥7，认为驾驶人处于疲劳驾驶状态［15］。

1.6 眼动参数

利用SmartEye系统采集的驾驶人眼动参数协议如表1所示。

表1 SmartEye系统协议Table1 Protocol of SmartEye system

2 眼动特征参数

在驾驶模拟实验的基础上，利用SmartEye系统采集20名驾驶人正常驾驶和疲劳驾驶状态下的眼动数据。

眨眼频率、PERCLOS、注视方向和注视时间是目前常用的有效特征参数，根据眼动参数协议提取有效特征参数。

2.1 眨眼频率

眨眼频率（blink frequency，BF），即单位时间内眨眼次数。一般正常并经过充分休息的眼睛眨眼频率约2～4 s／次，每次眨眼时间为0.25～0.3 s。当驾驶人处于疲劳驾驶状态时，眨眼频率会增加或减少［9］。

第i个时窗内BF的计算公式为

式中：BTei为第i个时窗结束时的总眨眼次数；BTsi为第i个时窗开始时的总眨眼次数；Tbf为BF的计算时窗大小，眨眼频率最优计算时窗为60 s［12］。

2.2 PERCLOS

P80为常用的PERCLOS（percentage of eyelid closure time）计算标准，是指单位时间内眼睛睁开程度小于20%所占的比例［6］。

P80计算公式为

式中：f0为样本采样频率；TP80为P80的计算时窗大小，P80的最优计算时窗为10 s［12］；np为单位时窗内眼睛闭合程度超过80%的次数。

np的计算公式为

式中：LELj为第j帧图像的左眼睑尺寸，RELj为第j帧图像的右眼睑尺寸，LELM为驾驶人左眼睑平均尺寸，RELM为驾驶人右眼睑平均尺寸，第i个时窗的np初始化为0。

由于驾驶人个体差异性，对每位驾驶人取100组正常驾驶状态下眼睑尺寸计算LELM和RELM：

2.3 注视方向和注视时间

相关研究表明，驾驶人连续2 s注视区域偏离正常道路前方，发生交通事故概率增加2倍［16］。出现疲劳驾驶时，驾驶人视线方向长时间偏离正常道路前方的次数增加。因此，注视方向和注视时间可以作为疲劳驾驶检测有效特征参数。

将驾驶人的注视区域分为正常注视区域G1和非正常注视区域G0。利用正常注视区域内注视时间比例ftr来表示驾驶人的注视时间和注视方向。ftr的计算公式为

式中：Tftr为ftr的计算时窗大小，本文Tftr＝2s；nf为单位时窗内注视方向在正常注视区域内注视次数。

nf计算公式为

式中：GDXj为第j帧图像的视线方向X方向分量，GDYj为第j帧图像的视线方向Y方向分量，第i个时窗的nf初始化为0。

3 疲劳驾驶检测模型

疲劳驾驶与眼动特征之间存在复杂的非线性关系，本文采用支持向量机建立疲劳驾驶检测模型。

3.1 支持向量机

支持向量机（support vector machine，SVM）是基于统计学习的理论提出的，现已成为机器学习和数据挖掘的标准工具之一，被广泛应用于模式识别等领域［7］。

3.2 特征参数组

眨眼频率、PERCLOS、正常注视区域内注视时间比3个参数构成特征参数组作为支持向量机模型的输入X＝［BF，P80，ftr］。

3.3 滑移时窗

图2 滑移时窗示意图Fig.2 Schematic diagram of slip time window

本文选择滑移时间Δt＝2 s。因此，BF的重复率为96.7%，P80的重复率为80%，FTR的重复率为0。

在已经划分的眼动数据段内选择持续时间大于2 min的数据段，利用滑移时窗的特征参数组融合方法，提取并融合疲劳驾驶和正常驾驶的有效眼动特征参数组。共得到4 500组正常驾驶样本和3 000组疲劳驾驶样本。

3.4 模型训练

核函数的选择对于SVM模型的训练分类准确率存在直接影响，目前常用的核函数主要有：线性核函数、多项式核函数、径向基核函数和Sigmoid核函数［17］。其中径向基核函数对于处理驾驶人注意力状态检测方面存在一定的优势［7］，因此，选择径向基核函数。

基于SVM疲劳驾驶检测模型由Libsvm实现［17］。随机选择3 000组正常驾驶样本和2 000组疲劳驾驶样本作为训练集。采用网格寻优的方式选择参数γ和惩罚参数C，并进行5⁃fold交叉验证，得到最优的［C，γ］值。最优γ＝8，最优C＝0.25。

4 结果分析

4.1 准确率分析

利用剩余1 500组正常驾驶样本和1 000组疲劳驾驶样本构成测试集对构建的SVM模型进行测试。模型测试结果如表2所示。

表2 SVM模型输出结果Table2 Test results of SVM model

由表2可以知道，模型正确识别正常驾驶样本1 232个，误识别268个，正确识别疲劳驾驶样本864个，误识别136个，合计正确识别2 096个，误识别404个。本文采用准确率、灵敏度［7］和特异度［7］对建立的SVM模型进行综合评价，评价结果如下：模型检测准确率为83.84%，灵敏度为86.4%，特异度为82.13%。

模型的灵敏度为86.4%，其中有136个疲劳样本被误识为正常样本。对比道路前景视频和驾驶人面部视频可知，136个误识样本主要来自2个视频段，道路前景视频显示，这2个视频段均出现明显的车道偏离，而驾驶人面部视频显示的眼动特征参数与正常驾驶相比并没有明显的差异，但出现了打哈欠、揉眼睛等疲劳现象。造成误判的原因是本文主要基于驾驶人的眼动特征进行检测，没有考虑面部特征，特征参数选择不够全面。模型的特异度为82.13%，其中有268个正常样本被误识为疲劳样本。对比驾驶人面部视频可知，268个误识样本来自同一驾驶人，而该驾驶人的眨眼频率明显低于其他驾驶人正常驾驶时的眨眼频率。造成误识的原因是驾驶人个体差异。

4.2 实时性分析

采用滑移时窗的数据融合方法，实现了各特征参数值在其最优时窗内计算。同时，BF最优计算时窗为60 s，P80的最优计算时窗为10 s，都大于模型的检测周期2 s，因此，该模型明显提高了疲劳驾驶检测的实时性。

5 结论

本文基于驾驶模拟实验，提取了驾驶人眼动特征，搭建了疲劳驾驶模型，实现了疲劳驾驶检测。得到的主要结论如下：

1）眨眼频率、PERCLOS、注视方向和注视时间4个特征参数可以用于疲劳驾驶检测。

2）不同特征参数的最优时窗之间存在一定差异性。

3）利用滑移时窗的方法实现了不同特征参数在其最优时窗内的融合，提高了检测系统准确率和实时性。

本文研究的特征参数只考虑了驾驶人的眼动特征，而且没有考虑个人差异性因素的影响。因此，在研究驾驶人个体差异性的基础上，融合驾驶行为、面部特征等多特征的疲劳驾驶检测系统，是下一步研究的重点。

［1］KLAUER S G，DINGUS T A，NEALE V L，et al.The im⁃pact of driver inattention on near⁃crash／crash risk：an analy⁃sis using the 100⁃car naturalistic driving study data［R］.Washington：National Highway Traffic Safety Administra⁃tion，2006.

［2］赵晓华，许士丽，荣建，等.基于ROC曲线的驾驶疲劳脑电样本熵判定阈值研究［J］.西南交通大学学报，2013，48（1）：178⁃183.ZHAO Xiaohua，XU Shili，RONG Jian，et al.Discriminat⁃ing threshold of driving fatigue based on the electroencepha⁃lography sample entropy by receiver operating characteristic curve analysis［J］.Journal of Southwest Jiaotong University，2013，48（1）：178⁃183.

［3］FORSMAN P M，VILA B J，SHORT R A，et al.Efficient driver drowsiness detection at moderate levels of drowsiness［J］.Accident Analysis and Prevention，2013，50：341⁃350.

［4］吴绍斌，高利，王刘安.基于脑电信号的驾驶疲劳检测研究［J］.北京理工大学学报，2009，29（12）：1072⁃1075.WU Shaobin，GAO Li，WANG Liuan.Detecting driving fa⁃tigue based on electroencephalogram［J］.Transactions of Beijing Institute of Technology，2009，29（12）：1072⁃1075.

［5］彭军强，吴平东，殷罡.疲劳驾驶的脑电特性探索［J］.北京理工大学学报，2007，27（7）：585⁃589.PENG Junqiang，WU Pingdong，YIN Gang.Exploring the characters of electro encephalogram for fatigued drivers［J］.Transactions of Beijing Institute of Technology，2007，27（7）：585⁃589.

［6］AHLSTROM C，NYSTRÖM M，HOLMQVIST K，et al.Fit⁃for⁃duty test for estimation of drivers'sleepiness level：eyemovements improve the sleep／wake predictor［J］.Transpor⁃tation Research Part C，2013，26：20⁃32.

［7］JIN L S，NIU Q N，HOU H J，et al.Driver cognitive dis⁃traction detection using driving performance measures［J］.Discrete Dynamics in Nature and Society，2012，2012：1⁃12.

［8］李伟，何其昌，范秀敏.基于汽车操纵信号的驾驶员疲劳状态检测［J］.上海交通大学学报，2010，44（2）：292⁃296.LI Wei，HE Qichang，FAN Xiumin.Detection of driver's fatigue based on vehicle performance output［J］.Journal of Shanghai Jiaotong University，2010，44（2）：292⁃296.

［9］LENSKIY A A，LEE J S.Driver's eye blinking detection u⁃sing novel color and texture segmentation algorithms［J］.In⁃ternational Journal of Control Automation and Systems，2012，10（2）：317⁃327.

［10］成波，张广渊，冯睿嘉，等.基于眼睛状态识别的驾驶员疲劳实时监测［J］.汽车工程，2008，30（11）：1001⁃1005.CHENG Bo，ZHANG Guangyuan，FENG Ruijia，et al.Re⁃al time monitoring of driver fatigue based on eye state rec⁃ognition［J］.Automotive Engineering，2008，30（11）：1001⁃1005.

［11］胡淑燕，郑钢铁.应用支持向量机的眼睑参数疲劳预测［J］.北京航空航天大学学报，2009，35（8）：929⁃932.HU Shuyan，ZHENG Gangtie.Driver fatigue prediction with eyelid related parameters by support vector machine［J］.Journal of Beijing University of Aeronautics and Astro⁃nautics，2009，35（8）：929⁃932.

［12］SAHAYADHAS A，SUNDARAJ K，MURUGAPPAN M.Detecting driver drowsiness based on sensors：a review［J］.Sensors，2012，12：16937⁃16953.

［13］张希波，成波，冯睿嘉.基于方向盘操作的驾驶人疲劳状态实时检测方法［J］.清华大学学报：自然科学版，2010，50（7）：1072⁃1076.ZHANG Xibo，CHENG Bo，FENG Ruijia.Real⁃time de⁃tection of driver drowsiness based on steering performance［J］.Journal of Tsinghua University：Science and Technol⁃ogy，2010，50（7）：1072⁃1076.

［14］ÅKERSTEDT T，GILLBERG M.Subjective and objective sleepiness in the active individual［J］.International Jour⁃nal of Neuroscience，1990，52：29⁃37.

［15］INGRE M，ÅKERSTEDT T，PETERS B，et al.Subjective sleepiness，simulated driving performance and blink dura⁃tion：Examining individual differences［J］.Journal of Sleep Research，2006，15：47⁃53.

［16］YEKHSHATYAN L，LEE J D.Changes in the correlation between eye and steering movements indicate driver distrac⁃tion［J］.IEEE Transactions on Intelligent Transportation System，2013，14（1）：136⁃145.

［17］CHANG C C，LIN C J.LIBSVM：a library for support vec⁃tor machines［EB／OL］.（2011⁃05⁃20）.http：／／www.csie.ntu.edu.tw／～cjlin／libsvm／index.html＃GUI.

Detection of driver fatigue based on eye movements

NIU Qingning1，ZHOU Zhiqiang1，JIN Lisheng2，LIU Wenchao1，YU Pengcheng1
（1.Road Traffic Safety Research Center of Ministry of Public Security，Beijing 100062，China；2.College of Transportation，Jilin Uni⁃versity，Changchun 130022，China）

In order to improve the accuracy and real time performance of the driver fatigue detection model，based on driving simulation experiment，the eye movement data in different driving states were collected using SmartEye system.According to the protocol of SmartEye system，a calculation method was proposed to obtain the characteris⁃tic parameters，including blink frequency，PERCOLS，gaze direction and fixation time.The best time window of different characteristic parameters was analyzed.For the best time window of each characteristic parameter was dif⁃ferent，the slip time window was proposed to fuse the data.A diver fatigue detection model was developed based on the support vector machine.Validation tests showed that the method based on the driver's eye movements has a suc⁃cessful fatigue detection，whose accuracy reaches 83.84%.

driver fatigue；eye movements；support vector machine；slip time window；time window；detection model

10.3969／j.issn.1006⁃7043.201311044

http：／／www.cnki.net／kcms／detail／23.1390.U.20150109.1535.018.html

U461.91

A

1006⁃7043（2015）03⁃0394⁃05

2013⁃11⁃13.网络出版时间：2015⁃01⁃09.

教育部新世纪优秀人才基金资助项目（NCET⁃10⁃0435）；高校博士学科点专项科研基金资助项目（20110061110036）；吉林省人才开发基金资助项目（801121100417）；吉林省科技厅国际合作资助项目（20130413056GH）.

牛清宁（1987⁃），男，助理研究员，博士；金立生（1975⁃），男，教授，博士生导师.

金立生，E⁃mail：jinls＠jlu.edu.cn.