面向渐冻人设计的有意识地眨眼交互系统

杨俊　高凡承　王新龙　宁磊

摘要：渐冻症患者随着病情的发展会逐渐丧失语言功能，无法通过语言表达内心需求，造成较大的心理压力，为了帮助渐冻人能够轻松地与外界交流，本文为渐冻人设计了一种人机交互系统。由于患者会逐渐丧失行动能力，本文设计了眨眼识别算法，该识别算法能够识别出眨眼的面部动作，并且区分接收到的眨眼信号是否为患者有意识地眨眼。交互系统配以图形界面，图形界面内置了虚拟软键盘，用户能够不通过敲击键盘实现打字输出。设计的交互系统以眨眼作为人机交互方式，系统将接收到的眨眼信号传入图形界面，图形界面通过虚拟软键盘实现输出功能。患者虽丧失了语言功能和行动能力，但可以通过该交互系统实现眨眼打字，舒缓心理压力。

关键词：人脸对齐;人脸特征点检测;眨眼识别;人机交互

【Abstract】InordertohelpALSpatientscommunicatewiththeoutsideworldeasily，thisresearchdesignsaman-machineinteractionsystemforALSpatients.Becausethepatientwilllosetheabilityofaction，thispaperdesignsaneyeblinkrecognitionalgorithm，whichcanrecognizethefacialmovementsofblinkinganddistinguishwhetherthereceivedblinksignalisconscious.Theinteractivesystemisequippedwithagraphicalinterface，whichhasbuilt-invirtualkeyboard，userscantypewithouthittingthekeyboard.Theinteractivesystemtakesblinkashuman-computerinteractionmode，andtheinteractivesystemcanreceivetheblinksignalandsendittothegraphicinterface.Meanwhile，thegraphicinterfacerealizesexpressionfunctionthroughvirtualkeyboard.Althoughthepatientlostthelanguagefunctionandtheactionability，theinteractivesystemcanhelpthepatientrelievethepsychologicalpressure.

【Keywords】facealignment;facelandmarkdetection;blinkdetection;man-machineinteraction

作者簡介：杨俊（2000-），男，本科生，主要研究方向：计算机视觉、人机交互。

0引言

到2020年，全球已有超过一百万的“渐冻症”患者[1]。研究可知，罹病患者由于神经损伤，丧失语言功能和行动能力，无法与外界交流以满足自身需求，因此承受巨大的心理压力和生理痛苦[2]。

为了能让渐冻症患者可以自主地与外界交流，本文为渐冻症患者设计了一种人机交互系统，使用该系统患者将无需穿戴任何设备，只需面对摄像头，通过眨眼与计算机交互，并通过图形界面来完成打字输出，轻松地实现与外界交流。

1交互方式的设计

由于渐冻症患者随着病情的加重会丧失语言和行动能力，所以无法通过控制手指敲击键盘与计算机交互。患者通常只能控制眼睛的运动，因此有面向

渐冻人设计的人机交互系统是通过识别眼球来展开研究，将人眼眼球的位置作为输入信号来与计算机进行交互[3]，但是这种交互方式存在一些不足。首先，计算机无法判断输入信号是否为患者有意识地交互，易造成误判。其次，人眼眼球运动幅度较小，不易被计算机辨别，增加了交互难度。并且，患者的视线长时间注视在显示器的同一位置，易造成视觉疲劳。

本次研究即以眨眼作为患者和计算机交互的方式，通过训练面部标志模型，设计眨眼检测算法和图形界面，来实现人机交互。同时，眨眼检测算法能够辨别患者是否为有意识地眨眼，避免了误判，提升了交互系统的稳定性，降低了操作难度。

2眨眼识别算法的研究

2.1人脸特征点检测模型的选择

为了能够辨别患者是否眨眼，研究时需要有能够识别人眼关键点的深度学习模型，关键点包括左侧眼角关键点、右侧眼角关键点、左侧上眼睑关键点、右侧上眼睑关键点、左侧下眼睑关键点以及右侧下眼睑关键点[4]，如图1所示。过程中还要考虑到患者头部姿态的改变对识别精确度的影响，该模型也要能够克服头部姿态所带来的噪声，因此深度学习的神经网络模型采用深度对齐网络[5]（DeepAlignmentNetwork）。深度对齐网络的输入为整张图片，充分利用了人脸的全局信息，使得检测人脸关键点时受头部姿态的影响较小。深度对齐网络每个阶段均有3个输入，分别是：被矫正过的图片、关键点热图和全连接层生成特征图。每个阶段有一个输出，是面部形状。每阶段的输出要经过连接层转换，得到下个阶段的3个输入。网络结构示意图如图2所示。

同时，将图片输入全连接层，以线性整流函数作为激活函数，再进行上采样，得到用于输入的特征图。

经过多层网络迭代训练，最终得到能识别人脸面部关键点的深度学习模型。经由分析可知，深度对齐网络加入了关键点热图，神经网络能以整张图片作为输入，提取人脸的全局信息，所以深度学习模型能够较好地克服头部姿态导致的干扰，识别效果如图6所示。

2.2眨眼检测算法的设计

在实现2.1节研发的基础上，本文就能得到人脸中眼睛的6个关键点坐标，如图7所示。

在患者闭眼时，关键点坐标会发生显著变化，如图8所示。

由于人脸与摄像头之间的距离会影响图片中2像素点之间坐标的差值[6]，因此通过计算出上下眼睑关键点距离之和与左右侧眼角关键点距离的比值[7]，来判断人眼的状态，令函数DR如下式所示：

3人机交互界面的设计

人机交互系统以眨眼作为人机交互方式，图形界面均匀地排布着26个英文字母按键[8]，作为虚拟软键盘的界面。并且加入了便捷按键，能够直接在显示框中输出常用的交流短语，例如：“Iwanttodrinkwater”，“Iamhungry”等，以提升交互界面的使用便捷度，交互界面如图11所示。

研究中为了降低患者使用该系统的复杂度，减少眨眼次数，图形交互界面会先循环选中每一行字母按键，每行选中时停留3s的时间，若在停留时间内，图形界面接受到眨眼输入信号，则会退出行循环，开始循环选中该行中的每一个字母按键，每个按键选中时停留3s的时间，若在停留时间内，图形界面接收到眨眼输入信号，则输出框中会出现选中的字母，并退出该行的字母按键循环。此时交互系统完成一次输出，开始进行下一轮行循环，等待眨眼信号的输入。

该图形界面自动循环选中按键，不需要患者通过眨眼来操纵选中按键的位置，极大程度上减少了眨眼操作的次数。并且图形界面先循环选中每行按键，患者确认某行按键后，再循环选中该行中的每一个字母按键，兼顾了眨眼交互的效率。

4结束语

本文提出了一种为渐冻人设计的有意识的眨眼交互系统。该交互系统采用眨眼作为人机交互的方式，并且患者的视线不需要长时间注视在屏幕上，提升了使用者的舒适度。渐冻症患者可以通过眨眼来操控图形界面的输出框显示出想要表达的内容，从而帮助其及时与医护人员沟通，该人机交互系统具有一定的创新性和实际应用价值。

参考文献

[1]BROWNRH，SWASHM，PASINELLIP.Amyotrophiclateralsclerosis[M].2nded.Florida：CRCPress，2006.

[2]刘晓阳.罕见病群体网络社群的使用及其对心理健康的影响研究[D].厦门：厦门大学，2019.

[3]王浩冲，沈小键，贾磊，等.睿眼随心—渐冻人脑电辅助交互系统[J].物联网技术，2018，8（5）：13-14.

[4]张云，李岚.基于级联卷积神经网络的人脸特征点识别算法实现[J].兰州理工大学学报，2020，46（3）：105-109.

[5]朱富丽，杨磊，姬波.基于增强并行级联卷积神经网络的人脸检测方法[J].计算机应用与软件，2020，37（11）：101-105，111.

[6]黄琬婷，胡小平.一种基于张氏标定法的单目相机改进标定算法[J].导航与控制，2019，18（1）：105-111.

[7]余贵珍，牛欢，张艳飞，等.一种基于单目摄像头的前向物体横向距离标定方法：中国，CN109087361A[P].2018-12-25.

[8]董小龍，赵斯衎.基于手势识别的人机交互技术的研究[J].电子制作，2020（19）：73-74，54.