基于“面部表情+手”的混合手势交互技术

秦浩楠，于 鲲，卢朝茜

（昆明理工大学，云南 昆明 650500）

0 引 言

面部是身体的一部分。每个人的面部具有独特的特征。相像的两个人的面部特征也存在一定的差异，因此面部特征识别成为使用最广泛的生物特征识别方式之一［1-2］。面部识别一直是近年来研究的重点方向，为非接触式交互提供了研究平台。如今，基于人工智能的面部识别技术为面部表情的相关研究提供了技术基础。Pilarczyk等人［3］提出一种基于CNN/MMOD人脸检测器的计算机算法，通过网络摄像机获取人的面部特征信息并进行识别，其中CNN为卷积神经网络（Convolutional Neural Networks）。Jinhyuk等人［4］提出了免提自然用户界面，是一种基于头戴式显示器（Head Mounted Display，HMD）传感器的面部表情研究，实验时用户需要佩戴HMD设备。Zhang等人［5］提出了一种注视峰值应用程序，可以实时识别眼睛手势。程序把这些手势解码为预测性动作，并为用户提供一个非否认界面，可方便用户交流。Sun等人［6］提出了一种时空融合模型和多模式分层融合策略。Li等人［7］提出了一种基于手势和身体运动识别算法的机器人手臂的HRI模型。Anja和Marion［8］进行了一项可用性研究，采用头部运动和头部姿势来帮助无法使用上肢的残疾人。

面部识别相关的研究极大地丰富了多通道人机交互的研究方向，然而暂时没有对于面部表情和手部移动相结合的研究示例［9-11］。之前的大多数研究都需要用户佩戴识别设备，不仅增加了用户操作的难度，而且降低了用户操作的舒适度。本研究提出的基于“面部表情+手”的混合手势交互技术不需要用户佩戴任何设备，极大地简化了操作流程，实现了非接触式交互。……