基于LeapMotion手势识别的认知训练系统的设计和实现

李杨韬，禹东川，靳来鹏，宋文凯，刘金双

（东南大学 儿童发展与学习科学教育部重点实验室，江苏 南京　210096）

基于LeapMotion手势识别的认知训练系统的设计和实现

李杨韬，禹东川，靳来鹏，宋文凯，刘金双

（东南大学 儿童发展与学习科学教育部重点实验室，江苏 南京210096）

针对当前儿童认知训练系统缺乏自然的人机交互手段的缺陷，设计实现了一种高精度自然人机交互的认知训练系统。详细介绍了系统的实现，设计了模仿类等认知训练任务，使用LeapMotion设备获得手部实时数据，并对其进行计算处理后获得手部动作，利用Unity3D开发3D任务场景客户端，增加用户临场感。系统实现了训练场景自然的人机交互，展示了自然人机交互在儿童发展，虚拟现实，医疗，健康等领域的美好应用前景。

人机交互；LeapMotion；认知训练；手势识别

在儿童发展中，认知训练已被证明是一种重要的提升儿童认知能力的训练方式［1］。进行认知训练的方式有很多，近年来，认知训练交互方式出现了诸如基于平板，电子卡片，姿态控制等新兴交互方式［2］。自然、高效的人机交互以辅助儿童认知发展已经成为一个热门的研究方向［3］。目前，国内外已有姿态交互方式进行认知训练的尝试，如基于kinect动作识别的认知训练系统已取得了一定进展［4］，但其识别精度为4 cm［5］，无法实现对精细动作的识别。鉴于此，本文借助新兴的LeapMotion高精度体感识别传感器 （识别精度达0.01 mm［6］），研制了一套面向儿童的认知训练系统，并采用了3D虚拟场景设计技术［7］，增加用户的临场感，以达到良好的认知训练效果。……