沉浸式虚拟训练中的虚拟手操控技术研究

张玉军，邢 辉，汤华军

(1.解放军69079部队，乌鲁木齐 830013；2.解放军69240部队，乌鲁木齐 830011)

沉浸式虚拟训练中的虚拟手操控技术研究

张玉军1,2，邢 辉1，汤华军2

(1.解放军69079部队，乌鲁木齐 830013；2.解放军69240部队，乌鲁木齐 830011)

将人手的自然动作加入沉浸式虚拟现实系统中，可有效提高系统的沉浸感和交互性，简便快捷、成本低廉的虚拟手建模及操控技术，有助于此项内容的推广应用；在对虚拟手骨骼结构模型分析的基础上，提出了基于Leap Motion的虚拟手控制方法和流程；以维修训练为任务背景，设计了四种用于虚拟手操作的手势规则，并对实现流程和关键技术进行了分析；构建基于Unity3D引擎的原型系统对虚拟手进行仿真验证，结果表明，基于Leap Motion的虚拟手操控简单、交互自然，可以满足虚拟现实系统交互需要。

手势识别；虚拟现实；虚拟手

0 引言

随着虚拟现实(virtual reality)技术的不断发展，先后出现了桌面式、沉浸式、分布式、增强现实等不同形式的虚拟现实系统。其中，沉浸式虚拟现实系统将用户感官完全与外界隔绝，使用户在不受干扰的情况下形成持久专注力，这种特点使沉浸式虚拟现实系统广泛应用于各种训练领域，虚拟手元素则是其重要的组成部分。

沉浸式虚拟训练中的虚拟手操控主要分为两部分：1)对虚拟手的控制，实现场景中虚拟手的移动和旋转，即实时感知人手信息并更新场景中的虚拟手，使两者的位置和姿态趋于一致[1]；2)虚拟手的相关操作，如抓取、点击、指示等，通过虚拟手的操作可实现用户与场景的交互，完成相关训练内容。……