一种三维指尖跟踪技术的研究

王福任，李洪璠

（三亚学院，海南三亚，572000）

0 引言

随着硬件技术和通信技术的飞速发展，增强现实、虚拟现实交互逐渐成为下一代人机交互技术的主流。本文旨在设计一种三维指尖跟踪方式，借用深度学习模型、双目同步相机模组及双目测距原理，完成三维指尖跟踪。在后续研究中，使用者或可以此实现增强现实、虚拟现实设备的人机交互，即隔空点触、隔空划动、隔空拉伸等相应操作。

1 三维指尖跟踪的基本原理

1.1 基于深度学习模型的指尖关键点检测原理

指尖关键点检测的目的是，找出待检测画面或视频流中手指的指尖关键点。其原理类似于人体关键点检测或面部关键点检测。不过，在指尖关键点检测中，手部将一个目标物体。

本文使用OpenPose 作为指尖跟踪模型。OpenPose 人体姿态识别项目是世界上首个基于深度学习的实时二维姿态估计应用，其拥有良好的鲁棒性，可用于单个或多个目标。OpenPose 可以实现脸部表情、人体活动、手指活动等姿态估计。目前，基于OpenPose 的实例大量涌现，该技术在VR 试衣、体育评估、动作采集等领域拥有非常广阔的应用前景。

1.2 双目视觉原理

双目视觉广泛应用在机器人导航、精密工业测量、物体识别、虚拟现实、场景重建，勘探领域。双目视觉是模拟人类视觉原理，使用计算机被动感知距离的方法。从两个或多个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。……