基于增强现实的视触觉交互算法①

刘 佳 钱昌宇 谢余磊 陈大鹏 郭 斌

(南京信息工程大学自动化学院 南京210044)

0 引言

增强现实(augmented reality,AR)是由虚拟现实(virtual reality,VR)技术发展延伸出来的技术领域,它突破了虚拟现实只能构建虚拟场景的局限,借助视觉技术、计算机图形学和人体交互等技术将计算机生成的虚拟信息无缝地注册到真实环境。在增强现实实现的过程中,虚拟元素必须完美地注册到目标对象上,这个过程中的任何错误都会极大地降低系统的可用性,并影响用户交互的真实感[1]。因此,与VR 相比,AR 系统具有更高的复杂性。

目前纯视觉的技术并不能很好地满足用户的交互感和沉浸感,为了实现多通道的感知交互,研究人员提出了视触觉增强现实(visuo-haptic augmented reality,VHAR)的概念[2-4]。VHAR 以增强现实系统为框架并添加触觉反馈接口,使用户能够看到并触摸到注册到真实环境中的虚拟物体。所以精确地校准VHAR 系统的组件(如外部跟踪器、摄像头、触觉设备)以及它们之间的空间关系显得至关重要,尤其在触觉设备的集成上,其核心挑战是精确确定触觉设备上触控笔的位置和方向,这是精确定位视觉增强和触觉反馈所必需的。在传统的视触觉增强现实的案例中,用户看着屏幕,触觉刺激和视觉刺激以一种分开的方式呈现,这导致了环境的割裂感。因此,本文提出一种协同共址定位的方法,即将触觉设备集成到增强现实环境中,触觉交互点与三维场景中的接触点在视觉上重合,构成了一种以同步的方法感知视觉和动态触觉刺激的视触觉增强现实体系,用户可以在相同的空间位置看到和触摸虚拟物体,增加了交互的真实感。……