AR视线追踪技术的应用研究

余斐斐　米楠

摘要：对于AR研究而言，视线追踪是其技术的关键，我们在移动设备上整合计算机画面与现实景象的能力正在发展之中，这种开发功能前景无限，它能拓展人类与周围环境互动，从环境中学习以及娱乐的能力。

关键词：增强现实；视线追踪；应用

增强现实（Augmented Reality简称AR）技术是近年来的一个研究热点，有着广泛的应用前景。它是对现实世界的补充，使得虚拟物体从感官上成为周围真实环境的组成部分。与传统的虚拟现实（Virtual Reality简称VR）不同，增强现实只是实现对现实环境的增强，加深了对现实环境的感受。在实际的AR体验中，因为人的观察视线会不断地变化，AR系统需要实时的根据用户的视场重新建立位置坐标系，进行追踪。而视线追踪技术就是实时地跟踪用户头部的位置和视线方向，根据这些信息来确定虚拟物体在真实空间坐标中的位置，并将它实时地显示在显示器中的正确位置。

一、视线追踪技术及其特点

（一）视线追踪技术概述。

视线追踪也称为眼动追踪，它被认为是研究视觉信息加工的有效手段。利用专用设备来记录学习者的眼球运动（Eve-Movement，简称眼动）情况，可以作为分析学习者内部心理活动情况的依据。关于视线追踪技术的研究己有较长历史，目前它己在多个领域得到广泛应用。例如用于图片广告研究（网页评估、设计评估等）、动态分析（航空航天、体育运动、汽车、飞机驾驶等）、产品测试（可用性测试）、场景研究（商场购物、店铺装演、家居环境等）和人机交互等多个领域。此外，视线追踪在智能计算机、智能家电、虚拟现实和数字游戏等领域也有很好的应用前景。

在眼动实验研究中，当被试对视觉信息进行提取时，其注视时间、注视次数、注视点序列、眼跳距离、回视次数、瞳孔直径等通常被视为思维和心理加工的重要参数。因此，通过对被试在学习过程中的实时眼动信息进行观测，可用于分析和引导其学习的依据。眼动模式一般分为三种：注视（fixation）、眼跳（saccade）和追随运动（pursuit movement）。其中，持续一段时间、相对稳定的眼球运动称为注视；眼球快速运动时导致视觉区域的聚焦点产生变化，这种行为称为眼跳；眼睛缓慢、平滑地追踪某个缓慢运动的目标，则称为追随运动。通过分析眼动模式和相关参数，可以获得很多重要的信息。例如，眼跳速度会随着疲倦程度的增加而降低，而随着学习任务难度的增加而增加；眨眼速度和眼睛睁开程度的降低则可能意味着疲倦的加重。因此，可以据此来确定学习者的学习精神状态，或对其学习过程进行分析，从而采取相应的学习策略或干预措施。

（二）视线追踪系统的类型及其特点。

人眼的注视点主要由头的方位和眼睛视线决定。头的方位决定了人眼可能注视的范围，眼睛的视线决定了注视点的精确位置。国内外将视觉跟踪技术按照借助的媒介分为硬件和软件两种。以硬件为基础的视线跟踪的基本工作原理是利用图像处理技术，通过摄像机摄入瞳孔反射的红外线记录视线变化，达到视线追踪的目的。视线跟踪装置目前有穿戴式与非穿戴式，接触式与非接触式，如带上专用头盔、眼镜或者头部固定支架，置于头部上的摄像机，这种情形用户使用较不舒适。通过软件实现的视线跟踪方法，对用户没有干扰，首先利用摄像机获取头部、脸部或眼睛图像，再经过软件分析对视线定位与跟踪。由于不需要佩戴任何装置，用户的自由度舒适度较好。

人与计算机交互是研究人与计算机之间沟通的技术，将视线跟踪、语音识别、手势输入、感觉反馈等引入人机交互，提高了交互的自然性和高效性。视线追踪技术同样引发了人机交互系统的改革，鼠标、触控板的消失，及通过追踪人眼视线，用眼神来操作电脑、输入文字、玩游戏。

二、视线追踪技术在AR增强现实研究中的应用

（一）显示技术。

AR的简单定义就是将计算机生成的虚拟数字信息叠加到现实的生活场景中。这个“叠加”是需要通过显示设备作为中介来实现。

增强现实系统中的显示器可以分为头盔显示器（HMD）和非头盔显示设备。目前，一般的增强现实系统主要使用透视式头盔显示器。透视式头盔显示器主要由三个基本环节构成：虚拟信息显示通道、真实环境显示通道、图像融合及显示通道。其中，虚拟信息的显示原理与虚拟现实系统所用的浸没式头盔显示器基本相同；图像融合与显示通道是与用户交互的最终接口，根据其中真实环境的表现方式，可分为基于CCD摄像原理的视频透视式头盔显示器和基于光学原理的光学透视式头盔显示器两类。

光學透视技术是通过安装在设备眼前的光学透镜来呈现出真实和虚拟世界。首先计算机生成的虚拟信息经过光学系统放大后反射后进入视野，透过透镜又能直接看到现实场景，两部分的信息汇聚到人眼的视网膜上实现AR的效果。视频透视技术是借助安装在头显上的摄像头来捕捉获取外部真实环境，计算机将数字模拟信息叠加到摄像机的视频信号上，再将真实场景和虚拟场景进行融合。相比较光学透视技术，它的视角场更大，而且不受外界的强光干扰。不过一旦摄像机与用户的视点不能保持完全重合，会产生一些偏差。

（二）跟踪注册技术。

基于计算机视觉的注册技术主要是指利用计算机视觉获取真实场景的信息后，经过图像处理方面的知识来识别和跟踪定位真实场景。细分可以划为基于传统标志的注册算法和基于自然特征点无标志注册算法。基于计算机视觉的注册技术的精度较高，但是对计算量非常大，而且算法复杂，对系统的要求非常高。

为了取长补短，得到更加精确的注册结果，现在有结合两种技术的混合注册方法。通常是先由跟踪传感器大概估计位置姿态，再通过视觉法进一步精确调整定位。一般采用的复合法有视觉与电磁跟踪结合、视觉与惯导跟踪结合、视觉与GPS跟踪结合等。

三、结论

在国外，增强现实早已在医学、遥操作、制造与维修、可视化与教育培训、娱乐、军事训练等领域取得了成功应用。在国内，不少单位和个人对增强现实中的关键技术和算法进行了研究，并且以牙科医学、设备维修等许多背景得到了初步应用研究。但国内的研究目前仍多限于实验阶段，与国外的应用水平还有一定距离。

目前，随着增强现实的快速发展，出现了许多新的研究方向，如新的显示方式、照片真实感图形绘制、调节现实、基于网络的增强现实和针对户外随身增强现实系统的技术等等。其中涉及到的技术包括基于图像的绘制（IBMR）、多通道信息融合、普适计算技术、显示设备和跟踪设备的随身便携化等。随着系统性能的提高、操作过程的简化和设备成本的降低，增强现实会在越来越多的领域得到广泛应用。

参考文献：

[1]奚惠宁等.视线追踪应用技术的专利分析[J].电视技术，2013（S2）。

[2]黄志方等.视线追踪技术在网络信息检索中的应用研究综述[J].信息资源管理学报，2011（2）。

[3]钟慧娟，刘肖琳，吴晓莉.增强现实系统及其关键技术研究[J].计算机仿真，2008（1）。