基于WiFi定位技术的增强现实室内向导研究与应用

闫兴亚　陆　可　刘　伟

1(西安邮电大学数字艺术学院　陕西 西安 710121)2(西安邮电大学计算机学院　陕西 西安 710121)



基于WiFi定位技术的增强现实室内向导研究与应用

闫兴亚1陆可2刘伟2

1(西安邮电大学数字艺术学院陕西 西安 710121)2(西安邮电大学计算机学院陕西 西安 710121)

摘要针对传统的数字地图室内导航精度不高、直观性差、交互性较弱，提出将WiFi定位和视觉识别相结合的室内向导策略。利用WiFi指纹识别定位算法确定手机在室内的位置，电子罗盘获取手机的方向，结合FAST-SURF视觉识别方法检测场景特征点，并在Android平台上设计并实现一个AR室内向导系统。实验表明，室内定位精度提高至1.1 m，跟踪匹配精度高，系统实时性好、定位导航精准。因此，该AR室内向导系统对于室内定位的精度和实时虚实融合都有较好的效果，不仅具有较强的可用性和实用性，还具有广泛的应用前景。

关键词WiFi定位增强现实室内向导Android平台

0引言

增强现实AR(augmented reality)，是指将计算机生成的虚拟信息融入到真实世界当中，使两者达到有机融合，从而给用户带来更好的沉浸感、体验感。目前，增强现实技术主要应用于数字出版、数字营销、设计仿真、科教研究等方面。移动导览中增强现实技术的应用也成为了一个新的研究热点。

近年来，随着基于位置的服务LBS(location based service)技术越来越成熟，室内定位与导航的运用也给人们的生活、工作带来了很大的便利，但却存在着精度有限、可视性差、人机交互能力低等问题。然而，在新一代移动终端上，基于LBS的增强现实应用却能够为用户提供认知周围环境的功能，帮助用户以全新的视觉感知周围环境，体验传统数字地图导航不能提供的互动感受。本文将WiFi室内定位技术和移动增强现实技术相结合，并最终在Android平台上设计了一个基于WiFi定位的增强现实室内实时定位导航系统。

1关键技术概述

1.1WiFi定位技术

WiFi技术是目前生活中运用范围最为广泛的一种无线网络通信技术。从部署成本、定位精度、传输速度等方面综合考虑，WiFi定位技术在室内定位中具有一定的优势。三角定位法和指纹定位法是目前WiFi定位中最常用的两种算法。其中，三角定位法是根据移动终端到至少三个已知参考点之间的距离，利用几何知识计算出目标位置。指纹定位法，须预先训练采集室内不同位置的网格信号特征，并形成指纹库。当用户需要定位时，再将接收到的信号与指纹库中各数据项进行对比，最终计算得出用户位置。

1.2跟踪注册技术

跟踪注册技术是增强现实系统中的核心技术，其指的是实时地确定摄像机坐标系与真实场景中的标识物坐标系两者之间的关系，并将虚拟物体融入到真实场景对应的位置上。目前，基于传感器的跟踪注册方法和基于视觉的跟踪注册方法是AR技术中最主要的两种跟踪注册方法。而目前应用较多的是基于视觉的跟踪注册方法。其中，基于视觉的跟踪注册方法又可以分为基于标识物的跟踪注册方法和基于自然特征的跟踪注册方法两大类。

1.3Android AR技术

目前，Android操作系统在智能手机、平板电脑等移动设备上得到了广泛的运用。该系统是一种基于Linux的开放源代码操作系统，其系统架构采用了分层架构的形式，从底层到高层分别是Linux内核层、系统运行库层、应用程序框架层和应用程序层。Android开发四大组件分别是活动、服务、广播接收器和内容提供商。

在Android平台上开发AR应用，需要使用 OpenGL对虚拟场景进行渲染。OpenGL是一个跨平台、跨编程语言的计算机3D 图形编程标准规范。应用程序配置好3D图形后，可以转换成OpenGL顶点数组，然后经过变换、光照处理、生成原生指令，以及光栅化后，最终产生2D图像。

2系统总体架构分析

2.1系统总体设计

本文在Android平台上设计并实现了一个基于WiFi定位的增强现实室内导航系统。该系统通过摄像头进行实时拍摄，并对视频流图像进行实事分析。同时通过无线AP和电子罗盘检测手机位置和方向信息，再根据实景图像分析结果和计算出的手机位置、方向信息，将虚拟物体叠加显示在视频画面中，最终实现真实环境中的虚拟定位和导航效果。该系统逻辑构架如图1所示。

图1　系统逻辑架构

2.2系统功能模块分析

根据系统架构图，可将系统分为以下几个模块，如图2所示。

(1) 视频采集模块：实时采集室内环境，形成真实场景帧图像。

(2) 定位模块：在室内部署无线AP后，采用指纹定位算法进行定位。首先对室内环境进行训练，建立位置指纹识别数据库，定位时将终端接收到的各AP的信号强度与指纹库中的各数据项进行匹配，从而估计用户位置。利用电子罗盘确定用户方位。

(3) 特征检测模块：判断当前所捕获的视频图像与参考室内图像是否为同一室内环境，提取图像中的特征点，试图从中寻找出这两幅图像中映射关系。最后将这两幅图像中对应的特征点关联起来。

(4) 跟踪注册模块：获取特征点的三维坐标，建立参考坐标系，计算移动智能终端相对于室内环境物体的位置姿态，根据特定环境实时生成虚拟定位信息和导航信息。

(5) 虚实叠加模块：将智能终端所拍摄的室内环境视频流图像与生成的虚拟导航信息进行实时融合，形成增强现实图像。最终在终端屏幕中显示出来，使用户体验到真实室内场景与虚拟信息相融合的感官效果。

图2　系统功能模块图

3系统搭建与实现

3.1开发环境

本系统以ARToolKit软件开发包为基础，结合Android平台进行开发。开发前需要搭建Android开发环境，安装Android SDK、ADT、JDK和Eclipse。其中，Android SDK为我们提供了创建和运行Android应用程序的集合，ADT是安卓开发工具插件，能够在Eclipse开发工具里开发Android程序。

3.2主要模块设计

(1) WiFi定位模块

采用指纹定位算法确定手机位置信息。定位过程主要分为如下两个阶段：

第一，训练阶段，目的在于建立一个特定室内环境的位置指纹识别数据库。首先，根据定位精度的要求，合理划分环境网格，并确定各AP的合适部署位置，尽量确保每个AP信号能够辐射到所有网格点。然后，分别测量所有网格位置各AP的RSSI值，并将每一位网格位置所对应的AP MAC地址和位置信息存储到数据库中，存储形式为[RSSI1,RSSI2,…,RSSI6,Position]。考虑到室内环境的复杂性，无线信号强度可能不稳定，因此在每个网格点上多次测量后取平均。

第二，定位阶段，用于估计用户位置。建立室内环境指纹数据库后，采用最近邻法(K-NN)将待测点上检测到的各AP的RSSI值与数据库中已存储的记录进行比较和匹配，再计算出位置估计值。具体的位置估计方法如下：

假设某待测点所接收的各AP的RSSI值为rssi=[rssi1,rssi2,…,rssin]，指纹数据库中的已存储的记录为RSSIi=[RSSI1,RSSI2,…,RSSINi]，其中n表示待测点上检测到的不同的AP数量；Nr为数据库中的记录数，i∈[1,Nr]，Ni表示第i条记录中存储的不同AP数，则K-NN算法可以表示成如下形式：

L=argmini∈[1,Nr]‖rssi-RSSIi‖

(1)其中，‖rssi-RSSIi‖表示rssi和RSSIi之间的欧式距离。 通过此匹配算法找出数据库中对应的记录，从而确定移动终端的位置。

(2) 特征检测模块

在移动AR系统中，必须考虑到光照不变性、放射不变性、投影不变性，以及系统交互的实时性，而FAST算法和SURF算法能够分别满足这些要求。基于这一点，提出将FAST与SURF相结合，并优化检测算法，从而满足AR系统的需求。

首先，根据FAST中的角点响应函数，计算出检测点圆周上满足响应函数的像素点个数N，若N>12，则将该检测点加入候选特征点集中。

(2)

式中，在以像素点p为中心的圆周上，I(x)表示该圆周上任意一像素点的灰度值，I(p)表示中心像素点p的图像灰度值，εd表示给定的一个极小阈值。

然后，再进一步过滤掉斜边缘上的点，如果在该圆周上存在任意6个像素点以上满足过滤公式，则将该中心点作为角点，过滤公式为：

(3)

(4)

其中，εd代表对图像检测角点的最小对比度，实验表明，εd一般取10，比例系数a一般取0.15～0.30。

最后将上面得到的角点利用SURF算法计算得到角点的尺度信息。

(3) 跟踪注册模块

当定位模块计算出移动终端的位置和方位后，可从预先存储的数据集中确定其周围环境，从而在一定程度上减小了离线室内环境特征库的匹配范围。

(5)

然后，根据空间物体模型上的三维点齐次坐标(xw,yw,zw,1) 与其在图像上的投影齐次坐标(xt,yt,1)的透视投影关系：

(6)

求解计算出投影矩阵，即可获得当前帧相对于真实室内环境的绝对姿态：

(7)

通过分析视频流中的帧图像，判断当前所捕获的视频图像与所确定的离线图像是否为同一室内环境。提取图像中的特征点，将匹配上的特征点关联起来，其特征检测与跟踪注册流程如图3所示。

图3　特征检测与跟踪注册流程

4测试结果及分析

为了验证算法及系统的性能，本文选取学校教学楼场地进行现场实验，分别测试指纹识别算法的室内定位精度、特征点检测效率和移动增强现实导航系统的综合性能。实验中，考虑到WiFi信号覆盖范围、信号稳定度以及移动终端设备的摄像头分辨率等因素，AP选用TP-LINK TL-WA850N，其WiFi信号在0～20 m覆盖范围内稳定性强，且支持AP、Client、Repeater、Bridge多种无线工作模式。移动终端选择荣耀3C手机进行测试，系统为Android OS 4.2，CPU为联发科MT6582，主屏分辨率为720×1280像素，摄像头像素为800万像素，该移动终端处理性能较好，摄像头分辨率较高。软件部分则采用MySQL建立数据库，利用Eclipse、Java编写信号采集客户端。

4.1WiFi定位精度测试

依据上述的位置指纹识别方法，本研究中部署了6个AP，并设置指纹网格大小为2 m×2 m。训练阶段，依次在各指纹点上多次测量取平均来建立指纹数据库，每个参考点采样次数大于200次。定位阶段，选取了10个网格点进行定位实验，结果如图4所示。

图4　室内环境部署示意图

根据实验结果可知，该位置指纹识别算法精度较高，最小定位偏差为0.3 m，最大定位偏差为2.2 m，平均偏差1.1 m。其中有三个测试点的定位偏差均小于0.5 m。该定位算法的精度能够满足本研究中的定位要求。

4.2特征点检测和跟踪注册测试

为了验证特征检测模块的性能，分别对FAST、SURF和FAST-SURF三种算法进行了室内环境图特征点检测。从图5和表1中可知，FAST-SURF特征检测方法较好地综合了FAST和SURF的优点，拥有较快的特征检测速度和旋转不变性、放射不变性等特征，能够较好地满足移动增强现实系统的需求。

图5　FAST-SURF室内帧特征点

检测算法特征检测数量(个)特征检测时间(ms)旋转、放射不变性FAST26428无SURF627736有FAST-SURF11892有

针对跟踪注册的精度测试，采用图像特征点反投影的方式，根据离线室内环境帧的特征提取结果。计算出投影矩阵，并实时提取当前室内帧的特征点，将其反投影到真实环境中，结果如图6所示。

图6　反投影计算结果

4.3系统综合测试

当安装并打开本应用程序后，手机摄像头自动进入实景拍摄。选择定位功能，将手机摄像头对准室内进行拍摄，当前场景中的房间号码就叠加到真实场景中(如图7所示)。选择导航功能时，选择目的地为403室，则在手机屏幕上出现导航路线箭头，指示403室所在位置(如图8所示)。

图7　AR定位功能　　　　图8　AR导航功能

在系统实时性方面，由表2可知，主要时间消耗在SURF描述器对特征向量的计算及摄像机姿势更新。总体来说，该AR室内导航系统实时性较好，能较快地完成移动终端的定位、室内环境的跟踪注册以及虚实物体的叠加等功能。

表2　系统模块消耗时间表

5结语

针对目前室内导航交互性较差的特点，利用WiFi定位技术和移动增强现实技术，设计实现一个移动AR室内向导系统。通过虚实融合，形成实时导航信息，在一定程度上解决了目前室内导航存在精度有限、可视性差、人机交互能力低等问题。然而，在实际生活中，必须考虑到室内环境的复杂性、硬件成本的限制等因素，因此，进一步研究适应范围广、定位精度高、稳定性好的智能终端增强现实导航系统是我们下一阶段的重点。

参考文献

[1] 吴帆,张亮.增强现实技术发展及应用综述[J].电脑知识与技术,2012,34(8):8319-8325.

[2] 魏菲,李允俊,金华.使用位置指纹算法的WiFi定位系统设计[J].单片机与嵌入式系统应用,2014(5):29-32.

[3] 常勇,薛立明,姜淑芳.智能手机增强现实关键技术研究[J].计算机工程与应用,2011,47(15):69-71.

[4] 史晓琳,边耐政.手机增强现实室内向导的研究与实现[J].计算机应用与软件,2013,30(2):320-323.

[5] 杨丰盛.Android应用开发揭秘[M].北京:机械工业出版社,2010.

[6] 陈智翔.基于自然特征点的移动增强现实系统研究[D].广州:广东工业大学,2013.

[7] 陈靖,王涌天.基于特征识别的增强现实跟踪定位算法[J].中国科学:信息科学,2010,40(11):1437-1449.

[8] 肖慧,陆奎.基于SIFT自然特征的AR系统研究和实现[J].计算机应用与软件,2014,31(5):244-246,263.

[9] 潘晋,周暖云.一种基于特征点提取与随机树的增强现实系统[J].计算机应用与软件,2010,27(10):86-88,91.

[10] Luo Juan,Oubong Gwun.A Comparision of SIFT,PCA-SIFT and SURF[J].International Journal of Image Processing,2009,3(4):143-152.

RESEARCH ON AUGMENTED REALITY INDOOR GUIDE BASED ON WIFI POSITIONING TECHNOLOGY AND ITS APPLICATION

Yan Xingya1Lu Ke2Liu Wei2

1(SchoolofDigitalArt,Xi’anUniversityofPostandTelecommunications,Xi’an710121,Shaanxi,China)2(SchoolofComputerScienceandTechnology,Xi’anUniversityofPostandTelecommunications,Xi’an710121,Shaanxi,China)

AbstractTraditional indoor navigation using digital maps has low precision, poor intuitive performance and bad interaction. In view of these, in this paper we put forward an indoor guide strategy which combines the WiFi positioning technology with visual recognition. It uses WiFi fingerprinting positioning algorithm to determine the position of the mobile phone in the room, and obtains its azimuth information through electronic compass. In combination with the FAST-SURF visual identification method it detects the feature points of scene. Meanwhile, we design and implement an AR indoor guide system on Android platform. Experiments show that, the indoor positioning accuracy of the system is improved to 1.1 m, its tracing and matching reaches a higher precision, the system is good in real-time performance, precise in localisation and navigation. Therefore, this AR indoor guide system has good effects in both the indoor positioning accuracy and real-time virtuality and reality fusion. It not only has strong usability and practicality, but also has broad application prospects.

KeywordsWiFi positioningAugmented realityIndoor guideAndroid platform

收稿日期：2014-11-10。西安市科技局项目(CXY1339)。闫兴亚，教授，主研领域：数字媒体理论与应用，虚拟现实技术应用和增强现实技术应用。陆可，硕士生。刘伟，硕士生。

中图分类号TP311.5

文献标识码A

DOI:10.3969/j.issn.1000-386x.2016.05.027