适用宇航智能交互场景的混合现实技术研究

李林瞳，王有春，谢 晔，陈 卓

(上海航天电子技术研究所，上海 201109)

适用宇航智能交互场景的混合现实技术研究

李林瞳，王有春，谢 晔，陈 卓

(上海航天电子技术研究所，上海 201109)

随着中国空间站的逐步建成，航天员会面临执行诸如设备更换、空间实验和太空行走等在轨任务的挑战;但由于通讯延迟等影响，地面指挥中心难以对航天员提供全天候的技术支持，要求航天员具备独立获取信息支持的能力，混合现实技术可以较好地解决这一问题;首先介绍了混合现实技术的概念，并对该技术进行了宇航应用特点分析;利用Unity创建虚拟模型，在VS2015的开发平台下编写语音指令、手势操作及凝视等控制程序，基于HoloLens的混合现实头盔实现应用;重点对空间扫描构图进行了研究，通过HoloLens的深度摄像头扫描室内环境，对空间构图数据进行分析与处理，实现了将全息影像投影于真实世界的表面，并与全息影像开展多种形式的物理交互;证明了混合现实技术在航天员在轨辅助支持上实现的可行性。

HoloLens；空间构图；混合现实；增强现实

0 引言

航天技术的不断发展使航天员在未来会挑战星际航行和较长时间的在轨任务。执行任务的过程中，会不可避免地遇到设备意外故障等情况。但由于通讯延迟，地面指挥中心已不能保证为航天员提供全天候的技术支持，例如，在火星探测中，通讯延迟造成极端信息反馈时间将高达45 min[1]。因此，航天员必须具备自主获取信息、自行决策的能力。

随着中国空间站的逐步建成，未来20年里，航天员会在空间站中做很多工作。但考虑到紧张的太空环境和较长的在轨时间，航天员存在遗忘训练内容的可能。目前的解决方法是携带纸质的技术手册，供航天员随时查询。但是，技术手册较为繁重，而且在执行设备维修等任务时，手持技术手册的航天员难以解放双手，航天员也需要将视线在技术手册与设备之间反复移动，增加了出错概率[2]。

混合现实(mixed reality, MR)技术提供了一种极具潜力的航天任务支持手段。通过佩戴头盔式增强现实设备，航天员可以透过透明的显示器看到包含技术辅助信息的全息影像，在移动过程中解放双手，并与全息影像实现语音、手势和凝视等形式的交互，航天员可以通过这些辅助信息的指导完成在轨任务。

1 混合现实与宇航应用特点分析

1.1 混合现实和增强现实

混合现实是将真实世界和虚拟世界混合在一起，产生一个全新的可视化环境，环境中同时包含了物理实体和虚拟信息，并满足实时性的要求[3]。

HoloLens和Magic Leap是两款有代表性的MR设备。混合现实设备与以Google Glass为代表的增强现实(augmented reality, AR)设备主要有两点不同。

其一，虚拟物体的相对位置是否随设备的移动而移动。对于AR设备，例如Google Glass,它在用户左前方投射的“天气面板”会在用户移动过程中(或转动头部)保持与用户的相对位置不变，如图1所示。而对于HoloLens等MR设备，也会在屋子里的墙壁上投射天气面板，但不论用户怎样走动或转动头部，天气面板始终都在那面墙上。其原理为空间感知定位技术，只要当设备精确地获取周围的环境信息，才能精确地将虚拟物体放在正确的位置，而不会随用户的位置移动而移动。

其二，AR设备创造的虚拟物体，可以明显看出其虚拟属性。但对于HoloLens和Magic Leap等混合现实设备，用户看到的虚拟物体和真实物体几乎是无法区分的。因为MR设备直接向视网膜投射4维光场，所以用户看到的虚拟物体在数学上没有信息损失，与看真实的物体一样，如图2中Magic Leap看到的“鲸鱼显示”。

图1 Google Glass天气面板的用户效果

图2 Magic Leap“鲸鱼显示”效果图

1.2 MR宇航应用特点分析

在前期的可行性分析中，考虑过采取基于手持监视器的增强现实方式辅助航天员完成在轨任务。但是，从宇航员使用的角度来讲，采用光学透视式头盔的混合现实设备更具优势,研究中选用的HoloLen混合现实头戴式显示器代表了这一领域最先进的技术实现。选用HoloLens的理由如下：

首先，HoloLens佩戴在航天员的头部，随着头部的运动而运动，有助于航天员在移动过程中解放双手，航天员无需将视线在手册与维修设备之间切换，从而将注意力集中于操作任务。HoloLens同时支持用户与全息影像开展多种形式的全息交互。

其次，HoloLens在人体光学方面的用户体验很好，瞳距可自动调节，直接向用户的视网膜中投射4维光场而非传统的2维光场，用户可以自主选择性聚焦。相较于其他的眩晕感较强的混合现实设备，HoloLens带给用户的眩晕感很低。

最后，由于HoloLens是光学投射式头盔，不同于视频投射式头盔完全封闭了用户的视野，即使出现电源失效等极端情况，用户仍可以透过透镜看到全部的真实场景，由此避免了因为用户视野封闭导致的安全隐患。

2 软硬件开发环境

2.1 关于HoloLens

HoloLens作为混合现实科技的尖端应用，将计算机生成的虚拟效果叠加于现实世界之上。用户佩戴HoloLens的视线不受阻隔，仍然可以在室内空间行走自如。HoloLens可以跟踪用户的移动和视线变化，以光线投射的方式将虚拟的全息影像投射到用户眼中，HoloLens同时支持用户与虚拟对象完成手势、语音和凝视等多种形式的实时交互。

使用者通过移动一个标准的HoloLens设备，可以快速地对一个室内场景进行细致的三维重建[4]。使用从HoloLens中提取的深度数据，可以追踪传感器的三维姿态并重建，同时保证几何上的精度和物理场景三维模型的实时性。

HoloLens拥有14纳米的英特尔Cherry Trail SoC CPU，主逻辑板配备64 GB闪存和2 GB RAM。此外HoloLens独立定制的HPU(全息处理单元)拥有6 500万个逻辑闸和8 MB SRAM。HoloLens配有一个定制的3D景深摄像头和4个环境感知摄像头，用于扫描周围环境。此外，惯性测量单元用于快速更新头部追踪信息，成像光学系统用于将现实世界与虚拟图像融为一体。

2.2 软件开发环境

采用Unity+VS2015联合开发平台在Windows10环境下为HoloLens开发应用。利用Unity绘制或导入图片文字及三维动画等虚拟信息，设置影像坐标等相关配置，开发者可以在Unity的视图中看到初步处理后的混合现实效果。相关的数据处理程序可以经由Unity的菜单栏在VS2015中打开，利用C#编写空间扫描数据处理及人机交互方式等控制程序，并通过有线或远程控制将应用加载到HoloLens中，实现混合现实的效果。

2.3 实验步骤及方法分析

为了达到混合现实的目的，首先要认识现实，利用HoloLens自带的4个深度摄像头对室内环境扫描以获取室内空间的数据信息，进一步对得到的较粗糙数据信息进行处理，进行平面划分，将室内空间的数据依据点云的法线方向不同划分为地面点云、墙面点云和顶棚点云。

其次，在Unity中设计虚拟的场景，也就是希望与真实环境相融合的虚拟动画或图片，并将虚拟场景导入工程中，并借助HoloLens的偏振片将4维光场信息投射到用户的视网膜中，使得在Unity中设计的虚拟动画和图片信息以混合现实的方式出现在用户的视野里，实现虚实结合的效果。

为了实现用户与虚拟场景的交互，在VS2015中编写手势控制程序，使虚拟的图片信息可以在用户手势的操控下在墙面上自由移动。并设置语音控制、手势操作和凝视指令，进一步完善多种形式的人机交互手段，使用户体验真实的混合现实效果，提升用户的认知和自主学习能力。

3 空间扫描与数据分析

3.1 对室内空间的深度扫描

HoloLens支持对室内空间进行深度扫描，由于研究的目的是在舱内空间为航天员提供混合现实的技术支持，在此不妨用任意的室内空间模拟太空舱内的空间。

HoloLens高质量的几何重建，其核心目标是通过SLAM技术(simultaneous localization and mappinp，即时定位与构图)获取真实场景的详细三维模型。SLAM技术的解决过程就是认知环境的过程，相机在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图。很多SLAM系统关注于实时的跟踪，使用稀疏图片定位而不是重建。还有的SLAM系统使用基于点的样本表现(例如基于面元或者排成一条线的点云)进行重建[5]。HoloLens基于表面重建的方法超过了之前基于点的表现，更加精确的表现了真实世界的几何关系。

用户佩戴HoloLens可以在房间内快速地移动完成对场景三维模型的高质量、几何精度较高的重建。系统连续地跟踪HoloLens前置相机的姿态，并且实时地将由相机获取的深度数据融合进世界的三维模型。当用户搜索空间时，物理场景的新视图被显示，这些新的视图被融合进统一模型中，因此伴随着新的深度测量值被逐渐获取，重建在细节上逐渐完善，空洞逐渐被填满，模型变得更加完整，随着时间的过去逐步精确[6]。

只要HoloLens开启，它就会不间断地扫描周围的环境，但是开发者可以决定其开发的应用何时或者多久获取一次数据。为了实现混合现实，首先要认识现实，而认识现实的方法正是通过HoloLens对室内空间进行深度扫描，并保存深度扫描的空间数据，将其下载到计算机中，从而可以在Unity中对深度数据进行处理和使用。

通过在VS2015中编写空间观测程序控制HoloLens对室内空间的扫描，利用Device Portal(设备门户)工具实现计算机对HoloLens的观测。使用HoloLens扫描室内环境时，会看到疏密度一定的三角形覆盖室内环境，可以在Device Portal 中的3D view界面观测到HoloLens对室内空间扫描的实时进度(如图3所示),用户需要利用HoloLens的深度相机扫描覆盖室内空间的每个角落，以确保获取环境信息的完整性，佩戴HoloLens的用户凝视某一角落，对应的数据信息就会在实时扫描进度中被填满。

图3 3D view中显示的实时扫描进度

扫描完成后，可以将室内空间的深度信息导入到Unity中，在Unity中点击播放，便可以在Scene窗口中看到完成的室内空间深度信息(如图4所示)[7]。值得注意的是，Unity支持在编译器中实时观测HoloLens的GPU使用情况，也可以修改HoloLens对室内空间的扫描精度，图4中采用每立方米500个三角单元的测量精度，如果空间信息相对复杂，可以修改程序提高测量精度，例如可以将测量精度提升为每立方米1200个三角单元，部分控制程序如下：

Private void Awake( )

{

Observer=new SurfaceObserver();

ObserverState=ObserverStates.Stopped;

TrianglesPerCubicMeter=1200;

}

将深度数据导入Unity后，不再需要在Unity与HoloLens之间反复交换数据，对于空间数据的处理工作只需在Unity中进行。

图4 向Unity中导入的扫描信息

3.2 空间数据的初步处理

通过HoloLens初步导入到Unity的数据是粗糙的，需要利用数学手段进行初步处理。通过存储顶点的位置，可以精确的计算出像素点在空间中的位置。处理空间数据的思路是通过计算顶点的法向量判断像素点的位置是在墙面、顶棚还是地面。

计算顶点在视野空间中所处的位置，同时得到顶点的法向量，将法向量转化为世界空间的坐标，进一步得到真实空间中法向量的类型。通过着色器将墙面的像素点渲染为蓝黑相间的条纹，其余区域，也就是顶棚点云与地面点云默认为黑色。初步处理后的空间数据如图5所示，空间的墙面被着色器渲染为蓝黑相间的条纹，并可以通过修改相应的参数改变蓝色条纹的线宽。

图5 初步处理后的空间数据

3.3 平面划分与场景导入

初步处理后，找寻地面点云与顶棚点云，可以将法线方向均向上的一类点的集合定义为地面点云，将法线方向均向下的一类点的集合定义为顶棚点云，这样就可以将空间数据划分为三类，直观地呈现为地面、墙面和顶棚。平面划分处理后的结果如图6所示，蓝黑相间的部分为墙面，其与上下的顶棚与地面均清晰区别。

图6 平面划分后的处理结果

图6中可以看出，数据的处理结果较为粗糙，尤其是面与面之间仍存在较多三角单元，需要做进一步的平滑处理。进一步将虚拟的交互场景导入室内空间模型，为交互做准备[8]，虚拟场景导入完成如图7所示，虚拟的图片信息被叠加到符合墙面要素的点云上，虚拟动画场景被叠加到法线方向向上的地面点云，佩戴HoloLens的用户就可以在室内空间看到混合现实的实现效果。

图7 虚拟场景导入Unity后的结果

4 混合现实的实现

实现混合现实的交互方式主要有3种：语音控制、凝视和手势控制[9]。语音控制帮助用户通过语音对全息影像或图片发送基本控制命令;凝视用于选择，相当于鼠标指针的功能，通过头部的运动指向一个位置;手势控制主要分为轻点和拖拽，通过识别用户手指的运动轨迹实现类似于鼠标确认等操作。

在此设计案例中，实现的具体交互方式为，墙面上的图片文字信息可以根据用户的凝视指令在墙面上的任意位置自由移动，并通过用户的手势确认指令固定放置在墙面上的任意位置。设计案例同样支持语音控制，用户可以通过语音指令固定图片在墙面上的位置。但是，值得注意的是，图片文字信息只能出现在墙面上。用户也可以将虚拟的三维立体模型在地面上通过凝视指令移动并通过手势或语音确认指令任意放置。同时，虚拟的太阳系环境置于室内空间中，佩戴HoloLens的用户可以在室内空间看到动态运动的太阳系场景，包括行星、陨石的运动。

由此，置身于室内空间并佩戴HoloLens的用户，不仅可以透过HoloLens的透光屏幕看到室内的真实场景，也可以看到通过Unity导入的虚拟的文字、图片和三维动画信息，并与虚拟信息开展语音控制、凝视和手势控制等交互方式，实现了混合现实的效果。

5 结束语

随着混合现实技术的发展和相关应用的研究，其在航天员辅助操作和独立获取信息等方面的巨大优势已经显现出来。本文的设计研究利用室内环境模拟太空舱内环境，首先对室内空间进行深度扫描，然后对数据进行处理，将虚拟场景导入，并实现多种形式的人机交互。用户佩戴HoloLens混合现实头盔，既能够看到真实完整的室内空间，又可以获取虚拟场景提供的图片文字等信息，同时解放了用户的双手，方便用户在获取信息的同时开展相关操作。本设计对研究长期航天员在轨任务辅助支持与训练方法具有重要的研究意义。

[1] Tamas H,Zoltan B.Surgical robotic support for long duration space missions[J].Acta Astronautica,2008,63(7):996-1005.

[2] 朱秀庆，刘玉庆，周伯河.载人航天领域增强现实技术应用研究进展[J].航天医学与医学工程,2014,27(5):374-378.

[3] 罗 斌，王涌天，沈 浩.增强现实混合跟踪技术综述[J].自动化学报，2013,39(8):1185-1201.

[4] 张 洋.混合现实的人机交互软硬件系统的研究与设计[D].上海:华东师范大学,2014.

[5] Henry P,et al.RGB-D mapping:Using depth cameras for dense 3D modeling of indoor environments[A]. Proc.of the Int.Symposium on Experimental Robotics(ISER)[C].2010.

[6] Izadi S, Kim D, Hilliges O,et al.Real-time 3D reconstruction and interaction using a moving depth camera[A].UIST’II[C]. Santa Barbara,CA,USA,2011.

[7] Newcombe R A, Izadi S, Hilliges O.Real-time dense surface mapping and tracking[A].In ISMAR[C].2011.

[8] 李 国.基于立体视觉的同时定位与地图创建研究[D].哈尔滨：哈尔滨工业大学,2014.

[9] 康 波.增强现实中的跟踪技术[J].计算机测量与控制,2006,14(11):1431-1434.

A Study of Mixed Reality Applied to Aerospace Intelligent Interaction

Li Lintong, Wang Youchun,Xie Ye,Chen Zhuo

(Shanghai Aerospace Electronic Technology Institute, Shanghai 201109, China)

As Chinese space station is being established,the astronaut will face a challenge of a long-term on-orbit task, such as the equipment replacement, the space test and the space walk. But for the communication delay,the mission control center can hardly offer all-weather technical supports for astronauts,so the astronauts must poccess the capability of getting information supports independently.The technology of mixed reality can solve this problem. At first, the concept of the mixed reality is introduced, the space application characteristics of this technique is also analyzed. The voice command, the gesture control and the gaze are accomplished under the development platform of the VS2015,the app is operated on HoloLens. Our study focuses on the spatial mapping, the paper take an analysis of the spatial mapping data by scanning the indoor environment. The application can project holograms on the surface of the real world.Users can also take some physics interactions with the holograms.The study demonstrates the feasibility of the mixed reality for the on-orbit support of the astronauts.

HoloLens；spatial mapping；mixed reality；augmented reality

2017-06-19；

2017-07-11。

李林瞳(1992-)，男，吉林长春人，硕士研究生，主要从事增强现实方向的研究。

王有春(1974-)，女，安徽蚌埠人，硕士研究生导师，主要从事测试与发控方向的研究。

1671-4598(2017)12-0255-04

10.16526/j.cnki.11-4762/tp.2017.12.066

TP391

A