VR技术在建筑漫游中的探究与应用

摘    要： VR与无人机合作的触角已经伸到了各种领域，戴上VR眼镜进行无人机操作可以得到沉浸式的真实感受。本项目以教育研究为出发点，立足于《建筑模型设计与制作》课程将无人机+VR眼镜来制作3D视频或者用来给用户带来建筑全方位视角体验的技术可行性进行研讨。

关键词：建筑漫游;VR技术;沉浸式体检

1  VR技术概述

1.1  VR技术

VR是Virtual Reality的缩写，中文的意思是虚拟现实。虚拟现实技术是一种能够创建和体验虚拟世界的计算机仿真技术，它利用计算机生成一种交互式的三维动态视景，其实体行为的仿真系统能够使用户沉浸到该环境中。今天VR技术已成为新产品设计开发的重要手段。其中，协同工作虚拟现实是VR技术新的研究和应用的热点，它要考虑多个参与者在一个共享的空间中如何相互交互，在VR环境下的进行协同设计，团队成员可同步或异步地在虚拟环境中从事构造和操作虚拟对象的活动，并可对虚拟对象进行评估、讨论以及重新设计等活动。

2  VR技术是如何在建筑漫游中应用

2.1  无人机拍摄的技术优势

将无人机拍摄的图像进行实景三维模型建模。形象点说，就相当于把自己的眼睛“安装”在无人机上，体验者自己已经化身为无人机，在虚拟的世界感受现实的景观。比如天辰智创团队在西岭雪山就曾经呈现给游客一种全新的智慧旅游观景体验。据项目创始人介绍，因为每个景区都有大量未被开发或无法被开发的绝美风景是游人双脚无法到达的，借助于“无人机&VR”技术，等于给了体验者上帝的双眼和小鸟的翅膀，身临其境的从人类不可能到达的角度去感受美景。

2.2  无人机拍摄的与建筑漫游结合的难点

第一，硬件技术的局限。目前设备使用不便、效果不佳等问题仍然突出，硬件的处理速度远不能满足在虚拟世界中实时处理大量数据的需求。相关设备的价格也十分高昂，一个头盔式显示器加上主机的成本动辄上万元。

第二，软件可用性差。受硬件局限性的影响，虚拟现实软件开发花费巨大且效果有限，相关的算法和理论也尚不成熟。在新型传感机理、集合与物理建模方法、高速图形图像处理、人工智能等领域，都有很多问题亟待解决。三维建模技术也需进一步完善。

第三，应用领域有限。目前，虚拟现实技术主要应用于军事和高校科研，在教育、工业领域应用还远远不足，未来应努力在民用领域的不同行业发挥作用。

第四，效果不够理想。在虚拟现实的感知方面，有关视觉合成方面的研究较多，对听觉、触觉关注较少，真实性、实时性不足，基于嗅觉、味觉的设备还没有实现商品化。此外，在交互效果方面，虚拟现实技术与人的自然交互不足，在语音识别、人工智能方面的效果尚不能令人满意。

3  对于应用VR技术于建模漫游的思考

3.1  前期的数据收集

我们的课题首先尝试在深圳福田某中学开展培训课程，通过中学生对无人机与VR眼镜结合建筑浏览课程制作出建筑三维建筑模型一个区域范围内的拍摄建模。我们用最常见的折线飞行。折线飞行顾名思义就是让飞机走之字型的路径，扫描整个要拍摄的区域，这种方式比较适合拍摄大面积的场景。

无人机拍摄的图像进行实景三维模型建模，大规模重建任务更多使用长航时的固定翼无人機拍摄的海量图像。并将其还原成三维模型不仅是对服务器硬件的一个巨大考验，更对三维重建算法的扩展性有极高的要求。我们学生面对这个巨大的挑战，显得毫不畏惧，对这种大规模重建任务驾轻就熟，并能够出色完美地完成客户的处理要求。

3.2  提出超视距观察的解决思路

本课题研究以VR眼镜使用APP软件功能与无人机飞控系统相结合改造传统的建筑浏览，拟通过这项几项新技术结合传统的建筑浏览课程来定制视频制作软件、建筑构造改造，三维地图设计开发等项目。

（1）VR眼镜通同APP软件匹配到无人机图传数据上，图传会传输实时图像到VR眼镜上，通过飞行技术人员来操控无人机，云台手通过VR眼镜从多个不同角度跟拍无人机画面.

（2）数据测绘软件挂载在无人机上来实现测绘建筑室外室内三维数据，致力于城市三维数据地图与软件开发创新研发等项目。

（3）人机结合VR眼镜来制作3D视频或者用来给用户带来建筑全方位视角体验，再结合学生开发软件平台，进而让学生能够自主研发创新更多领域的技术，

学生通过运用VR可视系统体验全新四维建筑交互体验，从而对科技产业的浓厚兴趣来进行开发创新。

4  针对建筑漫游与VR结合的的对策

参与三维重建的图像也就是数据量越大，所需的处理时间自然也会变长。但是究竟处理时间会变得多长却是大有文章。在计算机科学的世界里，我们会使用一个叫做 “时间复杂度” 的衡量标准来评价一个算法因应数据量的增多，处理时间的变长程度。我们举个例子，如果有两个三维重建系统他们处理 100 张图都花了1小时。当图像数量变成 10 倍 1000 张图片的时候，其中一个系统的处理时间只是原来的 10 倍，变成了 10 小时，这样的系统，我们评价他的时间复杂度是线性的。但是另一个系统，却变成了原来的 100 倍，需要处理 100 小时。

4.1  建筑漫游的高效大规模三维重建

同类重建软件空三处理步骤受限于图片数量，通常需要预先对原始处理数据人为做切分处理。由于其空三步骤是分开单独进行处理，即使后期加入控制点进行优化，单独重建的不同模型仍然会出现连接区域不一致的问题。无人机与VR 眼镜结合建筑浏览恰好能够完美解决上述问题。无论输入图片数据数量的多少，都能生成完整、连续、无切分的空三结果。加上基于整体模型的网格和纹理优化，大大提升了最终纹理模型的精确性和一致性。

4.2  高效的算法级并行处理

无人机与VR 眼镜结合建筑漫游的高效三维重建得益于我们自行研发的先进分布式并行处理系统和高度优化的分布式并行三维重建算法。不同于同类软件将整个模型分块进行并行运算，学生之间则会通过深度学习，综合相片的视觉信息和空间信息等各方面的要素，自动地把每个步骤的任务分割成恰当大小的任务在多机上并行处理，包括特征提取、空三、密集点云、网格生成、纹理贴图。由于同类软件空三步骤都是单机运行，一旦空三任务失败，使用者必须重新处理整个空三任务，经历漫长等待。空三步骤能够自动进行任务级并行，从而大幅提升了空三的效率。此外，我们很好利用了图形运算单元（GPU）帮助特征点运算、密集点云和网格优化，极大增强了整个重建任务的并行度和服务器的使用率。因此，建筑浏览能够实现真正大规模重建的可扩展性，这解释了为什么无人机与VR 眼镜结合建筑浏览能够做到处理时间和处理效率能够随着服务器数据的增长线性增长。

项目通过对三维建模的结合运用到地图以及城市规划方面来进行学术性研究，我们特别摸索出场景分解算法，在帧率和视觉效果之间寻求最佳平衡点。在保证顺畅交互的同时，大幅增加了所能观赏到的细节。无人机与VR眼镜三维浏览引擎使用这个四两拨千斤的方式，渲染再大规模的模型也可以举重若轻。

5  结语

现有的无人机与VR技术结合课程对于学校传统教育方法来说是个全新的手段，课题结合我们现有的技术条件来定位，无人机结合VR眼镜来制作3D视频或者用来给用户带来建筑全方位视角体验是非常不错的创新点，并提高学生的动手能力，让学生能够自主研发创新更多领域提供坚实的基础与平台。

项目：

基于无人机平台的建筑VR眼镜四维浏览系统研发与应用（JS201705）。

作者简介：

金哲，讲师，硕士，深圳信息职业技术学院 ，研究方向 ：环境艺术。