基于LBS平台的全景直播功能的研究与实现

李璇

摘 要 随着新媒体时代的来临，移动互联网相关的创新型产业成为了市场上的焦点，体育视频直播就是其中一个具有代表性的文化创业产业，全景摄像机也逐渐受到社会的关注，该类相机不仅可以对运动的整个区域进行全面的把握和掌控还能真正意义上做到全方位无死角的场景观测。随着VR技术的快速发展市场的不断扩大，VR虚拟设备研发团队不断探究帮助人们在网络和计算机虚拟世界中更加清晰地体验现实、重建现实和改造现实。VR技术使大场景难以观看的体育全景重现更加全面真实给人带来身临其境的感觉，体育运动项目繁多，极具表演性和观赏性，拥有大量的受众。基于运动实时性的比赛与不可预测的比赛结果需要媒介给予即时、准确的报道，运动广泛而有力的传播也是吸引受众带动社会发展的过程。运用360度全景成像技术可以获得单视点在周围360度观察方向上的比赛场景信息使得观看比赛的观众能够更快更准确的感知周围场景的变化，比以往传统的视频图像处理技术有着实质性的进步。近年来基于影像的三维可视化正成为视频直播的热点，而VR全景影像就是三维可视化的一种既经济又高效的表达方法。

关键词 全景视频 赛事直播 虚拟现实

1研究意义

全景视频直播功能的实现可以将LBS平台应用于体育赛事直播，运动训练过程中教练员和运动员通过观看直播来监控训练过程。大型赛事直播花费巨大，并不能实现日常的广泛应用，本研究基于此实现民用级别的全景直播研发，在LBS轨迹跟踪平台的轨迹跟踪功能基础上增加了全景视频直播功能，它的实现将提高运动项目的直观性与观赏性，促进运动项目的乐趣与百姓的参与程度，同时使教练员对每位运动员日常运动训练的针对性方案制定提供了一个良好的监控平台及训练保障，为全民健身开启互联新模式，为互联网+体育提供实践范例，并为促进大众健身行为的研究提供数据基础。如网球运动、足球运动、帆船运动、定向越野为例，现场观众肉眼看不到的细节往往只能通过场边的大屏幕来弥补，而大屏幕所展示的赛况画面有限往往满足不了观众的观赛友好度体验，通过网络观看直播的观众也只能通过现场的固定摄像机位定点切换观看比赛，而现场机位通常追踪的是个别成绩突出的运动员，观众对观看内容缺乏自主选择性。对于教练员和运动员而言，在实地训练中教练员通常采用远距离观望指导，户外运动、水上运动等的教练员则部分采取跟行的方式对运动员的实地训练进行观察指导，这就导致在训练中，教练员无法同时兼顾多个运动员的训练细节不能详细针对每一个运动员的具体问题制定训练方案，运动员本身也无法在训练后对自己的训练进行回顾、发现训练中的问题与路线技巧改进。本研究在轨迹追踪功能外增加的全景视频直播功能可实现运动观赏的体验度与趣味性，应用于体育运动时运用全景摄像通过全景视频直播在LBS服务平台实时定位运动员位置轨迹的情况下实时查看运动员为原点视角的360度全景运动实况，使用户能够沉浸式体验运动，增强观众的观赛体验同时使教练能够更加直观生动有效的了解运动员的运动轨迹及比赛情况，及时制定更加合理的比赛战术和训练方法。

2全景直播的发展现状

流媒体技术具有悠久的历史。1994年流媒体技术正式在互联网上亮相，1997 年该公司发布了应用广泛的流媒体播放器之后微软也开始推出了自己全新格式的流媒体产品，标志着流媒体时代的开启。流媒体是指使用流式传输方式在网络中进行传输播放的媒体格式，具有连续传输和实时传输的特点。目前互联网的应用越来越广泛，图像信号的数字化和网络传输已经非常普遍，利用数字图像技术进行现场直播和动态监测都成为了现实并且具有相当高的可靠性和灵敏度。网络视频直播是流媒体与互联网相结合的产物它凭借着互联网强大的传播能力实现了快速地记录并传播现场状态的功能。其对象是广大的网络用户群，其目的是把各种现场活动的场景进行扩散突破了地域限制完成了整个现场的网络直播。在国内视频直播可以划分为两类，一类是制作好的电视视频信号再通过网络向用户提供资源。现在网络上可以看到许多晚会以及体育运动的直播，这些大型节目往往是先处理为电视信号，再在对应的网站上进行发布供用户进行点播。二是真正意义上的网络直播，在第一时间对现场进行信号采集经过一系列信号处理后通过流媒体技术进行转发最终用户可以在各种终端设备上通过网络进行视频播放。网络视频直播系统以综合调度服务器为中心主要分为五个部分：视频采集终端进行现场场景的拍摄记录对采集后的数据进行压缩编码、封装并发送给综合调度服务器；综合调度服务器获取数据后分发到视频服务器提供直播或者通过数据库服务器进行存储；数据库服务器用于视频流的存储并供用户进行视频点播；视频服务器主要通过互联网等传输媒介向播放终端发送视频流同时响应播放终端的操作请求；播放终端获取来自视频服务器发送的视频流进行解码显示并且具有相应的交互功能。

虚拟现实技术建立人工构造的三维虚拟环境，其主要科学问题包括建模方法、表现技术和人机交互三大类。增强虚境是虚拟现实技术的一大分支，其最直接的想法就是利用相机捕捉真实图像或者三维场景将图像或者场景注册到虚拟环境中使虚拟环境能够表现真实对象的状态和实现响应交互。通过视频图像增强的方法最早是在 1997 年提出的，他们认为视频信息可以用来创造沉浸式的虚拟环境，如可以变换虚拟视角的虚拟场景。美国尝试将多个视频注册到同一个三维环境中，扩展了用户的视域。南加州大学阐述了增强虚拟环境的概念。麻省理工学院利用鱼眼相机设计了一套沉浸式飞行屋，虚拟现实技术应用领域十分广泛，在航天航空领域虚拟现实技术展现了虚拟火箭的发射过程；在游戏领域大量 3D 游戏的产生为虚拟现实的发展注入了新鲜血液；在视频直播领域中虚拟现实技术可以结合全景视频直播系统来实现沉浸式的网络视频直播体验。2015 年国内网络视频播放平台爱奇艺对中国网球公开赛进行了360 度全程直播。用户可以通过电脑端、手机客户端或者佩戴虚拟现实头盔进行观看，身临其境地感受现场氛围。通过将全景视频与市面上的虚拟现实头盔实现适配用户还可以自主选择观看视角，带来沉浸式地观赛体验。这代表着虚拟现实直播应用的问世，在不久的将来沉浸式的全景直播方式将会代替传统的视频直播方式成为网络视频直播的主流。2018年平昌冬奥会全景直播拿下两个第一是迄今为止冬奥会的第一次VR现场直播也是迄今为止最大规模的全景体育运动的直播。利用虚拟现实进行体育运动直播可以保证比赛的现场同步性也让比赛播出的不可预见性更富有悬念。观众收看直播運动就是要体验事件发生过程中对于结局的紧张期盼，实时沉浸式运动直播使观众产生一种紧张的期待感，带来身临比赛现场的体验同时可以选择更多不同视角进行观看。从1994年流媒体技术问世到今天虚拟现实技术广泛应用在电视网络直播中国内外专家学者对视频直播的技术的研究从点到面到三维立体空间取得了巨大进步，国内外对体育赛事、户外越野等项目的直播水平也得到了大众认可但是在视频直播输出显示的问题上还存在视频画面不稳定以及交互性差的问题亟待解决。目前国内外基于实景拍摄这种手法完成全景拍摄的主要运用是运用三维实景技术实现也就是运用相机对相隔一定距离的实际场景进行多角度环视拍摄，每个场景都拼接生成 360 度影像并按照实际情况关联每个场景让观众能够选择在每个场景之间进行切换游览。而在实景展示上谷歌在 2007 年推出的谷歌街景就是在原有的谷歌地图的基础上加入了全景功能，做法就是在一辆车的车顶上摆放一组全景图像采集的摄影器材，让这辆车在大街上行驶按照一定密度对街道图像进行采集并且生成的全景图像在游览程序中可以 360 度观看并且通过鼠标点击游览器中前后左右的箭头号进行场景切换游览。国内的百度地图也推出了类似的全景地图功能把真实的场景搬到了用户面前，起到很好的路线指导作用为用户出行提供方便。类似的还有博物馆和展览馆也都有了类似的虚拟观看系统。国内也有学者在这方面做了研究，比如 2007 年杨琳等把全景拍摄技术应用到虚拟校园上，2013 年冯建平等提出的基于全景图像构建三维全景系统，唐俊等在 2003 年就开始基于鱼眼镜头的全景视频模型的研究，而近年来基于鱼眼镜头然后用图像绘制技术去构建全景视频拍摄的研究也屡屡出现。

3研究目标

本研究综合商用及已有民用赛事直播服务设备的特点与功能，基于位置服务LBS运动轨迹实时跟踪服务平台实现全景视频直播的功能，用户通过轨迹跟踪服务与全景视频直播功能的结合不仅可以看到运动员的运动轨迹同时还能直观的观看到比赛的全景实况。全景直播功能的实现不仅可应用于网球、足球、帆船帆板、定向越野、滑雪、骑行等体育运动的直播也可应用于日常运动训练中的训练监控，教练员可以通过全景视频的展示对每个运动员的运动训练进行更好的跟进观察、技术剖析、具有针对性的训练方案制定。全景直播功能通过全景视频录制设备系列产品进行全景视频的拍摄及视频处理，防抖性能更高使全景影像更加清晰稳定易编辑，使用成本也较低提高了在大众健身中应用的普及度。

4研究内容

通过需求分析确定研究内容基于平台主要实现运动的全景视频跟踪服务功能。将拍摄和处理好的全景视频通过实时传输协议以及webGL开发，在LBS 服务平台上实现全景视频的直播功能同时预留VR设备接入端口。结合平台原有数据采集硬件设备所采集的运动数据以及运动轨迹相结合实现全景视频实时在线服务的研究与应用，用户在运动直播过程中通过LBS平台实现实时定点观看运动全程全景视频。

通过对市面上的全景摄像设备进行对比分析从需求、稳定性、适用性、便携性、价格等几个方面对比之后，全景摄像设备选择insta 360系列摄像设备是全球首个面向企业级的360度全景相机可拍摄4K级全景视频和全景照片。广泛应用于旅游、房地产、新闻、体育赛事、大型活动等多个领域，突破传统视频固有限制给用户360度全空间视角、颠覆性的视觉体验。相比较市面上同类型的全景摄像设备在户外全景视频的使用更加便携和适用，而在后期LBS平台的研发中也更加适合于将摄像头与原运动采集硬件设备集成一个集：采集轨迹、采集运动数据、采集全景视频功能于一体的集成度高的硬件设备。

全景视频直播功能的实现通过对其SDK二次开发以及平台适配，拍摄的全景视频通过无线网络上传到其服务器再通过其推流功能可上传至LBS服务平台实现全景视频拍摄内容指向LBS平台的实时传输。直播的整体流程包括数据采集、数据编码、数据传输、解码数据、播放显示整个流程。

流媒体指以流方式在网络中传送音频、视频和多媒体文件的媒体形式。直播常用到的流媒体协议RTMP协议，它的实时性高一般能做到3秒之内。LBS平台的直播属于大中型集群分发选择稳定性高的协议是一定必要的。一个单一的连接可以通过不同的通道传输多路网络流，这些通道中的包都是按照固定大小的包传输的。全景视频在LBS平台上的播放展示相较于普通视频而言在电脑端可以对全景场景进行鼠标缩放与360度拖拉旋转观看，手机端可通过手指以及转动手机本身进行全景视频的观看角度控制，全景视频的交互观看需要通过WebGL编程实现是一种绘图协议，程序开发时就可以借助系统显卡来在浏览器里更流畅地展示（下转第263页）（上接第261页）3D场景和模型了还能创建复杂的导航和数据视觉化。完美地解决了现有的交互式三维动画的两个问题：第一它通过脚本本身实现交互式三维动画的制作无需任何浏览器插件支持；第二它利用底层的图形硬件加速功能进行的图形渲染是通过统一的、标准的、跨平台的接口实现的。

5研究成果

全景视频直播功能的实现将实现平台应用于各大赛事全景直播，服务于赛事直播和运动训练监控；可以进行多项体育运动训练的实地测试以及全程视频观看监测。通过全景直播服务，提高各类运动项目的直观性、观赏性以及用户参与程度。将全景视频与位置轨迹追踪服务相结合，使教练员可以更清晰直接的了解每一个运动员在运动训练过程中的位置改变、动作技巧细节并有助于教练员及时提出训练建议以及战术分析，便于教练员针对不同运动员制定更合理的訓练方案，提高训练的效率和指导性。