基于云存储的多源遥感影像管理系统研究与设计

2019-11-22 16:50关显明张晓磊
安徽农业科学 2019年20期
关键词:云存储系统设计

关显明 张晓磊

摘要 近些年遥感影像呈指数增长,遥感影像管理部门如何科学有效地管理海量的遥感影像数据,充分利用存储空间,按需高效调取多源遥感影像是目前迫切需要解决的难题。设计了海量多源遥感影像管理和服务的系统,应用云存储技术,将分布不同地点的存储设备通过软件组合后依托网络传输技术协同工作,管理部门可基于该系统做到有效的影像数据管理、数据分发以及数据服务共享等,切实解决当前海量遥感影像管理和应用遇到的问题。

关键词 云存储;多源遥感影像;系统设计

中图分类号 S127文献标识码 A

文章编号 0517-6611(2019)20-0241-02

doi:10.3969/j.issn.0517-6611.2019.20.065

开放科学(资源服务)标识码(OSID):

Research and Design of Multi source Remote Sensing Images Management System Based on the Space Cloud Storage

GUAN Xian ming, ZHANG Xiao lei(Center of State Bureau of Surveying and Mapping,Ministry of Natural Resources,Harbin, Heilongjiang 150086)

Abstract In recent years, remote sensing images grow exponentially.It is an urgent problem to manage a large number of remote sensing image data scientifically and effectively, which not only effectively utilizes storage space, but also efficiently provides services that uses remote sensing images on demand.In this research, we design a system with the cloud storage technology based on the massive multi source remote sensing image management and service.Based on this system, the department can manage and distribute data and provide data services.Solving the problems encountered in the management and application of the massive remote sensing images.

Key words Cloud storage;Multi source remote sensing;System design

近几年来,随着卫星遥感技术的飞速发展,遥感影像在气象预测、林业资源普查、草原面积清查、土地利用调查、水资源调查、地理国情监测、城市规划管理、環境保护、违法建筑拆除等方面均起到了基础数据支撑作用,改变了传统仅依靠人工的工作方式,提升了工作效率,节约了大量人力。卫星遥感技术在很多工作中被称为“天眼”,但应用越多,要求就越高,因此对遥感影像管理部门来说,如何管理遥感影像资源并进行快速的数据分发将是个挑战。随着国家本轮机构改革的推进,遥感影像在未来的自然资源普查和监测中将扮演越来越重要的角色。

随着卫星遥感技术的发展以及航空摄影技术的提高,遥感影像成像分辨率将会越来越高,遥感影像数据将从单波段、多波段向超波段发展,获取的单幅影像数据量将越来越大,每年获取的遥感影像将会呈指数增加[1]。对自然资源、林业、环保等多个遥感应用部门的调研显示,很多省级部门1年的遥感影像数据已经达到几百TB,甚至PB的量级,而且还在逐年增长[2]。因此,如何科学有效地管理数量巨大的遥感影像数据,既可有效地利用存储空间,又可以按需高效地查询、检索、提取、分发遥感影像,使之更好地提供服务,是目前迫切需要解决的难题[3]。鉴于此,笔者开发了一个应用云存储设备,依托网络传输技术,设计具备海量多源遥感影像管理和服务的系统,影像管理部门可基于该系统进行数据管理、数据分发、以及数据服务共享等,旨在解决大数据量遥感影像管理和应用遇到的问题。

1 关键技术研究

1.1 云存储技术

“云”概念最早诞生于互联网,随之云计算技术在各行各业得到应用。云存储是在云计算基础上延伸出来的一个新概念,是一种高效集约资源的网络存储技术,指通过集群、网络或分布式文件存储等功能,将不同地点的存储设备通过软件组合后协同工作,共同对外提供数据存储[4-5]。空间云存储主要是指以空间数据库为软件管理,利用分布式云存储空间,基于云计算技术实现空间数据的存储与服务。

1.2 多源遥感影像

多源遥感影像是指从不同来源获取的遥感影像按照获取方式可分为卫星遥感影像和航摄遥感影像;按照影像类型可分为全色影像、多光谱影像、微波雷达图像等;按照卫星类型可分为国产卫星的高分一号、高分二号、高分六号、资源三号等省级部门拥有使用权的卫星,北京二号、吉林一号、珠海一号等商业卫星,国外的SPOT系列、Landsat系列、MODIS系列、Wordview等,以及现已停止服务的存档卫星影像。按照卫星影像数据级别可分为一级产品(最原始的产品)、二级产品(经过辐射校正和几何校正)、三级产品(经过精校正的产品)、四级产品(经过正射校正产品)[6]。

1.3 遥感影像元数据

影像元数据指描述与遥感影像信息相关数据和信息资源的数据,包括影像的分辨率、四角坐标、传感器类型、轨道号、拍摄时间、云量等,通过元数据对遥感影像信息的种特征进行有效的描述与说明,使得用户更有效地定位、查看和获取需要的遥感影像数据。

1.4 海量遥感影像管理

一般情况下,遥感影像数据采用空间数据库来进行存储和管理,然而随着国产卫星技术的发展,国产遥感影像越来越多,当前的遥感影像数据是海量的,甚至1个卫星地面接收站每天接收的遥感影像都是PB级的,因此急需海量遥感影像管理来实现有效管理和高效服务[7-8]。

2 系统总体架构设计

由于纠正后的遥感影像属于涉密数据,遥感影像管理系统应用场景为涉密内网,且影像数据属于行业专业范畴,因此为便于海量遥感数据的管理,该系统采用C/S架构设计,设计原则考虑系统性、经济性、可靠性、简单易用性和灵活性。数据库选取关系型数据库oracle,主要进行影像元数据存储和数据存储表记录,对实体数据以文件型进行管理。

该系统本着集约利用存储资源的思路,采用分布式的云存储技术进行存储应用。多源遥感影像管理系统主要具备多源、多时相、异构遥感影像数据的统一入库、管理、查询、浏览、提取和分发等能力[9]。

结合遥感影像的日常应用需求,系统的总体框架可以分成4层: 基础设施层、数据层、和应用层[10],具体设计如下:①基础设施层是整个多源遥感影像数据库管理系统运行的基础,该设计采用云存储的理念进行基础设施构建,可整合分布在不同地方的多個服务器存储,通过网络技术做到存储设备和计算机之间的数据共享。云存储结构的特点是可根据需要自动虚拟化,按需提供存储空间,以完成不断变化的海量遥感影像管理。

②数据层在整个多源遥感影像数据库管理系统是非常关键的部分,多源遥感影像涉及到不同来源、结构、时相,要兼顾不同类型的遥感影像数据;数据层是在基础设施层的基础上搭建数据库,影像数据管理采用存储遥感影像元数据、快视图、存储位置和其他描述信息的方式进行管理。③应用层是管理系统面向用户的直接表现,系统应具有较好的用户体验。应用层应便于用户根据需求在原始影像和成果影像中进行数据检索,并通过查询检索结果浏览影像快视图,可进行遥感影像数据的提取、传输、分发与共享等,同时应用层还应具备系统用户管理和操作日志记录等。

3 系统功能模块设计

多源遥感影像管理系统基于网络云技术设计,可实现遥感影像数据的查询、提取。系统主要包括目录配置、数据入库、数据管理、影像查询、影像浏览、影像提取和系统设置等功能模块。多源遥感影像管理系统功能模块组成如图1所示。

3.1 系统配置

系统配置模块主要是对系统各种表现的配置,支持对云存储的配置;可进行影像目录树配置;提供多源遥感影像配置。系统支持目前市面上出现的各种卫星影像参数,当有系统不支持的遥感影像出现时,可进行新增遥感影像参数配置;此外,该系统还包括安全管理、组织管理、备份恢复等配置,系统模块为整个系统的正常运行提供支撑。

3.2 数据入库

影像目录树配置好后,可将影像数据录入对应的目录节点。原始影像应支持现有的各种卫星遥感影像数据和常用的航摄影像数据,卫星影像数据包括GF1、GF2、BJ2、ZY-3、HJ-1A、HJ-1B等多数据源,应支持img、tiff格式的区域镶嵌影像产品。入库过程中系统自动记录影像元数据信息和快视图,当发现影像元数据信息不全时,可手工填写影像的元数据信息,对于区域镶嵌影像产品可记录其描述信息。

3.3 数据查询

可根据影像产品类型、卫星源、数据获取时间、影像空间位置、云覆盖度等条件查询数据库中的遥感影像数据,还可以查看检索结果影像数据的详细信息,可方便地叠加数据的影像范围四至和快视图,以便用户进一步筛选。空间条件查询可根据行政区进行区域定位,可上传SHP面文件、KML文件进行定位,也可直接绘制矩形或者多边形进行定位,还可以输入空间四至的左上角和右下角经纬度进行定位查询。

3.4 数据提取

在查询结果中,可根据需求提取所需入库管理的遥感影像数据。可以根据入库时间、影像时限、空间位置等条件进行二次筛选后输出,还可根据需求选择输出位置。

3.5 用户管理

纠正过的遥感影像坐标精准。由于影像涉密,为保证数据安全且便于影像管理,系统应设置用户管理模块,系统可设置功能级权限管理和数据级权限管理。将每类用户设置不同的数据应用权限,每类用户可以访问而且只能访问自己被授权的影像资源;部分用户仅具有浏览权限,如需影像下载,可通过提交订单的形式进行影像下载申请。

3.6 日志管理

该模块可实时记录用户登录、操作日志、导入记录、导出记录等信息,并支持日志查询、导出等操作,记录数据库的操作记录,从而保障数据库信息安全。

4 结语

基于云存储的多源遥感影像管理模式主要以分布式对象关系数据库管理遥感影像数据,该方式不仅可以减少中央服务器的负担[11],还可以利用分布不同区域的服务器存储,应用网络传输技术实现存储相同、数据共享。由于影像数据的特殊性和专业性,该系统选取C/S架构设计,应用文件方式存储多源遥感影像数据,通过关系型数据库存储遥感影像元数据及目录数据等相关信息,以目录树的形式进行海量影像数据的快速检索以及高并发访问。该系统可满足影像管理部门按需、及时、创新服务的影像需求。

参考文献

[1] 徐迪峰.海量遥感影像管理系统的研究与实现[D].苏州:苏州大学,2009.

[2] 孟祥辉,李浩川,王冠珠,等.基于云架构下的数据存储服务研究[J].电子制作,2018(2):50-5 55.

[3] 龚健雅.空间数据库管理系统的概念与发展趋势[J].测绘科学, 200 26(3):4-9.

[4] 唐箭.云存储系统的分析与应用研究[J].电脑知识与技术,2009(20):5537-5538,5340.

[5] 胡军杰.云平台下分布式文件系统评测技术研究[D].哈尔滨:哈尔滨工业大学,2014.

[6] 王晋年,顾行发,明涛,等.遥感卫星数据产品分类分级规则研究[J].遥感学报,201 17(3):566-577.

[7] 刘伟,刘露,陈荦,等.海量遥感影像数据存储技术研究[J].计算机工程,2009(5):236-239.

[8] 万元嵬,程承旗,宋树华.大数据量遥感影像快速显示剖分组织方法研究[J].地理与地理信息科学,2009,25(3):33-36.

[9] 任伏虎,王晋年.遥感云服务平台技术研究与实验[J].遥感学报,2012,16(6):1331-1346.

[10] 邱清容.遥感影像数据库管理系统研究[J].中国新技术新产品,2013(13):94-95.

[11] 黄杰,刘仁义,刘南,等.海量遥感影像管理与可视化系统的研究与实现[J].浙江大学学报(理学版),2008,35(6):701-706.

猜你喜欢
云存储系统设计
浅析龙岩烟草业务数据与监控数据中的云存储与大数据