康巴藏区甘孜州高分辨率对地观测系统数据资源共享平台建设的模式及应用*

2021-08-01 15:05宇,贾
甘肃科技 2021年11期
关键词:空间数据检索数据库

谢 宇,贾 东

(甘孜藏族自治州科学技术信息研究院,四川 康定 626000)

高分辨率对地观测系统项目是《国家中长期科学和技术发展计划(2006-2020 年)》大纲中确定的16 个主要项目之一。这是一个系统项目,其中军民融合特色技术为地方政府提供服务和支持,空间数据库和共享平台的建设已成为国内外的一项成熟技术。甘孜藏族自治州位于四川省西部、青藏高原东南缘,境内地形在全国地势上属四川盆地和云贵高原之间的过渡地带,北部为川西北丘状高原,南部系横断山脉的高山峡(深)谷区,东部邻近四川盆地西部山地,具有地势高亢、北高南低、中部突起、东南缘深切、山川平行相间、现代冰川发育、地域差异显著,全州总面积15.3 万km2,占全省总面积的31.76%。州境内河流主要源于巴颜喀拉山原面各山、丘、谷之间,主要河流有金沙江、雅砻江和大渡河3 大河流,两江一河自西向东,南北向平行排列,支流甚多。境内地广人稀,海拔差异大最高峰7500多m,海拔最低处1300 多m。全州辖18 个县(市),325 个乡(镇),2679 个行政村。

与传统的观测方法相比,传统的数据收集非常困难,并且数据收集还不完善且难以更新。由于甘孜州地处边远少数民族地区,仅有极少数重点行业,在国家和省部署行业重大任务时,单机存储有少量上级释放的空间信息图像,缺乏完整覆盖区域的空间信息资源,更多没有访问通道,在应用中几乎是空白。国家和四川省军民融合办公室非常关心和支持边远民族地区的综合开发和空间技术能力的建设、促进和示范工作。2018 年中央引导地方科技发展专项,批准了“甘孜州高分辨率对地观测系统数据资源共享平台建设”(以下简称平台)项目。同时高分辨率对地观测系统四川数据与应用中心(简称:高分四川中心)在甘孜州成立了四川高分甘孜分中心,也是第一个少数民族地区成立的高分中心,下设在甘孜州科技信息研究所。该平台的建设,特别是本地空间数据库的建设,对于我们国家独特地理位置的整体观测,规划、应用、更新和政府管理具有无与伦比的优势,并且具有极其重要的战略地位。

1 建立空间数据库

空间数据用于从多个方面指示空间实体的位置、形状,大小和分布信息。它可以用来描述现实世界中的目标,以及定位、定性、空间和时间关系的特征。它是代表人们对自然数据的依赖的一种基本的空间数据结构,例如点,线,面和实体。空间数据库是指存储在GIS 计算机物理存储介质上的与应用程序相关的地理空间数据的总和。它通常以一系列具有特定结构的文件和关于特定区域中某些空间特征的数据集的形式组织在存储介质上。

1.1 运行环境

空间数据库(后端)平台服务器的构建。硬件配置:联想服务器,处理器:英特尔(R)至强(R)E5-2640V3 2.6GHz,64GB 内存,8 个内部硬盘存储位,磁盘阵列卡530-8i。操作系统:Windows Server2008R2,64 位操作系统。采用C/S 模式,将ApacheTomcat 用作Web 服务器,在后台使用Java 开发语言。Java 是一种解释语言,由编译器编译为字节码,然后在JVM 中解释并执行。后端平台具有良好的安全性和健壮性(如图1 所示)。

图1 数据平台后台管理系统

空间数据库(前端)平台。前台采用B/S 架构,由用户通过Web 浏览器实现。主要事务逻辑是在服务器端实现的,而一些事务逻辑是在浏览器中实现的,形成了一个三层3-tier 结构。这种模式统一了客户端,将系统功能实现的核心部分集中到服务器上,并简化了系统的开发,维护和使用。本平台支持所有主要浏览器,例如Google,firefox,IE,360 等。

1.2 建立空间数据库的标准

符合国家标准《基础地理信息标准数据基本规定》(GB 21139—2007)和《基础地理信息数据库基本规定》(CH/T9005.2009)要求,平台中空间数据库的参考设置如下:(1)坐标系:CGCS2000 国家大地坐标系;(2)投影方式:高斯克鲁格投影;(3)高程系统:1985 年国家高程基准[1]。

1.3 Oracle 数据库

采用主流的Oracle 数据库用作系统数据库,是一种相对高级的关系数据库。安全性、兼容性和强大的数据存储和管理功能是Oracle 数据库的特点。Oracle 数据库基于SQL 语言作为开发接口,数据管理和应用程序提供了具有第三代接口软件PRO* 系列的高级语言,可以在Java,C,C++等主流嵌入式SQL语句和流程中进行开发语言(PL/SQL 语句,可以在Linux 或Windows 平台上合理应用),具有功能强大,稳定性好和维护效率高的优点[2]。Oracle 数据库处理速度快,达到毫秒级别,支持闪存和完美恢复,即使硬件故障,可以恢复到故障发生前的1S;易于做群集,可以在几秒钟内实现故障转移,数据物理完全一致,集群数据库始终是目前最佳解决方案;支持众多的多媒体数据,例如二进制图形,声音,动画和多维数据结构,在数据库中处理数据;此外,它还具有许多出色的前端开发工具,例如:在客户端PC 平台运用POWERBUILD,SQL*FORMS,Vision basic 可以快速开发和生成应用程序,具备较好的可移植性。

1.4 地理数据库空间数据模型(Geodatabase)

实体模型的数据化是对客观事物及其关系的描述用来体现数据模型。地理数据库数据模型是一个统一的数据模型,是一种地理数据管理机制,为了更好地管理和使用地理数据元素和规则,根据一定的模型以及空间数据和属性数据容器的组合存储,其特点更智能的是,每个元素不再只是一个几何字段记录[3],支持复杂的网络、关系和其他功能,包括面向对象,具有开放性,一致性,安全性和标准化等一系列重要特征,适合应用在海量数据管理中。这种表达元素,元素之间的空间关系和其他主题关系的新对象关系模型,可看作现实世界被抽象为由多个对象类组成的数据模型,每个对象类都有其自己的属性、规则和行为,以及对象类互相之间有相应关系。地理数据库数据模型将地理数据按层次结构组织到数据对象中,并将其存储在元素类、对象类和元素集中。在数据模型中:对象类是没有空间特征的特殊类,用于将表记录与特定行为相关联;要素类具有相同属性集,即是属性相同的一组空间对象集合;要素集是具有相同空间参考系的一组元素[4](如图2 所示)。

图2 平台后台Geodatabase 要素属性管理

1.5 空间数据库引擎(ArcSDE)

空间数据是通过空间数据引擎被访问,是空间数据库构建的关键技术,在空间数据的组织和管理中,传统的数据库平台是ArcSDE 中间件技术来实现,ArcSDE 空间数据库由数据库引擎来解决数据与应用程序之间的接口问题,其主要任务是:使用关系数据库对空间数据进行存储管理;从数据库中读取空间数据,并将其转换为GIS 应用程序可以接收和使用的格式;GIS 应用程序中的空间数据被导入数据库并传输到关系数据库中进行管理。空间数据库引擎服务的特点是:多用户共享;多线程执行;并发访问数据库;数据共享空间。弊病是共享在满足需求时,相应地出现数据的安全性问题,未经授权的用户可能会通过网络访问敏感数据。ArcSDE空间数据库的用户权限可以概括为三个级别,即管理员,普通用户和游客。管理员可以审核用户身份和下载的数据量等;普通用户可以在进行实名注册和验证后查看和下载数据;游客的身份只能浏览图像数据[5],通过管理,实现用户对空间数据库的合法访问。

1.6 元数据存储库的设计

为描述数据的数据信息而定义的元数据,是“关于数据的数据”,即关于信息的数据内容、质量、状况和其他特征[6],是地理空间信息共享的核心标准之一,也可以被理解为数据库中存储的数据,分辨率的大小、遥感信息的名称、位置、时间等,其设计目标是为数据集成提供规范,形成了一套通用的描述语言,该术语用于描述元数据标准的空间信息系统。组织、管理空间信息、挖掘空间信息资源是元数据的主要功能。向用户提供帮助并查询空间信息,数据目录和数据交换所,用于建立空间信息以进行数据转换。

元数据库是由数据库级元数据、要素集级元数据、要素级元数据构成。分别的作用是:数据库级元数据属于目录信息,识别和查询完整的数据库,起到整体描述空间数据库的作用,通过它可以广义地查询数据库,使用户了解了数据库的基本信息;要素集级元数据是总体详尽描述要素类的信息,让用户调用该要素前,明白是否满足其使用要求;要素级元数据是框架要素地理对象内容在数据库中的描述,作用是详细记录和查询元素的具体情况,知道元素是否符合使用要求[7]。

Oracle+ArcSDE+Geodatabase 地理数据库技术系统,用于存储,管理和查询地理空间信息[8],Oracle作为后台数据库管理系统,ArcSDE 作为Oracle 功能模块的外部扩展,应用程序接口由用户通过引擎操作[9],基于ArcSDE 空间数据引擎和Geodatabase地理数据模型空间数据库,实现地理数据模型对空间数据和属性数据的集成存储和管理[10],使用大型关系数据库管理的目的是:存储海量数据;多用户同时操作;恢复数据库;事物和空间数据无缝管理等[11]。

1.7 数据库存储

遥感影像具有多数据源、多分辨率、多时间、大数据量等特点,其存储和管理非常困难,限制了数据的充分利用[9]。空间数据库是一种用于存储、管理和检索空间数据的重要技术,地理空间实体元素包括空间位置、属性和时间[12]。它主要由矢量数据DLG,正射影像数据DOM 和高程模型数据DEM 组成。空间数据库是资源共享平台的核心组成部分[13]。

DLG 根据要素进行分层,组织相同比例尺元素以建立垂直关联,并在相同比例尺元素之间建立拓扑关系。按照分幅、分块或分区来组织和管理DEM和DOM,并建立多层金字塔索引结构,预处理后,数据库管理系统软件会将其存储,并在整个过程中全程控制入库[1]。

矢量数据的存储。ArcSDE 通过三个基本表在业务数据库Oracle 中存储和管理矢量数据。三个基本表分别是:业务表,元素表和空间索引表。进行数据编辑时,包括添加表和删除表。用户只能看到前台业务应用程序中的一张表,并且可以对其进行控制。其他表格由SDE 及其关联的业务表自动维护。对于用户而言,通过读写业务表来实现对空间数据的存储和管理。

栅格数据存储。栅格数据的存储与矢量的存储类似,不同之处在于,使用了不同的表,并且只有业务表对用户可见且可控制。其他表由SDE 与业务表关联并自动维护。ArcSDE 提供两种存储模式:RasterDataSet(文件)和RasterCatalog(目录),可以根据不同情况选择它们。为了减少存储空间并提高显示效率,ArcSDE在存储中提供了LZ77,JPEG 和JPEG2000 三种压缩方法。对于栅格数据,大多数都采用LZ77 这种压缩方法。

栅格数据的基本存储单元在ArcSDE 中是由栅格分区来体现的。通常根据客户端最小显示大小的1/4 设置值来确定块大小,并且还应考虑Oracle 数据块大小,以便在一个Oracle 数据块中存储尽可能多的栅格块。栅格数据通过ArcSDE 生成金字塔,确定在应用程序窗口上显示栅格数据的最佳分辨率,为提高栅格数据的显示效率,将生成的金字塔分块传输到应用程序[11]。

为了满足使用需求,在建立地理信息系统空间数据库的过程中,必须全面有效地掌握空间数据库的构建技术,只有在相关技术的支持下,才能进一步提高存储容量、数据信息和分析能力,增强空间数据库本身的兼容性,可以真正发挥空间数据库在地理信息系统中的作用,确保实现地理信息系统为社会服务[14]。

2 平台工作流程的后端管理

通过集中管理具有不同数据格式和分辨率的各种卫星数据,本数据库建立了统一的数据管理平台,以提供集中管理功能,如各种卫星产品数据的统一查询,显示和分发。目前,本平台支持高分一,二,三和四,以及风云,环境和中巴卫星资源数据入库。平台采用C/S 和B/S 相结合的架构模式,后端平台采用C/S 独立管理模式,前端平台采用B/S 网络管理模式。本平台可以进行数据检索,快速浏览、提取、统计、系统管理等功能,实现空间地理数据的分布式存储和管理,从而满足用户对分布式信息的需求,达到地理空间数据共享和互操作性(如图3 所示)。

图3 数据入库与管理流程图

2.1 数据接收

本平台的遥感影像数据基本上来自四川高分中心,一小部分是从其他渠道获得的。接收的数据包括外部接收的数据和自身生产的数据。新数据存储在要归档的存储磁盘数据中,等待入库。

2.2 数据编目

根据数据目录的总体设计,通过对新添加的数据类型数据样本的分析,管理员可以快速使用系统创建数据逻辑目录,同时,根据目录编码,自动创建存储磁盘数据归档区域中数据的物理存储目录。原始数据目录不受新添加的数据目录的影响,它具有动态扩展数据目录的能力,可以为新数据入库下一步战略编排做准备(如图4 所示)。

图4 数据编目

2.3 存储磁盘注册

通过磁盘将存储磁盘信息注册到数据库,根据各种数据归档自定义指定的存储空间,每次只能指定一个存储空间,当存储空间达到警戒线时,可以通过存储磁盘的方式来注册新的存储空间,从而实现动态扩展存储空间,即动态扩展数据存储空间的容量,为新数据入库的下一步策略编排做准备。

2.4 入库策略编排

接收到新数据后,通过对数据样本的分析,设计出需要入库数据的插件,进行插件开发,完成对数据库的注册后,再与数据目录信息和插件存储信息库相结合,编排进入数据库的流程,并把入库流程信息注册到数据库中,以进行数据归档服务调用,具备新增数据根据类型灵活适配自动入库能力(如图5 所示)。

图5 入库策略

2.5 数据归档

数据归档服务通过与库中的数据入库策略进行正则表达式匹配,将文件存储磁盘数据定期扫描到待归档区,当标准元数据数据库没有定义的时,可以通过新的方式丰富新的元数据信息,“定义元数据”标准,扩展元数据数据库,以实现自动扩展元数据管理能力。匹配成功后,在数据库中写入数据元数据信息,并将数据实体复制到存储器的数据归档区,通过后端管理平台,可以实时监视数据存档的状态,以检查传入数据的状态和日志信息。

2.6 数据查询浏览

通过设置数据目录、元数据信息、空间范围、空间数据同步服务配置等条件来制定数据检索策略,然后可以浏览检索结果的覆盖范围、元数据详细信息、快视图查看等。

2.7 数据下载

根据数据检索结果,将数据添加到购物车,生成数据下载任务,然后将数据从存储磁盘数据归档区域下载到本地存储。

2.8 存储

通过后端管理平台,实时监控数据库的运行状态、数据库维护、系统监控、数据库备份、恢复和优化等,对数据库文件,系统文件和日志文件进行备份,还原所有数据库的内容。

3 前端数据资源共享平台功能

前端平台属于B/S 体系结构,可以直接放在Internet 上。管理员、用户或访问者可以通过Web 浏览器管理或访问平台。客户端不需要下载,安装第三方软件或升级多个客户端,而仅需要升级服务器并更新版本。本管理平台可以部署在本地服务器上,可以在LAN 内访问,也可以部署在网络服务器上。B/S 体系结构具有强大的交互性,管理员可以通过一定权限控制来实现多客户端访问(如图6 所示)。

图6 平台前端系统管理

前端数据资源共享平台的行政区划、地名、水系,道路和边界(省界,区域界线,县界和乡镇界线)是基本的地理信息,属于矢量数据。数据库中每个实体的属性内容具有与实际管理区域相对应的唯一代码,通过代码关键词,建立各比例尺矢量数据间的关联[6]。本平台通过WEB 浏览器直观地显示空间数据,并可以执行基本的地图操作,例如放大,缩小、全图、漫游、刷新以及快视图,拇指图显示等(如图7 所示)。Hawkeye 是WEB 浏览器中地图操作的基本功能。就像从天上俯视一样,鹰眼可以查看整个地图框中显示的地图的位置。当前窗口更改时,鹰眼将相应地自动更改。鹰眼与当前窗口联动漫游,可以通过改变窗口在鹰眼中的位置来更改主窗口的地图显示区域(如图8 所示)。在多源异构数据库的基础上,可以通过WEB 浏览器直观地显示各种统计报告。

图7 平台首面

图8 鹰眼显示

3.1 检索空间数据

ArcSDE 技术解决了GIS 空间数据与关系数据库之间的有效交互,并提供了渠道和技术支持。

传统的文本索引技术是早期的图像检索方法的基础,将内容手动注释成一系列关键词,并对关键词进行索引,并将图像数据放入文本检索系统,查询操作基于图像的文本描述,进行图像的精确匹配或概率匹配,这种通过匹配来描述图像中的字符,并提供检索结果的方法,称为“单词查找图形”,这种检索方法称为基于文本的图像检索技术,也称为基于标签的检索或基于关键字的图像检索[15]。

作为空间数据库管理软件,ArcSDE 支持超大型空间数据库管理,并且在网络环境中对多用户空间数据的访问做出快速响应。本平台采用ODBC 接口,用户可以访问空间地理数据,而不必担心实际的存储位置、模式、数据结构和其他实际问题。

空间数据索引:空间索引是数据存储在介质上的位置的描述。因此,系统设计人员必须记录文件和数据在磁盘上的位置,通过一些计算来取代磁盘存储器的漫无目的访问,以提高系统的效率,尤其是GIS 涉及各种复杂的大量数据时,索引为处理效率,提高系统数据采集效率至关重要。空间数据库引擎的最显著特征是它对多用户操作的支持,而多用户操作中,并行处理同一空间地理数据时数据的一致性,是空间数据库引擎的实现目标。只有确保数据的一致性,获取的空间和地理数据才能成为可用数据,而不是垃圾数据。总之,不难看出,空间数据库引擎在GIS 中起着重要的作用,是核心、关键的组成部分[16]。

本平台目前覆盖甘孜藏族自治州约5T 遥感卫星图像数据,共8629 个景,估计每年将增加约2T新数据。快速,准确地在海量空间数据库中查找或检索所需图像是一项非常重要的技术。通过输入关键字或设置检索选项可以快速定位数据。本平台的数据检索类型包括目录检索、元数据检索、地名检索、经纬度检索、空间检索和时间检索。目录检索:通过设计的信息资源目录树,可以直接找到相应的资源目录,浏览目录系统下的特定数据,并通过目录快速定位数据;元数据检索:根据提交的查询条件,可以从应用系统数据库中查询合格数据,并可以快速定位到合格数据;地名检索:根据输入的地名信息,结合数据库中存储的行政规划数据、地名数据、空间专题数据字典进行匹配查询,检索所需数据;经纬度检索:根据纬度范围输入四个经度角点的坐标,可以快速检索相关数据;空间检索:通过鼠标操作和交互方式设置矩形空间范围,并结合元数据信息进行空间计算以检索相应的数据;时间检索:根据数据的生产时间执行匹配检索。在实际应用中,上述六种检索方法通常不是单独应用,而是几种组合使用,可以极大地支持空间数据的查全率和查准率。(如图9 所示)

图9 行政区检索示意图

3.2 数据调用

平台的架构模式是框架,入库的数据是灵魂。栅格数据和矢量数据是空间数据库中两个最重要的数据模型。两种数据模型是互补的,能够有机地集成图像数据,可以将栅格对象数据类型表示为卫星图像数据文件,也可以将矢量对象表示为卫星空间范围,并且可以将通用数据类型表示为其他辅助元数据,并提供统一的图像数据访问端口。

3.2.1 检索方法1

通过前端数据资源共享平台WEB 浏览器,进入数据中心界面-卫星图像,从上到下可以选择行政管理区域、数据类别、卫星类别、传感器、生产、采集、入库查询时间等条件,单击“查询”,在新窗口中可以查询到对应的数据(如图9 所示)。

3.2.2 检索方法2

可以根据纬度、经度,数据类别、卫星类别、传感器、生产、采集、存储时间等查询条件(如图10 所示)。

图10 经纬度检索示意图

3.2.3 检索方法3

选择行政区划条件后,可以查询框选择区域。用鼠标单击框选择按钮,然后在左侧框中选择区域(如图11 所示)。

图11 矢量检索图

由于大量的空间数据,为了便于筛选,可以使用数据的缩略图来直观地帮助确定是否需要下载空间数据。应用以上三种组合查询方法,点击相应的数据详情,可见卫星识别、传感器数据、生产时间、产品类型、数据采集及开始和结束时间、相应的经纬度、名称、属性、存储时间等,根据云量覆盖及覆盖景量进行筛选(如图12 所示)。

图12 空间数据属性图

平台数据下载。数据分发过程(如图13 所示)在检索目标数据选择后,在购物车中并创建订单,经管理员审核(如图14 所示),可以把系统数据库中的数据以文件形式存放于本地,通常是一个数据包,包括卫星遥感数据,基本地理信息数据,以及其他文档、报告等(如图15 所示)。

图13 数据分发业务流程图

图14 订单审核

图15 数据下载图

3.3 平台数据统计

统计是数据管理和数据量预测的基础,可以通过WEB 浏览器直观地查看统计信息。本系统通过统计在一定时间内用于卫星遥感数据和产品数据的存储和下载数据量,并以表格形式显示,从而支持自动生成统计报告。可以对统计报告的浏览进行分类和显示,并且可以在存储和下载中查询统计信息。统计数据可以用表格、条形图、饼图和地图覆盖率表示,表格还可点击“导出”进行数据导出(如图16 所示)。

图16 数据统计管理

4 发现问题解决办法

4.1 系统启动

目前,该平台的前端和后端是独立的,并且分别使用多个批处理程序和应用程序来启动。服务器关闭电源并重新启动后,需要专业技术人员登录平台服务器并手动操作该服务才能启动,有时可能会导致服务启动失败。

解决方案:优化平台功能,通过程序升级将自启动服务设置为批处理程序,并将EXE 程序注册为Windows Server 系统的服务,从而实现与服务器同时启动相关服务和应用程序,并确保平台的连续工作和平台的稳定性。启动后添加EXE 程序。

4.2 数据入库与更新

卫星数据入库过程是将数据从高分四川中心复制到本地服务器的相应文件夹中。平台后端打开扫描入库批处理流程,自动扫描文件夹下的数据,然后根据数据格式进行入库操作。现有数据更新缓慢,遇突发情况时难以及时更新数据。

解决方案:根据高分辨率对地观测系统重大专项卫星遥感数据管理暂行办法,公众可以直接使用公开可用的数据。对于所公开的高分辨率光学数据,主要产品的空间分辨率不超过(大于或等于)0.5m;对于所公开的高分辨率数据,初级产品的空间分辨率不高于(大于或等于)1m。具有与机密性相关的高分辨率光学数据的初级产品的空间分辨率优于0.5m。高分辨率数据的主要产品的空间分辨率优于1m。具有高分数据且包含机密信息且涉及敏感区域和敏感期的主要产品应根据国家保密法规进行分类。部分公共数据可以与四川高分中心连接,并可以开放相关接口。本平台将定期或不定期直接从高分四川中心平台获取数据,并且可以通过分类存储介质在本地复制和导入数据。同时,定期进行数据更新以确保数据更新的频率。制定在紧急情况下临时获取最新数据的过程和方法,以最大限度地确保用户的需求和对数据的响应。

5 结论

“高分” 不仅是一个项目,也是一个重大的工程,它是中国遥感应用发展的重要阶段,以“甘孜州高分辨率对地观测系统数据资源共享平台”作为军民融合特色的技术推广应用示范平台,用于防灾与减灾,资源与环境,公共紧急事件、国家安全、土地调查与利用,水利和林业资源监测等,特别是在牧场确权,防灾减灾方面,以及其他行业,起到了积极支持区域和加快推动空间信息产业化发展的示范应用。因为地广人稀,无人区占比面积大,因此,遥感数据量也大,“平台” 的成功建设和推广应用模式,有利于西部地区、边远民族地区各相关行政区遥感资源的搜集和调用,同时对本地缺乏地理测绘专业人员,又有遥感图像应用的需求,我中心利用平台的资源,既可以服务本地,也可培训人员对遥感图像基础加工。平台的建立,将为本地区经济社会发展,为政府现代化治理能力提供技术服务和支撑。

猜你喜欢
空间数据检索数据库
数据库
数据库
专利检索中“语义”的表现
元数据驱动的多中心空间数据同步方法研究
数据库
数据库
基于文件系统的分布式海量空间数据高效存储与组织研究
客户端空间数据缓存策略
多源空间数据同名实体几何匹配方法研究
国际标准检索