自然资源调查监测系统开发及关键技术研究

郭振宇 廖容升 李正强 陈 辉

(浙江省测绘科学技术研究院, 浙江 杭州 310023)

0 引言

近年来,我国大规模地开展了多种单向调查工作,例如,全国二次国土调查、森林资源八次普查、水利资源普查以及地理国情普查等[1]。在这些自然资源调查监测过程中,发现存在如下几点问题,一是各项自然资源调查监测工作来源于不同部门,标准规范不一致,导致同样一块土地,结果相互矛盾。例如，原国土资源部门认为是绿地,林业部门却认为是林地;二是没有宏观地对各项自然资源调查监测工作进行顶层设计,各个部门各自为政,导致“信息孤岛”[2];三是各自建立自己的调查监测系统,应用无法共享交换。随着自然资源部门的成立,自然资源调查监测管理工作已成为业务管理的重要工作之一,并趋向科学化、精细化、集中化以及统一化管理,因此,在现有业务系统的基础上,建立统一的自然资源调查监测系统势在必行。本文利用地理信息系统(geographic information system,GIS)、云计算、移动互联等先进技术,结合现流行的微服务技术框架,构建了自然资源调查监测数据库,搭建了自然资源调查监测系统,实现了自然资源展示、调查、监测和巡查等业务功能以及对外服务接口可兼容性、可扩展性和高并发性,以便更好地为自然资源管理提供服务,有效拓展业务需求[3]。

1 需求分析

1.1 系统承载的数据多源异构程度和数据量级别需求更大

根据自然资源数据体系分类,整合了多个部门的基础地理信息、土地、规划、地质、矿产、森林等数据资源,海量数据可达到千兆兆字节(petabyte,PB级)。这对系统进行数据处理、入库、展示、查询和统计等操作提出了更高的要求。

1.2 系统在功能和性能上需求更高

系统服务于自然资源调查监测工作,涉及浏览器/服务器模式(browser/server,B/S)端、服务器/客户机(client-server, C/S)端和移动互联网端,且需要和原有调查监测系统进行集成,承载海量空间数据的关联、调度、共享服务以及安全管理。这对系统功能和性能上提出了更高的要求。

1.3 系统在空间资源共享服务方面需求更高

系统服务于自然资源内部管理部门和其他政府部门,纵向上为省、市、县以及村镇4级自然资源部门提供应用,横向上为政府其他部门提供自然资源调查监测数据共享和交换。这对系统空间资源共享服务方面提出了更高的要求[4]。

2 系统设计

2.1 框架设计

系统基于微服务技术架构,实现从软硬件资源、数据资源、服务资源到应用层面的一体化设计,包括基础设施层、数据层、微服务层以及应用层四大核心层,各层按照一定标准规范相结合,从而为自然资源调查监测提供信息化支持[5]。系统框架设计示意图如图1所示。

图1 系统框架设计示意图注：图中，B/S为浏览器/ 服务器模式( browser/server) 端；C/S为服务器/客户机( client-server) 端；CPU为中央处理器(central processing unit)。

(1)基础设施层是利用云计算思想,将服务器、存储设备以及网络设备等软硬件资源,进行虚拟化,用云端管理软件对计算资源池、存储资源池以及网络资源池按需自动分配资源。

(2)数据层是系统应用的数据支撑,通过服务调用、数据采集、处理和入库,构建了自然资源调查监测数据库,包括基础地理数据、自然资源调查、监测和巡查数据以及文档资料数据等。

(3)微服务层是系统提高运行效率的核心,包括数据仓储接口、微服务应用、微服务管理和注册中心以及服务网关等内容。数据仓储接口一方面与自然资源调查监测数据库对接,完成数据读、写操作;另一方面向微服务应用提供统一的数据操作接口;微服务应用是将自然资源调查监测业务划分为细粒度的服务,部署在云端服务器中,从而实现服务集群;微服务管理和注册中心实现对微服务的发布、注册和管理;服务网关是将微服务应用对外映射,实现服务的负载均衡、访问控制、服务降级以及前后端路由请求转发等。

(4)应用层是系统调查监测业务窗口,包括C/S端、B/S端以及移动终端应用,并通过服务接口一方面调用其他业务系统,另一方面为其他系统提供数据来源。

(5)两侧是保障系统运行标准规范体系和安全运维保障体系。

2.2 数据库设计

自然资源调查监测数据库包括基础地理数据库、自然资源调查数据库、自然资源监测数据库、自然资源巡查数据库以及文档资料数据库等,数据库建设内容如图2所示。基础地理数据库包括大比例尺地形图、遥感影像、倾斜模型、地名地址等数据;自然资源调查数据库包括调查图斑数据、土地利用现状调查、土地整治调查、违法建设用地调查、矿产资源调查、地质灾害调查、森林资源调查等;自然资源监测数据库包括监测图斑数据、土地利用现状监测、矿区开采边界监测、耕地保护监测、森林林地破坏监测等;自然资源巡查数据库包括巡查人员、巡查路径、巡查任务、历史轨迹等;文档资源数据库包括自然资源调查监测过程中产生的图片、文本、视频等资料。

图2 数据库建设内容示意图

2.3 功能设计

系统搭建包括B/S端子系统、C/S端子系统和移动终端子系统3部分。B/S端采用Java开发语言,GIS相关开发采用ArcGIS API for Java Script;C/S端采用.Net平台结合ArcEngine;移动终端主要基于Android系统进行开发,GIS相关功能采用ArcGIS for Android API[6]。系统功能包括3部分,基于C/S端的数据编辑、数据质检和数据入库;基于B/S端的“一张图”展示、自然资源调查和监测管理、对外服务集成管理以及运维管理;基于移动终端的数据采集、任务管理以及日常巡查等。系统功能结构示意图如图3所示。

图3 功能结构示意图

3 关键技术

3.1 微服务技术架构

微服务技术架构是在面向服务架构(service-oriented architecture,SOA)的基础上进行升级,可实现系统功能水平、垂直拆分,形成多个微服务集。微服务集能够独立部署和运行,通过服务注册管理中心,实现负载均衡配置和路由控制[7]。因此,微服务技术架构具有部署简单、可兼容、可扩展、异构性强以及弹性大等特点,利用该技术框架进行自然资源调查监测系统的搭建,可解决海量异构数据的处理、多接口对接以及共享融合多等问题。本系统采用Spring Cloud技术服务框架,实现服务注册和发现、数据监控、配置中心、日志监控以及容错限流等功能[8]。微服务服务响应流程示意图如图4所示。

图4 微服务服务响应流程示意图

3.2 Redis分布式多级缓存技术

在微服务技术框架下,每个微服务接口需要与数据库进行交互,都会产生输入/输出(input/output,I/O) 操作。当系统出现高并发时,将容易造成数据库I/O 操作堵塞,导致客户端请求时间延长或者数据库宕机[9]。因此,为了降低数据库的I/O 操作,系统采用Redis分布式多级缓存技术来提高数据访问速度,将使用频繁的自然资源调查监测数据作为缓存数据蓝本,在此基础上建立服务器内存缓存,当数据访问时,可直接通过服务接口从内存中获取数据,从而减少了I/O 操作,提高了系统性能。Redis分布式多级缓存技术I/O 操作流程示意图如图5所示。

图5 Redis分布式多级缓存技术I/O 操作流程示意图

3.3 对外服务快速对接集成技术

系统一方面需要集成原有各部门的调查监测系统,从而形成统一的调查监测系统;另一方面需要为政府其他部门或者平台提供数据和功能服务。原有系统或者其他平台因技术限制,无法实现技术协同,难以实现集成或者扩展,即便有些系统集成了,使用效率也比较差。因此,本系统采用的Spring Cloud技术框架,利用网关服务实现了不修改外部服务任何代码的基础上进行服务集成,还可以根据接入服务数量的不同,采用不同的路由规则。对外服务配置如表1所示。

表1 对外服务配置示意表

4 系统实现

4.2 C/S端子系统

系统实现了自然资源各类数据的编辑、质检和入库工作,为业务办理提供数据支撑。数据编辑包括数据新增、修改、删除等操作[10],例如,对土地利用图斑数据点击“修改”按钮,可以修改图斑数据的调查人员、图斑面积、调查时间等属性信息;数据质检是对自然资源数据采集编辑完毕后,进行空间拓扑检查、属性完整性检查等,确保数据符合入库要求;数据入库由数据质检完成,点击“一键入库”按钮,自动进行数据入库操作。

4.1 B/S端子系统

系统实现了自然资源各类数据的“一张图”展示、自然资源调查管理和监测管理、对外服务集成管理以及运维管理。“一张图”展示实现了自然资源调查监测数据库的各类数据在统一参考坐标下叠加展示,还包括图层控制、多屏对比、卷帘控制、空间查询等功能;自然资源调查和监测管理实现了调查任务从创建调查和监测图斑、下发调查和监测图斑、调查和监测图斑信息填写、核实调查和监测图斑信息到调查和监测图斑提交全过程管理。对外服务集成管理是利用微服务技术框架,将原有的调查监测系统有效进行了集成,从而实现自然资源调查监测统一管理,即：调查监测任务统一创建、下发、调查和提交。运维管理是系统的后台维护功能,主要包括人员管理、数据管理、服务管理以及权限管理等。

4.3 移动终端子系统

移动终端子系统实现了外业调查人员接收调查监测任务、数据采集以及日常巡查等功能。移动终端子系统与B/S端子系统相互连通,可以快速接收上级下达的调查监测任务,并开展调查监测作业;数据采集是对调查监测图斑对应区域内的信息进行采集,包括图斑名称、图斑调查内容、图斑调查时间、联系人、调查人等信息,还要对图斑进行拍照和摄像,以保证获得现场第一手资料;日常巡查包括巡查任务和人员安排、巡查路径设计、历史巡查轨迹等功能,辅助调查人员进行日常巡查工作,确保调查监测区域全覆盖、无遗漏。

5 结束语

为了构建自然资源统一调查监测体系,实现自然资源集中、精细和高效管理,搭建了自然资源调查监测系统。本文阐述了系统建设的框架、数据库、功能以及关键技术。系统建成后取得以下几点效果,一是利用当前先进的微服务技术框架,实现了部门内多套调查监测系统的集成,且运行效果良好;二是统一了自然资源调查监测体系,实现了调查监测任务统一创建、下发、处理和上报全过程管理,节约了时间,节省了经费,提高了效率;三是系统实现了自然资源部门内部和政府其他部门的互联互通,数据可共享和交换,提高了数据的利用率。