昆明市环境数据中心平台的建设思路与应用实践

2015-05-30 10:48周洁张冰
华夏地理中文版 2015年8期
关键词:数据服务

周洁 张冰

摘 要:文章针对昆明环境管理信息存在交流共享难问题,提出利用先进的SOA构架思想,面向对象的技术方法,构建昆明市环境数据中心平台,实现了全市环境数据的统一管理和数据共享,促进了各部门的业务协同。从平台设计原则、技术路线、总体构架、数据建模、平台建设几方面进行了阐述。

关键词:环境数据中心;领域数据模型;元数據;数据服务

随着环境问题的日与突出,环境管理任务不断加重,环境信息化建设已成为提高监管效率必要手段。昆明市环境信息化建设始于2000年初,经过多年建设已有来自国家、省和本局开发建设的多个业务管理信息系统,积累了大量环境管理、监察、监测等方面的基础数据。然而,这些系统多以满足各部门专用业务功能而建,因开发时期、平台、标准不统一,形成多个“信息孤岛”,造成系统之间数据难以交流共享,数据重复分散,难以利用,不能为管理决策提供有效的信息支撑。为改变信息不畅通、数据难交流的现状,顺应新时期环境管理需求,推动信息资源共享和业务协同。昆明启动了环境监控指挥中心项目建设工作,并按照“统一规划、统一标准、资源共享,分布实施”的建设原则,分期逐步完成,其中环境数据中心平台是整个项目实施的基础和核心,为保障项目的可持续推进,选择利用先进的SOA构架思想,面向对象的分析方法,构建昆明市环境数据中心平台,实现全市环境信息的集中管理和统一发布,促进部门间的信息交流与共享,为昆明市环境监控指挥中心系统建设、环境管理和决策提供有力支撑。

一、总体架构

按照SOA的体系构架思想,将数据中心划分层为四层,各体系,即系统支撑层、数据整合正、数据应用层,即环境信息化标准体系和系统运维保障制度。

第一层是系统支撑层,由网络、服务器系统、存储系统、操作系统,以及安全系统组成。

第二层是数据整合层,将分散在各部门业务系统数据库中的数据收集起来,形成主数据库,各业务系统形成的业务数据库和文献数据库,通过ETL进行数据整理和转换,在各部门节点形成众多个前置交换数据库,并定期自动提交到数据中心平台的主数据库中,实现源数据到目的数据的映射、转换和数据移动;利用编程工具用程序来实现复杂(如空间数据和实时数据)的数据转换、加载和整合过程,实现对各种关系型和非关系型数据的抽取。

第三层是数据共享层,建有主数据库、信息目录和元数据库,在数据库管理系统之上,提供目录服务,数据查询、数据交换、数据格式转换等信息共享服务。数据共享层的各种服务将通过部署在数据中心平台和各部门节点的应用支撑环境向上一层的各种信息服务系统、决策支持系统、业务应用系统提供。在数据共享层,各种数据的上载、数据库的维护、数据的备份等由主数据管理模块完成。

第四层是应用层,本项目的主要应用功能都将在这一层体现,包括信息服务、决策支持、业务应用三类系统,这些系统将利用第三层提供共享服务,实现各自的功能。信息服务系统由数据中心平台上的智能搜索系统和各部门节点上的信息服务系统组成,通过门户向用户提供环境相关指标的查询和浏览。决策支持系统由数据中心平台上的综合分析系统和各部门的专业分析预测系统组成,建设数据仓库和面向主题的数据集,部署统计分析、在线分析、模型分析等,通过门户以分析类指标的形式向用户提供分析预测结果。业务应用系统主要部署在各个应用部门,由各部门分别建设的众多应用系统组成。

第五层是展现层。展现层有两大功能,一是作为数据中心系统的入口,以门户网站形式向用户表现,将提供个性化界面、用户管理、单点登录、内容管理、信息发布等公共功能,二是封装应用层的各种系统,提供统一的用户界面。

二、数据中心建设

(一)数据标准体系建设

昆明市环境数据中心平台秉持的信息标准化原则、理念和成果是项目的建设依据,也是推进信息化建设的技术支撑和重要基础,统一标准是实现业务联动、完成相关信息统筹规划和资源共享的前提条件。本项目主要编制了以下标准:

数据组织标准:包括数据元素标准、信息分类编码标准、概念数据库标准和逻辑数据库标准等。

数据采集与传输标准规范:主要是分成三大部分的内容,一是各类基础地理数据的采集,二是各类实时环境监测数据的传输、三是针对大量的业务数据库采集。

数据接口规范:数据接口按数据传输的实时性分为数据实时传输接口和数据批量传输接口。数据实时传输是指数据采集后立即通过传输接口程序入库,数据批量传输接口是指通过程序自动或人工启动程序并有相应的设置,把要入库的数据通过整理后入库。

数据交换规范:包括“落地”方式的信息交换与“半落地”方式的信息交换两种规范。

(二)领域数据模型设计

由于环境信息存在多源异构特性,而且随着环境保护的发展业务也在不断变化和扩展,因此在设计领域数据模型的时,采用以环境管理为中心、业务为主线、完整表达信息为目的、标准为基础、面向对象的分析思路,逐步扩张的数据建模、多源数据紧密结合的方法,在对昆明市环保局大量的业务数据和现有系统进行分析梳理基础上,将环境领域数据分为空间数据集、业务数据集、环境数据集、影响环境数据集和支撑数据集,采用元数据技术分别建立若干相对独立的数据集,将需要表达的各种环保对象进行分解,基于元数据组织出全域数据模型。

(三)主数据库建设

按照昆明市环保局总体业务范畴,将环保局主体业务分为:建设项目审批业务、许可证审批业务、排污申报业务、总量控制业务、在线监控业务、监察执法业务、生态规划业务、局内项目管理业务、应急管业务理等类,根据领域数据模型及数据组织规范进行主题数据组织。

主题数据库会不断累积增加,其管理内容也会随之增多,其内容包括但不限于已有的各单项业务主题(环评、许可证、排污申报、移动执法等)和综合业务主题(污染源一源一档、各类管理台账、污染源综合管理、环境质量等),同时能够根据业务需求实现对新建主题的结构和内容更新维护管理。

(四)数据中心管理平台

数据中心管理平台基于元数据建立,元数据是关于数据的数据,是对数据中心项目中主题数据库和数据集的科学描述和规范化描述,它贯穿环保局数据中心系统构建、运行和维护的整个生命周期,在环保局数据中心系统构建的整个过程中,数据源分析、数据交换过程、数据库结构、数据模型、业务应用主题的组织和前端展示等环节,均需要通过相应的元数据进行支撑。

数据中心管理平台通过构建元数据管理系统,实现对元数据的规范管理,健全统一口径的元数据体系,响应数据中心建设的完整性、准确性、共相性;消除不同系统交互困难的信息壁垒;实现统一组织、统一管理的单一入口,保证信息的有效统一;元数据管理体系的建设,形成对应用和数据交换的有效支撑,为系统集成、资源整合、信息共享提供基础。

(五)数据交换平台

数据交换平台主要采用东方通数据交换中间件,集成环保局现有的各类电子化信息、能够统一完成数据中心与环保局各部门和下级部门之间的信息交换,整体上支持“一套标准、两种机制、三套软件”,其中“一套标准”指环保数据组织与交换标准;“两种机制”需要建立两种数据集成和交换的机制,一种机制是数据能够全部迁移到数据中心平台,另一种机制能够支持对等的数据共享,能够协调数据中心与外部信息,物理上相对独立,从逻辑上是一个数据整体;“三套软件”是指为了能够获取相应的数据源需要提供的数据库访问中间件,GIS平台访问中间件和数据中心集成与交换平台软件。

三、特点与优势

(一)特点

先进性:环保数据中心采用基于J2EE规范,结合成熟的SOA面向服务架构等先进的设计理念,先进的技术支撑,构成了优良的环保平台,为环保业务的优化组合奠定了坚实的基础。

扩展性:环保数据中心提供一个应用框架和一系列简便易用的建模工具,在整体应用框架下,将各部门垂直的单项应用系统整合起来,实现信息共享;在建模工具的帮助下按照业务需要规划和构造系统,将个性化监管业务需求和独特业务模式部署到应用框架中,满足“可持续发展”的根本需求。

标准化:环保数据中心在数据来源、编码、技术实现三方面实现标准化。系统的数据来源:污染源自动监控数据、企业申报数据、项目审批数据、排污许可数据、排污征费数据等,都需要通过一定的规则和标准进行校验、关联和整合,确保数据的实时性,有效性和准确性,为环境管理和执法提供依据;系统编码遵守信息分类编码标准、数据通信规约和系统安全保密规范等,各类标准的执行顺序为:国际标准、国家标准、环保部标准、省厅标准、市局标准;系统采用的各种框架、平台均符合国际标准。

安全性:环保数据中心采用基于智能密码钥匙的身份认证、多级的权限管理、详尽的日志审计等,确保信息系统安全、可靠地运行。

(二)优势

昆明市环境数据中心建设,紧紧围绕环保管理业务,采用横向集成,纵向贯通方式,一方面建立数据中心项目的信息标准、规范,实现环保信息系统的逐步统一、集中,实现数据中心与各信息系统的顺利对接。另一方面,通过对数据进行深入分析,辅助监管部门作出正确的决策,实现纵向应用。通过数据中心的决策支持系统对环保业务提出更高要求,加快实现转变经济发展方式,推动经济健康持续的发展。

建立環保数据中心从两个方面体现了集约化的思想优势,一是数据的集中,二是业务应用的集成。通过对数据的集中管理与分析,可以有效节约数据管理的成本,提高数据的应用价值;通过对业务应用的集成,增强各部门的协同能力,可以有效的提高整体信息化系统的利用率;借助业务成本的降低和业务系统利用率的提高,从而达到提高整体经济效益的目的。

四、结论

昆明市环境数据中心的建设,从数据分析和系统构架两方面入手,创新性的提出了采用面向对象技术组织数据,用SOA构架集成数据和应用的建设方法,实现了数据与业务的分离,提高了数据的重用性和扩展性;解决了信息孤岛问题,实现了数据的集中和统一管理,业务协同和信息共享。经过多年的具体应用,目前昆明环境数据中心已汇集了全市两级和各部门的环境业务管理、监察、监测和科研等多种信息,为昆明数字环保建设提供支撑,也为大环保信息共享和今后的智慧环保建设奠定了基础。

参考文献

[1] 刘海涵.重庆环境数据中心发展规划与思考重庆[J].环境与持续发展,2013(04).

[2] 孙强等.基于信息资源规划的流域水环境数据中心涉及与实践[J].中国环境监测,2013(02).

[3] 王世海.辽宁省环境数据中心建设探讨[J].绿色科技,2014(06).

猜你喜欢
数据服务
大数据时代高校图书馆数据服务的困境及优化路径
地理空间大数据服务自然资源调查监测的方向分析
基于数据中台的数据服务建设规范研究
面向研究需求的数据服务体系构建与思考
NetApp将提供无缝混合多云体验
面向科研用户的嵌入式智慧数据服务模式研究*
大数据环境下我国大学图书馆数据服务调查分析
数据服务依赖图模型及自动组合方法研究
大数据服务深度需求与SOA协作集成的异构系统融合机制
如何运用税收大数据服务供给侧结构性改革