政务数据资源实时交换总线技术实现

邱亮亮 李锦芝

摘要：本文概述了政务数据资源实时交换总线技术，分析了总体技术思路，研究了功能模块设计。

关键词：政务数据资源；实时交换；总线技术

中图分类号：TP393.09 文献标识码：A 文章编号：1007-9416（2018）07-0164-02

《国务院关于印发促进大数据发展行动纲要》指出大数据应用能够揭示传统技术方式难以展现的关联关系，推动政府数据开放共享，促进社会事业数据融合和资源整合，将极大提升政府整体数据分析能力，为有效处理复杂社会问题提供新的手段。建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制，实现基于数据的科学决策，将推动政府管理理念和社会治理模式进步，加快建设与社会主义市场经济体制和中国特色社会主义事业发展相适应的法治政府、创新政府、廉洁政府和服务型政府，逐步实现政府治理能力现代化。

1 政务数据资源实时交换总线技术概述

在大数据背景下，政府数据要充分开放共享，深度整合，智能化分析挖掘，才能达到提升价值，有效利用的目的。传统的政务数据共享交换系统通常采用批量、定时的数据采集和数据共享技术，按照预设的共享交换时间从数据生产系统提取数据，成批交换到一个中心节点，然后在另一个预设时间从中心节点下发到数据消费系统。对于政府部门间共享交换数量量大，任务量多的城市往往需要避开业务繁忙时间，例如设定下班后的时间作执行数据共享交换任务。在此模式下数据共享交换的更新周期比较长，通常从生产系统形成新数据到消费系统取得数据需要2到3天的时间，这种延时幅度已严重制约跨部门业务的发展，特别是跨部门的联合审批，联合监管等业务，迫切需要找到更佳的数据共享实现模式。

2 总体技术思路

2.1 实现原理

政务数据资源实时交换总线的整体架构是显式分布式架构，消息生产者producer、消息分发者broker（服务端）和消息消费者consumer都可以有多个。 消息生产者Producer，消息消费者consumer实现消息总线注册的接口，数据从消息生产者producer发送到消息分发者broker，消息分发者broker承担一个中间缓存和分发的作用。 消息分发者broker分发注册到系统中的消息消费者consumer。消息分发者broker的作用类似于缓存，即活跃的数据和离线处理系统之间的缓存。客户端和服务器端的通信，是基 于简单，高性能，且与编程语言无关的TCP协议。

在分布式消息总线的支撑下，结合数据接口的敏捷感知同步微服务，实现对业务数据变化及时感知，批量、实时地快速同步。总线作为主数据中心与各二级数据中心或委办局业务系统之间通讯的集成业务平台，它将基于中间件平台，支持跨平台系统连接，实现主数据中心与二级数据中心、与各业务系统、业务系统与业务系统之间数据的交互和通信，体现整体系统多层结构的思想，是各系统通信的核心。

针对政府各委办局业务系统的业务处理特点，信息总线可以可以制定相可以的处理流程，确定有关信息的传递机制，例如，传递的路由规则和优先级。通过独立的监控模块，可以监视信息总线上信息的收发，并有利于集成和测试的需要。

2.2 业务逻辑处理

（1）信息总线可以支持灵活的消息路由设定，以体现业务模型中的信息分发规则。信息总线可以负责消息的分发业务逻辑，各子系统可以不用关心消息的路由，信息总线可以可动态调整路由配置，無须重新启动生产系统或修改任何已连接的系统。（2）为保证业务消息的准确无误，信息总线可以支持能在消息分发过程中允许操作人员对消息作必要的校验，以确保信息的可靠和准确。（3）信息总线可以支持优先级机制，与业务逻辑相结合，使得业务上重要的数据可以在各系统间优先传送。相同优先级的消息可以遵循先进先出的处理顺序。可以具备消息有效期功能，有效期长度可以支持从数秒至无限的时间范围。一旦消息过期，可以从信息总线的永久存储中删除并记录详细日志。（4）为保护业务模型，保持模型的完整性，信息总线可以只处理定义的事件和消息。当收到未知类型消息时可以创建错误日志并向信息总线操作人员发出提示信息。（5）信息总线可以结合业务模型，提高消息的重用性，各种需要向多个系统发布的消息，可以将单一事件（消息）传送至单一或多个定制该消息的子系统。（6）信息总线能够结合工作流，有针对性的触发处理事件。在特定事件发生时，信息总线可以能够触发子系统以采取适当行动。（7）当一些内部事件发生时，信息总线可以能够触发相可以的可配置处理流程以可以对所发生的事件，例如消息日志文件超出配置的限制时，可以触发相可以的流程以对事件加以处理。（8）结合业务模型中的消息流，信息总线可以提供批量发送和即时发送两种消息分发机制。（9）可以用系统将通过信息总线访问主数据中心，信息总线组件可以提供必要的系统间安全保障，包括系统级验证、系统消息访问控制、对关键敏感数据加密、实时系统激活/禁用等。

2.3 可维护性

信息总线是可维护的，并且可以具备易于分析、变更、测试且稳定的特性。可以提供一个结构模型和多种辅助工具包。为确保信息总线具有较强的可维护性。

3 功能模块设计

3.1 信息总线监控管理

信息总线可以有对其性能进行监控和管理的能力。信息总线的响可以时间参数将考虑为合同范围指标，其响可以速度不能超过用户可容忍范围，平均时间不超过3秒。性能监控/管理作为需求的一部分，可以满足下述要求：

（1）性能管理可以支持实时优化。通过消息追踪记录和事件日志监控追查异常情况。（2）为确保通过负载分布以达到更好的性能表现，信息总线可以支持多服务器分布式配置，同时动态均衡处理所有连接请求。（3）为监控和优化信息总线的性能，信息总线可以详尽保留各种实时统计信息。（4）为防止恶意进程对信息总线处理和性能的干扰，信息总线可以内嵌可配置的保护功能，以阻止恶意进程的攻击。

3.2 信息总线接口管理

3.2.1 SDK接口

分布式消息总线包含一个软件开发包（SDK）提供可以用用于消息生产者、消息消费者的编程接口（API），以满足集成扩展业务需求。SDK可以具备下列特性：

（1）支持各种业界主流的程序语言，如C#，C++和Java。（2）支持各种业界主流的服务器平台技术，例如微软Windows系统、常见Linux系统等。（3）提供负载均衡的连接配置方式，并且具备丢失连接自动恢复的容错能力。（4）提供简单的接口实现方案和完备的文档资料。（5）可以为实施中的子系统提供信息总线内部的事务控制功能。（6）支持消息历史记录功能，并且可以配置其保存时间。

3.2.2 适配器方式

对于需要与主数据中心（二级数据中心）建立连接的子系统，在不能使用SDK修改其系统的情况下，信息总线可以提供适当的适配器以支持与这些现有系统的通讯接口，从而允许这些子系统与信息总线平台有机集成。信息集成系统执行WS-Security的规范，实现信息集成系统信息传送过程的安全，有效。通常来说，安全认证分为两个方面，一方面是客户端子系统调用接口时的用户认证，客户端子系统通过指定用户名、密码，或者装载指定的数字证书，达到用户认证的目的。另外一方面在有必要时可以对信息的内容进行数字签名，保证信息在传送过程中的安全性。

3.3 数据整合

（1）数据整合是把在不同数据源的数据收集、整理、清洗，转换后加载到一个新的数据源，为数据消费者提供统一数据视图的数据集成方式。（2）数据整合（Data Consolidation）的优势是经过了数据校验和数据清理，使数据更加真实，准确，可靠。（3）共享数据全流通体系除了能实现平台系统各个节点之间的信息交换外，对于各可以用系统产生的数据整合也是重点解决的问题，在业务数据交换过程中完成数据整合是一个经济、高效的方式。（4）利用交换标准，在数据交换过程中实现数据中心的数据整合，降低数据中心与各数据源系统之间的耦合度，支持非标准化的系统接入，最大限度的降低各数据源系统的改造量，实现自动化的数据整合利用。（5）消息总线本身并没有包含数据整合功能，为了统一管理及监控，数据整合功能将统一封装成“微服务”，形成“数据整合微服务”。（6）分布式消息总线将结合“数据整合微服务”、“数据敏捷感知同步微服务”，实现数据整合的数据整合规则、整合任务管理、整合任务监控等功能。

3.4 数据分發

在共享数据全流通体系中，消息总线本身并已经包含数据分发功能，再通过各委办局的节点，安装数据敏捷感知微服务，配置访问业务数据库参数，在信息总线支撑上，实现对业务数据变化及时感知，批量、实时地快速数据同步分发。各委办局可安装多个数据敏捷感知微服务，可对应多个本委办局的多个业务数据库。各节点可按需建立实时感知、响应、反馈链条。

3.5 消息管理

分布式消息总线的整体架构是显式分布式架构，消息生产者producer、消息分发者broker（服务端）和消息消费者consumer都可以有多个。消息生产者Producer，消息消费者consumer实现消息总线注册的接口，数据从消息生产者producer发送到消息分发者broker，消息分发者broker承担一个中间缓存和分发的作用。消息分发者broker分发注册到系统中的消息消费者consumer。消息分发者broker的作用类似于缓存，即活跃的数据和离线处理系统之间的缓存。客户端和服务器端之间的通讯采用请求/回答的方式。

4 实践探索

广州市安全生产监督管理局与广州市工商局消息总线对接应用。根据广州市安监局的企业安全生产监管业务需要，对接广州市工商局的企业基础信息库，构建实时数据同步总线，实现了企业基础数据实时同步，有效提高了数据的及时性，同时实现了数据同步的透明化监控，为数据供需双方单位建立起高效的数据流通与管控手段。

5 结语

文章通过实时点对点的数据共享交换，最大限度缩短了数据提供者数据共享者的交互时间，把传统数据流通机制上需要2-3天进行的数据交换缩短到200-300毫秒，有效提高了数据的及时性，使政府的跨部门信息共享和业务协同更为高效。