基于AESB的数据运维管理平台的设计

朱 欣，项闪飞，蒋 亮

(1．苏州市职业大学 信息中心，江苏 苏州 215104；2．江苏银狐信息技术有限公司 研发部，江苏 苏州 215021)

《教育信息化十年发展规划(2011—2020年)》等文件的发布，推动着智慧化校园的发展。高校信息化的发展特点从强调业务流程向服务的信息化转变，其中最重要的是向数据化的方向转变[1]。数据运维管理作为数据支撑平台和数据服务平台的数据保障，起着重要的作用。目前，各高校的数据共享及交换平台[2-4]主要采用ETL工具(Kettle、ODI等)和企业服务总线(enterprise service bus，ESB)两种方式[5-6]进行数据交换。ETL工具，如Kettle、ODI只有日志管理，缺少可视化的Web监控，不利于数据采集和交换且没有注册数据服务的功能。金蝶企业服务总线(apusic enterprise service bus，AESB)可以提供可视化的监控界面，本研究基于AESB的数据运维管理平台，在现有的AESB运行日志上进行二次开发，增加数据采集、数据服务等功能，构建新的数据运维管理平台。

1 设计思路

2016年苏州市职业大学改造了已有的以ODI为抽取工具的数据中心，建立了基于AESB的共享数据平台[7]，该共享平台支持广泛的数据源，集成了学工系统、宿管系统、就业信息系统、教务系统、图书系统、迎新系统、离校系统等全校多个业务系统。根据高校业务数据特点，该共享平台将数据分成学生、教师两个主题库，以及科研、消费、上网等多个专题库，在共享数据中心的基础上，分别建立数据分析系统(消费分析系统和上网分析系统)、数据服务系统、数据运维系统。ETL工具，如Kettle、ODI等缺少服务注册的功能，不能进行服务调用日志的分析。以ETL工具为基础的数据中心管理平台缺少对数据服务日志的分析功能。本研究建立的数据运维管理系统，基于现有的AESB数据共享中心，面向信息中心管理员，用于数据交换，数据资源和服务资源的监控，数据采集和加工的状况统计，以及各类日志的分析等，降低了数据运维难度，提高了数据在信息化中的作用。

数据运维系统的建设目标如下：①对数据资源的抽取状态、数据服务调用状态进行监控。②对平台的资源进行实时监控。③及时处理各类异常情况。④对监控的全部事件进行梳理并形成各类日志，便于后期查找审计。⑤将监控数据以各类图表形式展现出来。

2 总体设计

2.1 ESB介绍

ESB是传统中间件技术与XML、Web服务等技术结合的产物。ESB的主要功能包含协议转换、消息传递、消息转换和服务路由等。ESB一般用于内部业务系统较多的行业，具有低耦合、实时更新、为终端用户提供Web服务的特点[7]。

AESB提供了一种开放的、基于标准的消息机制，通过简单的标准适配器和接口，完成粗粒度服务和其他组件之间的互操作，能够满足大型异构企业环境的集成需求，可以在不改变现有基础结构的情况下让不同技术实现互操作。作为一个完整的企业服务总线产品，AESB具备连接、中介、架构、编排、设计以及监控六方面的能力。AESB提供了界面化的设计工具和监控平台，以可视化的方式提供全过程的支持。

2.2 核心技术

运维管理平台采用数据交换工具AESB V9．0，采集学校各个业务系统的业务数据，并对数据进行清洗加工、关联整合、分区存储，形成校级共享数据中心。相较于其他产品，AESB提供了全面详细的日志信息，包括流程日志、数据传输统计日志、文件传输日志、操作日志等，能够清晰完整地记录系统的运行管理信息。

2.3 架构设计

运维管理系统主要是将采集加工的数据(学生、教师、教务、宿管等)、数据服务系统(将业务部门的数据需求封装成服务接口，以服务目录的形式提供)的调用情况和数据分析系统的调用情况，通过接口传递给运维管理系统。运维管理系统整体架构图如图1所示。

图1 运维管理系统整体架构图

3 功能设计

运维管理系统主要包括资源(数据和服务)动态监控、流程监控、日志(数据采集加工和服务调用)监控、运维统计分析和常用配置(用户角色配置)等。

3.1 服务运行监控

数据服务资源和数据服务调用是数据运维管理平台的特色。服务运行监控是对数据服务过程进行全程监控，包括服务源状态、服务器运行状态、数据服务调用过程等关键环节。运维管理平台将内部 Java API 发布成 Web Service，并在资源交换共享平台的服务注册库中注册，将服务授权给数据服务系统使用。同时，数据服务系统可以根据自身的业务需求进行功能扩展。数据服务系统通过代理资源交换共享平台相关功能及自身扩展功能实现服务的注册、管理、监控等。服务调用模块架构如图2所示。

运维管理平台通过整合数据服务总线和统一数据交换模块，提供服务和数据的全方位管理和监控的统一UI展现，汇总各类资源(节点、适配器、流程、服务、数据)的告警信息，使用Web Service方式调用接口，达到统一监控和展现的目的，综合评判各类资源形成的运维事件，实现事件流程的智能分析与事件全生命周期的管理。同时该平台对产生的各类事件进行梳理，并形成完整的流程及记录，为信息化管理人员提供有价值的、准确的可用性信息。

1)服务源监控。 服务源包括应用共享数据库运行状态，系统通过一定的频率去尝试连接数据库，如果连接正常，则数据库在此段时间是正常运行的，否则连接异常。这里的关键是设定请求的频率时间间隔不宜过大。

2)服务流程监控。服务流程监控是对服务目录的所有服务状态进行管理，一旦发现服务异常，监控图的服务流程状态就出现异常标识，运维人员要及时干预，快速解决。

图2 服务调用模块架构

3.2 数据交换监控

数据交换监控主要是针对新建数据中心及各业务系统之间的数据交换过程进行全程监控，包括数据源状态监控、流程运行状态监控、数据采集和加工过程监控等。通过不同的颜色和标签标识数据交换状态，运维管理人员从全局的角度，清晰直观地掌握整个平台数据交换的状况，并对各类异常信息进行处理， 保证平台的健康运行。数据交换运行监控图如图3所示。

1)数据源状态监控。数据源包括前置数据库、接口服务和文件。对于前置数据库，系统通过一定的频率去尝试连接数据库，如果连接正常，则前置数据库在此时间段是正常运行的，否则连接异常。这里的关键是设定请求的频率时间间隔不宜过大。

2)流程运行状态监控。采集流程是通过AESB绘制的，数据存放在流程表里，系统读取流程表，获取流程的状态，通过可视化的页面进行直观展示，并对正常或异常状态加以区分，便于运维人员了解流程的状态。

3)数据采集过程。数据采集过程的运行状况主要是数据中心采集各业务系统数据源的错误数、更新数、新增数，并通过图表的形式展示出来。

4)数据加工过程。 数据加工过程的运行状况主要是数据中心缓冲库到主题库的情况，并将结果直观地展示出来。

图3 数据交换运行监控图

3.3 日志审计

日志审计统一管理数据支撑平台的日志信息，包括数据采集日志、数据加工日志、服务调用日志和异常日志。

1)数据采集日志。数据采集日志主要是记录数据采集过程中的正常日志，包括数据来源、数据源表、数据目标表、新增记录数、更新记录数、总数、成功总数、错误总数以及持续时间等。

2)数据加工日志。 数据加工日志主要是记录数据加工过程的正常日志，包括核心库采集加工日志、核心库结构变更日志、字段来源日志等。

3)服务调用日志。服务调用日志主要是记录数据服务系统中服务调用的数据，当数据服务被调用时，系统记录服务调用的过程，主要包括服务编码、服务名、服务提供者、服务消费者、调用时长、调用结果、调用流量等。

4)异常日志。系统同时会记录各类异常日志，包括采集异常日志、文件导入异常日志等，便于运维人员查找问题。

3.4 系统设置

系统常用配置模块提供系统常用的一些配置功能，包括用户管理、角色管理、权限分配以及菜单管理。IT 管理者可以管理接入用户的账号，分配用户的角色，并给予相应的菜单访问权限。

4 结论

本研究主要从数据运维系统的建设方案以及数据运维管理系统的功能特点，来描述数据运维服务平台的建设过程。基于苏州市职业大学已有的数据中心建立运维管理平台，该平台具有可视化的监控页面，易于管理和操作。在信息化建设应用中，该平台能够较容易地发现数据抽取、数据集成、服务调用中的问题，同时为数据分析系统和数据服务系统提供了很好的技术支撑。此外，可以在系统中加入自定义数据脱敏规则、主数据平台搜索引擎等功能，为后期搭建大数据集群监控平台提供支撑。