南水北调工程数据中台架构设计与实践

谭宇翔，陈诚

（阿里云计算有限公司，江苏 南京 210000）

0 引言

南水北调工程调度运行管理系统承担工程运行管理主要核心业务，实时监测工情、水情、水质、图像视频等，为应对长距离输水、多形态工程设施、工程管理业务关联复杂导致系统建设更迭速度快的问题[1]，并进一步贯彻落实水利部“智慧水利”的决策部署，推进数据驱动发展的数字化转型战略规划，促进调度管理理念和治水模式进步，实现南水北调工程数据资源目录管理，提供统一的数据服务、分析能力，以数据流驱动业务，夯实智慧调水数据基础，本文在专有云服务平台基础上，协同业务中台微服务架构构建标准化、规范化数据中台，对接数据采集系统，应对业务应用系统信息孤岛问题，实现数据资源共享，沉淀数据价值，为有效挖掘数据价值及智能化应用提供支撑[2]。

1 数据分析

南水北调工程调度运行管理系统涉及工程监控、水量调度、工程管理等业务，业务数据采集来源包括以下内容。水情数据：以站点为基本单位，存放站名、站码、站类型等基本信息及水位、流量实时水情信息；水质数据：包含测点名称、采样日期、水温、PH值、溶解度、高锰酸钾指数、氨氮等内容；泵站工程属性：包括泵站名称、设计扬程、设计流量、最高站上水位、最低站上水位、最高站下水位、最低站下水位、站上防洪水位、站下防洪水位、装机台数、装机容量、建成日期；闸站工程属性：包括名称、编号、设计上游水位、设计下游水位、闸孔数；机电设备：包括泵闸站所管理的设备名称、编号、型号、数量、购价、生产厂家、购买日期、使用部门等及关联相应的文字、图片、视频资料；湖泊、河道、渠道等基础数据；统一用户数据；调度方案；合同；调水计划；政策法规；空间地理数据；视频采集数据；工程管理和监控数据。鉴于分批建设等历史原因，上述数据采集在数据存储及使用上存在以下问题：第一，标准化运维问题。数据分散存储在各个系统中，需要业务人员配合才能定位数据；数据多源汇聚，维护工作量大；同义数据存在多源多表现形式的问题；随着应用系统开发上线，数据运维能力需求将越来越迫切；第二，缺少统一管控平台。无论是存量或者增量数据都缺少统一的管控平台，数据随业务系统新建而新增，当系统废弃不用后，历史数据存在无法被读取使用的风险；第三，数据割裂共享难。办公、财务、档案、调度、工程管理、工程监控等业务因涉及不同部门，各个系统呈现“烟囱式”数据库，系统间数据互通难。与水利、国土、气象等外部数据交换、共享不够。缺少数据共享的全生命周期的数据统一管理；第四，数据价值无法体现。跨业务领域的数据挖掘及关联分析因数据共享难，无法有效挖掘数据价值并将数据价值化反作用于生产而提升运营管理和企业战略决策。

综上所述，需在技术层面上构建统一的数据平台来落实数据标准，实现数据共享，挖掘数据价值，帮助调水业务转型升级，从业务驱动走向数据驱动，体现数据的价值[3]。

2 数据中台设计

数据中台是指通过数据技术，对海量数据进行采集、处理、加工，统一标准和口径，再进行存储，形成数据中台资源层，进而提供全域高效服务，实现数据驱动业务。数据中台通过数字化转型管理思路建设一套全新的、科学的中台架构驱动管理提升，从局部规划设计向全局规划和顶层设计转变，逐步实现业务数字化。

本论文根据数据中台建设的最佳实践与企业数字化转型的成功经验设计南水北调工程江苏段调度运行管理系统数据中台，设计遵循全面建设“智慧调度、智能控制”的智慧水利建设思路，以业务服务为主线，在信息安全基础上，进一步打破“信息孤岛”，盘活融通数据资产、激活数据服务能力，促进“业务数据化、数据业务化”的正循环效应，解决不同系统间“信息孤岛”，实现数据共享，以数据驱动工程监控、工程管理、水量调度等业务，实现数据采集、治理、仓储、挖掘以及应用的功能，集中分析和展示监控安全运营管理，实现优化、经济运行，满足水源地、输水区、调水沿线供水、防洪、排涝、航运等业务需求。设计方案具体由四个方面构成：第一，数据中台基础平台。数据中台是构建数据中心的底座，通过基础云环境构建，形成包含存储组件、计算组件、分析组件的技术底盘，满足企业对数据全域融合存储、复合计算、实时响应等需求；第二，数据标准、数据模型架构。定义数据中台的标准体系，含数据标准规范、数据集成标准规范、数据分析指标规范、数据交换与共享规范，确定数据资产目录和数据模型清单；第三，数据资产中心。搭建数据中台汇聚与共享平台，采集并整合部门及泵站相关数据，建立综合数据库和共享交换数据库，并且建立对数据资产的管理、维护、更新和使用的长效管理机制，实现企业各部门之间的互联互通、资源共享，促进跨部门的业务协同，实现数据资源的全面汇聚和高效利用；第四，支撑多形态应用。通过数据资产中心，支撑全面洞察决策和智能应用。一方面，利用数据中台技术，构建调水运行分析指标，实现调度系统全过程、全要素分析。形成对系统内数据和外部环境等数据的深度挖掘与融合分析能力，实现数据中台服务支撑体系科学化运作，围绕智慧调水系统开展应用示范，有效提升企业运营质量与效益。实现生产运营精细化监管，实现防范安全风险，进一步提升管控水平及决策能力[4]。

3 数据中台搭建

数据中台实践依循顶层设计、方案设计、开发治理、交付验证和运维运营流程规范，配备相应的使能技术工具。数据中台实践融合全量数据，将分散的数据通过OneData、OneID、OneService的架构模式进行梳理和组织，挖掘数据价值。数据中台整体架构参考先进的互联网双中台的架构设计模式，实现敏捷响应、服务复用、业务创新以及数据化运营的需求。在架构落地层面，提供分布式的互联网级中间件开发组件，确保技术落地的先进性、可管理性，强力支撑业务的动态变化调整基于数据，实现“物在线、人在线、服务在线”的数字化目标。基于数据治理工具，通过梳理当前的数据资源，建立包含数据资源管理、数据标准化、数据治理、数仓建设、数据服务、数据可视化为中心的数据中台。具体内容如下：第一，数据资源管理。过开发数据库管理、应用资源管理、数据资源管理、数据质量管理模块，将数据统一纳入数据中台，对数据进行监控，做到“心中有数”，能够对数据资源进行统一调度管理；第二，数据标准化。构建资源标准化，依托现有业务系统，梳理现有业务系统数据库，升级完善标准规范体系，完善目录注册、发布、查询、节点管理功能模块，构建完整的调水信息目录服务体系。同时开发公共属性管理模块及元数据管理功能模块形成各类标准化数据集，用于发布或共享的数据，提供标准化数据查阅、共享；第三，数据治理。设置数据通道，实现元数据、关系型数据库、NoSQL数据库、MPP数据库、非结构化存储全量、增量汇聚，管控各种数据类型的转换、过滤、采集，提供全链路的流量、数据量、脏数据探测和运行时汇报。设置业务流程设计器，可以实现将不同类型业务节点组织在一起的开发方式，让用户能以业务流程为中心组织数据开发逻辑。设置数据清洗表达式，支持多种数据清洗转换方法，包括数据筛选、表达式、连接、联合、汇总、排序、自定义代码片段、函数等；第四，数仓构建。提供固化数据的处理逻辑和处理过程的功能，引用预置算子并配置算子的参数，以智能化数据处理方式来降低人工参与程度，提高数据清洗策略的准确性，保证数据按数据标准的要求被正确处理。利用现有的数据存储工具及能力，构建主题数据域，梳理各业务系统对数据需求，形成各类数据集市；根据业务类型，形成多类主题数据域；构建领导视图，形成“智慧大脑”，为调水综合决策科学化提供支撑；第五，数据服务。按照数据中台建设目标，构建数据共享服务平台，开发标准表管理模块、通过对数据资源中心的数据资源进行封装，形成标准的数据服务，实现服务共享网关、数据集市等功能，为各个业务应用提供数据开放与共享能力[5]。

4 结语

南水北调工程调度运行管理系统承担工程运行管理主要核心业务，数据中台向上支撑各类应用业务系统，向下提供各类数据采集、存储、交换、共享的统一标准规范，能节省人力成本，有效汇聚全网络数据，有效落实工程管理规范化、标准化、精细化，提高工程调度运行管理的整体水平，有助于构建更加科学、规范、先进、高效的现代化工程管理体系，做到“组织系统化，权责明晰化，业务流程化，措施具体化，行为标准化，控制过程化，考核定量化，奖惩有据化”。