溪洛渡水电站数据整合平台设计及应用

张露成，夏建华，吴美琪

(中国长江电力股份有限公司溪洛渡水力发电厂，云南 永善 657300)

大数据技术在交通、消费、互联网等行业应用广泛，发挥着重大作用，影响了生活中的方方面面。但是，基于水电站的大数据应用技术较少，不能形成一体化的数据中心。为满足水电站运行工作需要和解决特定的管理问题，溪洛渡水电站建立了大量的监控、监测和管理系统。这些系统功能各有侧重，所管理的信息既有交集、也存在差异和互补。由于建设时间、供应商和采用技术的不同，各系统的信息描述、数据含义等自成体系，形成了信息单独存放、共享困难、难以综合分析利用的信息孤岛。为解决该问题，综合利用各类业务数据，优化业务平台，溪洛渡水电站建立了一套数据整合平台，实现了平台内数据的自由流动[1]。

1 结构设计

溪洛渡水电站厂站网络构架搭建及数据整合项目不改变各系统现有网络架构，数据实现统一存储。各系统按照二次安防分区原则接入数据中心，跨安全大区接入设备使用正向隔离装置、同一安全大区之间数据交互使用硬件防火墙进行安全防护。数据中心生产控制大区和管理信息大区均设置数据库，其中生产控制大区数据库由数据采集服务器实现和保存并向管理信息大区发送数据，管理信息大区数据库集中保存数据中心所有数据[2]。

安全Ⅰ区由数据采集服务器、核心交换机、前置采集软件、数据库软件系统组成，负责采集Ⅰ区各现地单元、系统的实时监测数据和历史数据转发。各类数据转换为统一数据格式，本地滚动存储至少1个月历史数据，并可在Ⅰ、Ⅱ区恢复正常通信后断点续传。

安全Ⅱ区由数据采集服务器、核心交换机、PLC采集终端、前置采集软件、数据库软件系统组成。负责采集Ⅱ区各现地单元、系统的实时监测数据和历史数据转发。每套PLC采集终端可通过工业以太网交换机与其他系统相连，共用网络通道。各类数据转换为统一数据格式，本地滚动存储至少1个月历史数据，并可在Ⅱ、Ⅲ区恢复正常通信后断点续传。

安全Ⅲ区由虚拟化服务器集群、数据库服务器、磁盘阵列等组成，包括关系数据库服务器、时序数据库服务器、文件服务器、缓存服务器、应用服务器、前置服务器等。可将各类数据转换为统一数据格式，可在Ⅱ、Ⅲ区恢复正常通信后断点续传。虚拟化服务器集群，任一物理服务器、虚拟出的服务器故障后，均能进行无扰切换，不影响数据中心功能正常运行。

数据流向分横向数据流动和纵向数据流动，需在满足电力二次安全防护规定的前提下，实现跨安全分区、上下级系统间的数据流动。

横向数据流动方面，通过在Ⅰ区和Ⅱ区部署数据中心采集节点(数据采集服务器)，将原有部署在Ⅰ区、Ⅱ区的业务系统数据，通过系统上送、数据抽取、服务调用等方式，将模型数据、实时数据、历史数据、时序数据等收集到采集节点；具备完善的跨区同步机制，将这些数据同步汇聚到Ⅲ区数据中心，实时数据穿越隔离装置的数据延迟在5 s以内，具备丢包重传能力。采集节点具备数据缓存功能，在Ⅰ区与Ⅱ区、Ⅱ区和Ⅲ区通讯中断时，可以缓存一定时间的模型数据、实时数据、历史数据、时序数据，并在网络恢复后自动同步到Ⅲ区数据中心。Ⅲ区的业务系统直接由Ⅲ区数据中心采集服务将模型数据、实时数据、历史数据、时序数据采集后入数据中心统一存储[3]。横向数据流动如图1所示。

图1 横向数据流动图

纵向数据流动方面，通过安全Ⅲ区的纵向加密装置，进行上下级的数据交互。根据上级数据中心的同步策略，把部分水电厂级数据定期向上级数据中心同步。并可响应上级数据中心的召唤命令，返回指定查询数据结果。能够按照上级数据中心要求将电厂数据中心内数据发送至上级数据中心，提供基于标准规约的接口、基于JMS的接口、基于WebService的服务、基于安全通讯的文件交换等多种方式的纵向数据交换。纵向数据流动如图2所示。

图2 纵向数据流动图

2 功能设计及实现

2.1 数据库设计

溪洛渡水电站数据整合平台接入的数据量较大、种类较多，一种数据库无法覆盖所有应用场景，因此设计了混合存储模型，将实时断面数据存入实时库，秒级以上的数据存入关系数据库，毫秒级的快速数据存入时序数据库。另外，针对文件类的非结构化数据，通过具备高速缓存功能的文件服务器，将索引信息放在高速缓存数据库里，提高文件检索的效率[4]。

为提高系统的开放性和操作性，数据整合平台的实时数据库设计采用面向对象的数据模型，直接定义模型中的类和关系，完全兼容国际标准，并能适应标准的后续变化。数据库在系统的任意结点可配置，系统中实时数据按应用的需要分布于各台机器，即某一结点保存在该结点运行的所有应用的数据。完善的一致性策略保证副本之间的同步更新，数据库的多副本避免了单点故障，从而提升了系统的可靠性。

同时，数据整合平台采用实时库与关系库相结合的模式，以满足其对数据库实时性、一致性、完整性和开放性的特殊要求。平台通过关系库模型定义工具保证关系库与实时库模式定义的一致性，通过通用、统一访问接口实现跨实时、关系的透明数据访问，从而将实时库和关系库很融合为一个整体。

关系库存储的数据范围广，特点和用途各异，可分为模型数据、周期原始数据、报警事件数据、计算统计数据。其中模型数据是从实时库导出的模型，其模式跟实时库中建的相同，满足水电厂设备模型的要求；周期原始数据是指实时库中具有固定存储周期的数据，如监控系统的遥测、遥信数据，通过定时刷新实现对各点数据变化轨迹的记录，对后续的计算、统计以及曲线分析具有重要价值；报警事件数据是设备的动作、异常、变位告警，以及各种系统运行报警(如主机、网络报警)等；计算数据是对各种原始数据或统计结果进行公式运算的结果，统计数据是对各种原始数据或报警事件进行统计运算的结果，计算统计数据是经过加工的综合信息，对用户使用(如报表)具有重要意义[5]。

秒级数据时效性要求高，数据量巨大，传统的关系型数据库无法满足要求，因此将这类数据保存到时序数据库中。

非结构化数据主要指结构化数据以外的数据，主要包括文件、画面等。该类数据存入文件服务器，相较于传统数据库，不但易于管理，且通过浏览工具操作更加直观。

2.2 报表设计

该数据平台具备多样化的报表展示功能，通过类EXCEL设计模式展示报表，兼容EXCEL公式。支持多样化的数据源，包括数据库数据源(主流关系型数据库)、文本数据源(EXCEL文件、TXT文件内的数据)、程序数据源、标准数据源等；支持多人共同使用、编辑同一套报表，并能通过模板加锁功能防止编辑冲突，保障数据安全；能够实现普通报表、聚合报表、决策报表等各类报表功能。能够对报表模板进行二次开发，可通过灵活的控件组合方式生成新的报表模板。能够批量添加第三方数据并对数据进行标记。数据报表及分析的数据结果能够导出为PDF等格式文件进行保存打印。可将现有在线监测与趋势分析系统报表模板导入大数据平台中，并进行多样化展示。

以机组排水泵运行统计为例，通过自选时间，查询该时间内全厂机组顶盖排水泵运行次数、单次运行时间、启动间隔时间，如图3、图4所示。溪洛渡电站共有18台水轮发电机组，每台机组有3台顶盖排水泵，图中每台泵用不同颜色显示。选定查询日期后，数据平台能够自动显示该周期内顶盖排水泵启动次数、单次运行时间、启动间隔时间。其中，图4中坐标横轴表示机组号及排水泵编号，坐标纵轴表示启动次数和单次平均运行时间。通过报表展示，能够简单直接观察机组顶盖排水泵运行效率、控制逻辑是否正常，减少运行人员巡视工作量。

图3 机组顶盖排水泵日运行统计数据展示

图4 机组顶盖排水泵日运行统计图形展示

2.3 数据展示及检索

根据电站实际运行需要，数据整合平台提供了功能齐全的数据展示及检索功能。通过导航信息栏，可以展示电站当前左右岸机组总有功、上下游水位、出入库流量、年度月度累计发电量、机组实时有功等生产指标实时信息；也可通过数据检索页面查询各自动化系统模拟量、开关量、异常告警事件、测点投退状态跟踪、设备动作次数越限报警等历史数据；同时，能够实现历史数据统计分析、巡检数据自定义填报等功能。丰富的数据展示页面及强大的检索功能，极大程度的方便了运维人员查看各类设备动态，提高了设备自动化分析水平[6]。

3 结 语

溪洛渡水电站数据整合平台的成功设计及应用，实现了不同业务系统的数据整合，扩展性好，灵活度高，提高了数据分析的便利性，便于对电站进行全方位监测和控制。它能够通过标准通信协议、文件、数据库接口、消息等不同方式，从采集终端、第三方系统直接或间接采集实时、历史等各类数据，并通过支持封装图表等各类图形控件、多条件组合查询、统计查询等功能，进行丰富的数据展示。各信息系统可以围绕一体化数据平台进行信息交换，减少了数据流通环节，提高了数据交换效率。同时，该数据整合平台应用功能与电站现场实际需求还存在一定程度的差距，需要不断进行完善和优化。