基于Kudu 的电力辅助设备实时监控业务解决方案

曹 成，陶继群，郑 湃

（江苏中科院智能科学技术应用研究院，江苏 常州213164）

1 概述

江苏中科院智能科学技术应用研究院基于Hadoop架构的分布式大数据平台已经搭建完成，以T+1 形式处理数据，目前已成功运行各类数据应用和业务需求。但这种离线处理数据的方式已无法满足目前的电力辅助设备的实时数据监控需要，基于分布式文件存储系统（HDFS）、分布式的高性能并行计算平台（MapReduce）和Hive 的Hadoop 架构无法实时加载数据和提供数据查询分析；虽然可以在该架构中添加HBase 存储系统，HBase存储系统虽然可以实现数据的快速插入和实时更新，但其并不适用于大批量的数据扫描工作[1]。目前，我院大数据平台急需能够实现大批量数据实时读写和实时分析的解决方案。

Kudu 存储系统是Cloudera 公司开发的可以实现多种一致性协议的列式存储引擎，兼顾了数据更新实时性和分析速度，能够与Hadoop 大数据平台中的Hive、HDFS等组件形成互补。Kudu 存储系统在满足电力辅助设备实时监控业务实时查询需求的同时，还能够满足监控业务的实时分析，同时还提供了Kudu-API、Impala-JDBC 等连接方法[2]，向电力辅助设备的分析系统和展示系统提供快速的查询和分析类的数据共享能力，满足大数据平台的实时类业务处理能力需求。

2 电力辅助设备实时监控业务应用难点分析和相关解决方案

2.1 电力辅助设备实时监控业务应用难点分析

电力辅助设备的实时监控业务主要包括输变电系统中的红外热成像、避雷器、驱鸟器、通风装置、端子箱等6大类辅助设备的数据实时采集入库和实时查询、实时分析和远程控制等。……