基于大数据的光伏电站空地一体智慧运维管理平台应用架构和关键技术研究

郑建文，彭宇，杨东，白雪峰，刘晨明

[摘    要]针对光伏行业快速发展而带来的数据剧增及数据实时处理的现实要求，提出基于Hadoop的大数据光伏电站数据处理体系架构。采用Kafka作为数据接收端、Redis作为实时数据库、Spark及Elasticsearch实现基于分布式OpenTSDB历史数据的分析及检索功能。解决了大规模光伏电站面临的百万级以上数据的实时处理及分析要求。在实践中，基于此架构开发出光伏电站空地一体智慧运维管理平台，在性能及扩展能力方面得到了有效验证。

[关键词]大数据;Hadoop;分布式;Kafka

[中图分类号]TM615 [文献标志码]A [文章编号]2095–6487（2021）12–00–02

Research on Application Architecture and Key Technologies of a Photovoltaic

Power Station Management Platform Based on Big Data

Zheng Jian-wen，Peng Yu，Yang Dong，Bai Xue-feng，Liu Chen-ming

[Abstract]In response to the rapid development of the photovoltaic industry and the actual requirements of real-time data processing， this paper proposes a big data photovoltaic power plant data processing system architecture based on Hadoop. It solves the real-time processing and analysis requirements of large-scale photovoltaic power plants with data above one million levels. In practice， based on this architecture， a photovoltaic power station air-ground integrated intelligent operation and maintenance management platform has been developed， which has been effectively verified in terms of performance and expansion capabilities.

[Keywords]big data;Hadoop;distributed;Kafka

近年來，随着新能源电站建设规模的不断扩大，光伏行业出现了数据增速快、类型多等现象，即监测数据具有数量“多”、类型“广”的特点。其不仅拥有电站实时采集的发电数据以及环境气象数据，且包括光伏电站全生命周期（建设期、生产运维期）的所有数据。传统光伏电站监控平台虽可有效监测电站运行的实时数据，并在设备发生故障及某些监测指标出现异常时进行告警，但往往在监测规模扩展、实时性及数据智能分析领域有着一定的局限性。随着近几年计算机技术及信息技术的突破发展，大数据及人工智能技术在各行领域得到了充分应用，其大规模数据秒级实时处理能力、分布式部署及存储技术、线性扩容的特点非常适合规模化后的光伏行业进行应用。

针对上述情况，本文提出了基于大数据技术架构的光伏电站空地一体智慧运维平台的设计思路，并设计了1 GW规模的光伏电站实时数据及历史数据的分布式集群解决方案，可解决光伏电站规模化后数据剧增带来的数据标准化、数据实时智能分析处理、分布式集群部署等现实技术问题。……