基于Hadoop大数据分析在电力信息系统的应用

肖靖峰 李雅洁 李德高

【摘要】随着电力信息化的不断发展以及信息化可靠性要求的不断提升，系统运行维护压力越来越大，加之信息化数据分析对电力系统发展的指导意义越发重要，对信息数据的分析亟待提高。针对电力SG-186系统运维现状，提出一套基于Hadoop架构的大数据分析解决方案，旨在实现对系统运行日志进行多元化分析，一方面发现后台潜在系统运行风险，一方面给企业提供各类实时可视的数据，给企业发展提供强有力的数据支撑。

【关键词】SG-186;Hadoop;大数据分析

引言

在电网智能化、信息化飞速发展的今天，以SG-186为核心的数百个各类系统已经渗入电力生产、经营、管理等各个角落。系统运行的可靠性直接影响电力可靠性及公司的社会形象，系统的各类数据也都直接反映了公司经营业绩及发展现状。信息系统后台日志数据规模急速增大，传统的单机式数据库模式在各类系统复杂的数据分析诊断中已经越显乏力，本文运用Hadoop平台及相关技术，提供了一款基于Hadoop的大数据分析解决方案。通过在服务器上的运作，可以对大规模日志进行分析，并自动生成图表进行展示，从而可以非常直观的观察各项用户数据。

1.技术背景

Hadoop是一个高效的、非常可靠的并且可扩展性很强的的分布式软件开发框架，它的优势在于能在相对较短的时间内接受并且完成大量的数据处理任务。运用Hadoop框架进行开发，开发者可以通过自己开发编写的Map/Reduce来进行大数据分析处理。……