施尧,杨铮宇
(1.云南电网有限责任公司,云南昆明,650051;2.云南电网有限责任公司信息中心,云南昆明,650051)
电网客户服务系统是电网企业的重要服务窗口, 不断积累着海量用户信息数据, 这些需要信息数据需要经过系统的整合挖掘,从而最大化发挥其自身价值。随着大数据技术的发展,以大数据技术作为基础,进行海量电力用户信息数据的处理分析,以此发挥对电网企业信息系统交互以及客户服务决策的支持作用,成为电网客户服务系统发展的趋势。基于此,本文针对如何利用大数据技术来满足电网客户服务系统对海量用户信息数据处理需求的问题,提出面向大数据的电力用户信息数据数据挖掘系统设计方案。
在本系统设计中,数据处理策略采用MapReduce分布式计算模式,而数据加载策略则需要支持并行加载。使用多种方法应对不同的数据抽取策略,从而提高系统性能。本设计中,采取以下形式来表达电网的结构化数据的ETL行为:
(1)以P、W、O、M分别表示原始数据、数据仓库的数据、不同ETL任务、数据仓库的元数据等数据集合,则电网结构化数据 ETL 行为模型为N=(P,W,O,M)。
(2)ETL任务以O表示。数据抽取任务、数据导入任务以及数据集成任务则分别表示为
ETL的数据源表以T表示。T在i时间点时,数据仓库过渡区中的数据副本以 Ti表示,时间戳以D表示,则
(3)数据源表从i至i+1的变更副本以I表示, 发生数据变更的日志号以表示,数据变更操作以M表示,变更前的数据以 To表示,变更后的数据以 Tn表示,……p>