面向大数据的电力用户信息挖掘探讨

2018-09-20 02:10:58施尧杨铮宇
电子测试 2018年17期
关键词:数据挖掘数据库用户

施尧,杨铮宇

(1.云南电网有限责任公司,云南昆明,650051;2.云南电网有限责任公司信息中心,云南昆明,650051)

0 引言

电网客户服务系统是电网企业的重要服务窗口, 不断积累着海量用户信息数据, 这些需要信息数据需要经过系统的整合挖掘,从而最大化发挥其自身价值。随着大数据技术的发展,以大数据技术作为基础,进行海量电力用户信息数据的处理分析,以此发挥对电网企业信息系统交互以及客户服务决策的支持作用,成为电网客户服务系统发展的趋势。基于此,本文针对如何利用大数据技术来满足电网客户服务系统对海量用户信息数据处理需求的问题,提出面向大数据的电力用户信息数据数据挖掘系统设计方案。

1 系统关键技术

1.1 面向大数据的ETL数据仓库技术

在本系统设计中,数据处理策略采用MapReduce分布式计算模式,而数据加载策略则需要支持并行加载。使用多种方法应对不同的数据抽取策略,从而提高系统性能。本设计中,采取以下形式来表达电网的结构化数据的ETL行为:

(1)以P、W、O、M分别表示原始数据、数据仓库的数据、不同ETL任务、数据仓库的元数据等数据集合,则电网结构化数据 ETL 行为模型为N=(P,W,O,M)。

(2)ETL任务以O表示。数据抽取任务、数据导入任务以及数据集成任务则分别表示为

ETL的数据源表以T表示。T在i时间点时,数据仓库过渡区中的数据副本以 Ti表示,时间戳以D表示,则

(3)数据源表从i至i+1的变更副本以I表示, 发生数据变更的日志号以表示,数据变更操作以M表示,变更前的数据以 To表示,变更后的数据以 Tn表示,

登录APP查看全文

猜你喜欢
数据挖掘数据库用户
探讨人工智能与数据挖掘发展趋势
基于并行计算的大数据挖掘在电网中的应用
电力与能源(2017年6期)2017-05-14 06:19:37
数据库
财经(2017年2期)2017-03-10 14:35:35
关注用户
商用汽车(2016年11期)2016-12-19 01:20:16
关注用户
商用汽车(2016年6期)2016-06-29 09:18:54
数据库
财经(2016年15期)2016-06-03 07:38:02
关注用户
商用汽车(2016年4期)2016-05-09 01:23:12
数据库
财经(2016年3期)2016-03-07 07:44:46
数据库
财经(2016年6期)2016-02-24 07:41:51
一种基于Hadoop的大数据挖掘云服务及应用