基于动态布隆姆过滤器的海量信息台账数据消重算法

2018-02-14 12:49:08邹岳琳张龙军刘昆
数字技术与应用 2018年10期

邹岳琳 张龙军 刘昆

摘要:文章从电网发展和企业实际需求出发,应用海量数据去重算法,分析研究了动态布隆姆过滤器的海量信息台账数据消重算法。

关键词:布隆姆过滤器;海量台账;数据去重

中图分类号:TH71    文献标识码:A    文章编号:1007-9416(2018)10-0000-00

1 引言

公司营销业务长期存在计量装置更换时表计止度录入不准确、一年内换表频繁、计量装置更换后长期未采集到电量、增减容电量异常、销户用户欠费、电价与电压不匹配等情况,影响了用电客户满意度,同时也影响公司的合理利益,但由于相关业务牵扯系统众多,数据量庞大,传统的系统架构受到存储及计算能力的限制,无法开展有效的监测;随着公司大数据平台及全业务统一数据中心分析域的推广,提供了海量存储及高效计算能力,为了不断增强营销业务监测的广度、深度、准度及有效度,防范公司电费回收风险,保障公司合理收益。

2 布隆姆过滤器研究

布隆姆过滤器是1970年由Burton Howard Bloom提出的。该算法也是一种数据结构,用于判断一个元素是否存在一个集合中,其优点是能够快速检索,检索时间和空间效率都超过一般算法,非常适合海量信息台账数据的重复数据查找。最初布隆姆过滤被用在数据库检索系统、拼写检查等应用领域,后期随着信息技术高速发展,也应用于垃圾邮件过滤等,应用领域更加专业化。

2.1 静态布隆姆过滤器

静态布隆姆过滤器,其设置了数据集合A,A={a_1,a_2,a_3…a_n},集合A为待操作的集合,在集合A加入新元素时,首先检索集合A,判断新元素是否存在集合A中,如果相应位置1,可判断元素存在集合A中,否则判定不在集合A中。……

登录APP查看全文