按列存储的配电网监测数据包区间编码正规化压缩处理

屈志坚，徐振清，周锐霖，朱 丹

(1. 华东交通大学 电气工程学院，江西 南昌 330013；2. 中车青岛四方机车车辆股份有限公司，山东 青岛 266000)

0 引言

随着智能配电网技术的发展和大量配电自动化装置的接入，配电调度自动化系统的容量及规模不断扩大，使配电自动化海量历史监测信息达到了前所未有的数量级[1]。该类型数据对处理速度要求不高，却给数据库存储带来极大的压力，海量监控信息处理的I/O密集，使数据库服务器工作负载重[2]。因此，如何实现海量配电网监测信息大比率压缩，降低配电监测数据存储体量，从而减轻服务器存储压力，已成为智能调度监测海量信息处理领域最为重要的研究方向[3]。

目前使用较广泛的开放内存数据库fastdb和非关系型NoSQL(Not only SQL)内存数据库mongodb均以2 GByte容量为限[4-5]，SQLite内存数据库则限制在100 GByte内[6-9]，在存储海量配电网监测信息时受到一定的制约。磁盘数据库按照内部数据存储架构主要分为行式SQL数据库和列式NoSQL数据库，行式数据库以记录为存储单元进行空间分配和数据处理，记录数据作为一个整体，更适用于在线交易性的OLTP应用[10]，以Oracle、MySQL为代表的关系数据库通过创建索引进行快速查询[11]。然而，对于海量配电网监控数据场景而言，维护索引的成本开销也在成倍增长，维护索引占用的磁盘空间往往比数据本身要多3倍以上，与关系数据库存储容量在TByte级以内的现实情况相矛盾[12]。基于行存储的有损压缩的压缩率虽然较高，但解压后数据恢复精度受限，可能造成关键信息的漏报和误报。……