数据库数据分类压缩算法研究

顾明

（阜新高等专科学校，辽宁阜新，123000）

0 引言

随着现代网络技术的深入发展与应用，大量的信息数据随之产生，这些数据包含许多有价值信息需通过进一步挖掘分析以供使用，促使处理大规模数据的相关技术不断发展完善，已经成为研究大数据处理领域的重点之一，在优化解决大数据处理方面，数据流分类压缩并行算法表现出了较大的应用优势。

1 需求分析

物联网发展及功能的实现产生大量实时数据，这些数据需作为历史数据被保存下来以供后续使用，直接存入数据库的方式在降低数据库实时性的同时需较大的存储空间，增加了数据库的压力及用户对数据的使用难度。实时记录和查询数据是实时数据库的基本功能，数据规模不断扩大的实时数据库对所使用到的数据压缩算法的要求不断提高，实现对数据高效准确的压缩和解压过程，对大量数据进行存储的实时数据库通常需并行采取多种存储方式完成。在现有压缩技术研究成果中，目前以旋转门算法、PPM压缩算法较为常用，但普遍存在有损压缩的问题，无法满足高精度的数据存储要求。为此本文主要对实时数据库中的数据压缩算法进行了研究，设计了一种无损数据压缩方案，以期更好的为生产活动服务。

2 数据压缩算法设计

2.1 数据的划分

针对实时数据库需以被压缩数据特点为依据对压缩算法进行设计，实时数据库数据主要可划分为：（1）表示采集数据时间的时间戳，通过将时间戳添加到各次采集的数据上可使决策的准确率得以有效提升，通常以具体应用场景为依据对自定义系统采集的时间戳。……