张建远
(黑龙江省双鸭山市宝清县机构编制数据中心,黑龙江 双鸭山 155600)
流数据是一个随着时间推移无限增长的动态数据集合。信息时代,利用大数据、云计算等技术可以实现对流数据的集成、开发和利用,为网络监管、风险识别等各个领域提供技术服务。流数据运用中,保证数据的完整性、安全性和时效性是发挥其利用价值的关键。流数据应用范围不断扩大,探究流数据集成与服务优化策略是现阶段的重要研究方向。
大数据时代产生了海量化数据,将某些具有关联性的数据整合起来形成数据集合,即为流数据。流数据集成是指新的数据源源不断加入到这个集合的动态过程,主要分为两种形式:一是多个流数据源的集成,指不同来源、格式、特点性质的流数据在逻辑上或物理上有机地集中。二是流处理引擎间的集成,指流处理引擎实例之间的集成,以便综合利用多个流处理引擎的能力。
根据流数据集成特点可知,每时每刻都会有海量数据加入到这个集合中,因此流数据本身体量十分庞大。流数据利用与服务中,必须要整合数据信息,挑选有价值的数据资源。在这一操作中,基于计算机的流数据查询,检索效率不高,不利于数据资源的整合利用。这种情况下就需要发挥云计算技术优势,目前云计算速度可达到109次/s,可以在短时间内实现对流数据内目标数据的精准查询。……