王中华,柴小丽
(中国电子科技集团公司第三十二研究所,上海 201808)
随着信息科学和云计算技术的飞速发展,智能设备的持续普及,存储设备性能的提升和网络带宽的增长为大数据的存储和流通提供了物质基础,云计算技术通过将分散的数据集中在数据中心,从而可以更为集中有效地处理和分析大数据信息.云计算技术为海量数据存储和分散的用户访问提供了必要的空间和途径[1].大数据主要有4 种计算模式,分别是批量计算,流式计算,图计算和交互计算.其中,适用于大数据分析的计算模式主要是批量计算和流式计算这两种,并且由于批量计算和流式计算针对的数据流类型不同,所适用的大数据应用场景也不一样[2].
批量计算会将先将数据信息统一收集起来,然后把大量的数据信息存储到本地或云端地数据库中,最后对数据进行批量的处理.由此可见,批处理适用的数据一般是静态数据,即保存在本地或云端数据库中的信息,任务可一次性完成.因此,批量计算一般应用在实时性要求不高,离线计算的场景下,进行数据分析或实现离线报表等[3–5].
数据流是一组有序的,有起点和终点的字节的数据序列,一般包含输入流和输出流,在实时通信领域中,数据的价值与时间成反比,即处理数据的时间越短,数据的价值越大.因此,必须对实时的数据信息给出毫秒级的响应.流式计算就是应用在实时场景下,或对时效性……