基于一种文件缓冲方式操作大数据量数据研究

郑士芹

（北京信息职业技术学院，北京，100081）

0 引言

大数据作为人们普遍认知的概念，带给整个社会发展一种前所未有的便利。当前大数据的发展速度取决于人类对于数据需求的一种反应，人类需求量越大，对数据处理速度的要求也越高，随着信息技术的高速发展，人类通过不断的探索，对数据的收集和处理有了前所未有的进步，也研究出了多种高效的方式来存储和读取数据，来更好地满足人们和社会的需要。一般来说，其常用的方式如下：一是表缓冲，将大数据中记录数据进行集中读取，存储至内存后再对数据进行集中处理；二是行缓冲，将大数据中所需要的数据进行逐一读取并立即处理，再存储至内存中。但通过现有研究发现上述方法存在一定不足，因此本文针对大数据的特点和一种文件缓冲方式的数据处理方式进行阐述。

1 大数据量数据特点

当前，大数据技术正在引导着这个社会的发展，从大数据的发展情况来讲，可从数据本身和数据处理两个方面来进行理解，将大数据分为狭义和广义之分，狭义的大数据仅仅从字面理解，表征为数据的规模和形式，表征计量至少为PB、EB和ZB的数据规模，包括结构和非结构化数据，对于大数据量数据我们通过两个方面进行理解，在横向方面表征为数据量的大小，在这一角度来说，大数据是表示广泛的数据量，表征为数据过多，规模巨大。在纵向方面进行理解表征为结构化数据，可分为结构和非结构化数据，表示为数据的多样性和不确定性。……