面向大数据存储的主动与被动相结合的性能评测方法体系结构与实现*

刘世缘，李云春,，陈 晨，杨海龙

(1.北京航空航天大学计算机学院,北京 100191;2.北京航空航天大学网络空间安全学院,北京 100191)

1 引言

大数据技术广泛应用于搜索、社交、金融、医疗和能源等诸多领域，当前，全球数据量飞速增长，根据国际权威机构Statista的统计和预测，预计到2035年，全球数据产生量预计达到2 142 ZB。以往应用程序可以使用传统数据库对数据进行存储，但使用传统数据库的存储方式已很难满足大数据应用的需求[1]，因此研究人员设计了一些可以解决大数据存储问题的系统和解决方案。例如，Hadoop分布式文件系统HDFS(Hadoop Distributed File System)[2]、GlusterFS[3]和Ceph[4]等。大数据应用从这些分布式文件系统中读写数据，从而实现对大量数据的分析处理，这也表明分布式文件系统的存储性能会直接影响大数据应用程序的性能，使得分布式文件系统处于十分重要的位置。通过对分布式文件系统进行性能评测，可以指导大数据开发人员分析及定位大数据应用性能瓶颈，提高数据利用率。因此，对分布式文件系统进行性能分析和评测，进而优化分布式存储以及大数据应用的性能，具有重要的研究和应用意义。

分布式文件系统通常利用多个节点来提高系统的吞吐量，保证系统的高可用，实现数据容错，这增加了对分布式文件系统进行性能评测及分析的难度。在以往的工作中，通常使用基准测试的方式来对不同大数据框架进行性能评测[5]，或者采用插桩并分析轨迹(trace)文件的方式对分布式文件系统进行性能分析。……