王丽淑, 张鸿骏, 芮建武, 杨 骁
一种新型分布式元数据管理策略①
王丽淑1,2, 张鸿骏1,2, 芮建武1, 杨 骁1,2
1(中国科学院软件研究所基础软件国家工程研究中心, 北京 100190)2(中国科学院大学, 北京 100190)
高效、可扩展的元数据管理系统是提高分布式存储系统整体性能的关键. 传统的元数据分配策略会导致元数据负载不均衡, 以及在多进程资源抢占的情况下, 会存在响应处理用户请求效率不高, 存储文件数目受限等问题. 上述问题在高并发、低延迟的数据存储需求中尤为突出. 提出了一个基于一致性Hash与目录树的元数据管理策略, 并实现了相应的分布式元数据管理系统: 利用负载均衡算法, 对元数据进行迁移, 保证了粗粒度负载信息收集, 细粒度调整的均衡策略. 多项实验的结果表明, 该策略能实现元数据负载均衡, 降低用户请求处理延迟, 提高分布式系统的可扩展性和可用性.
元数据; HDFS; Hash; 目录树; 负载均衡
随着信息技术的发展, 人们的生活越来越离不开互联网和计算机, 众多的互联网应用每时每刻都会产生大量数据, 面对日益增长的海量数据, 分布式文件系统被越来越多的采用. 在分布式文件系统中, 元数据管理系统至关重要, 据有关资料显示文件系统中所有操作的50%以上都是对元数据的操作, 因此高效、可扩展的元数据管理系统对提高系统的性能格外重要.
元数据管理策略包括元数据无分割策略和元数据扩展管理策略. 无分割策略就是……