何亚锦 ,孙 伟,沈克勤,张鑫楠,刘向阳
(1.长安大学 信息工程学院,陕西 西安 710064;2.国防科技大学 信息通信学院,陕西 西安 710106)
随着计算机存储能力的提升,近年来数据呈指数型增长,如何可靠存储这些数据引起人们的思考。现如今,社交媒体服务和云服务的用户经常上传图像和视频等大型数据文件,需要巨大的存储空间,这种存储空间是以分布式存储的形式实现的[1-2]。分布式存储系统存储规模大,节点数量增长迅速,无法避免磁盘故障和节点失效等情况。为了保证分布式存储系统在节点故障时的正常工作,复制策略和纠删码策略被提出并在实际系统中应用[3-4]。
复制策略较为简单,通过对数据进行直接复制得到多个副本,最常见的是三副本复制。由于复制策略是对所有的数据复制若干倍,增加了系统的存储开销。当前数据海量化增长,复制策略使得存储开销成本变得更高。纠删码策略是将原文件分成k个等大小的数据块,编码生成n个数据块,分别存储在n个不同的节点上。纠删码策略解决了存储开销大这一缺点,保证了数据传输的可靠性,但是也有一定的弊端。考虑故障节点的修复开销,传统复制策略中,只需要复制数据到新的存储节点上就可以修复故障节点了,修复过程简单。而纠删码策略在对故障节点进行修复时,需要对k个数据块重新编码生成原文件再进行编码,这个过程涉及的计算复杂度高,修复带宽开销明显比传统的复制策略高。……