基于Ceph分布式数据纠删码更新优化策略

张开碧 邓杰铭 付蔚

【摘要】对于Ceph分布式存储设备数量大的分布式集群，发生故障是在所难免，也是其一大挑战。面对分布式存储出现的故障，系统怎么能快速的发现故障，定义类型，并且解决故障呢。在现在最经常使用的方法是RS纠删码，纠删码可以保证系统的可靠性，用低冗余的方法进行数据的恢复，纠删码修复数据之前，我们需要对节点进行更新，保证数据是最新的状态。对于常规的纠删码使用的延迟或者立即更新不太能满足对数据准确率和修复效率的要求。所以设计出了一套基于Ceph分布式数据纠删码更新优化策略。该方案利用阈值设计出更新触发时机，再利用立即延迟对数据混合更新的方式能更好的满足数据修复的准确性和效率。

【关键词】Ceph;RS纠删码;阈值;

0引言

纠删码技术因其较高的空间利用率和数据可靠性被广泛应用于分布式存储系统中。在实际的分布式存储系统中，纠删码数据的更新是一项较为频繁且涉及范围较广的操作[1]，同时更新过程需要消耗较大的网络开销和完成复杂的计算。随着数据量的增大以及用户行为的多样化，多点更新逐渐成为了一种常态。相比于单点更新，纠删码的的多点更新表现出两个特点：一是更新过程中网络开销成倍增长，这是因为所有的待更新节点都需要向对应的编码节点传输数据[2]，每增加一个待更新节点，编码节点的数据量就会明显;二是更新过程中的计算复杂度与计算量成倍增加，这时因为每个编码节点需要编码所有的待更新数据与原始编碼数据以获取更新的编码数据，每增加一个待更新节点，每个编码节点都需重新计算一遍。……