Ceph云文件系统中纠删码的应用研究

刘莎　楚传仁

摘 要： Ceph云文件系统[1]通过完全副本冗余策略来提高数据的可靠性，但是会造成存储空间的浪费。为了提高存储空间的利用率，研究了纠删码和缓存分层（Cache层）技术[2]。在Ceph平台下，通过实验对完全副本与纠删码冗余存储进行分析比较，得出在存储数据越来越大的情况下，基于Cache分层的纠删码存储性能优势比完全副本更明显；完全副本则更适合于对小文件进行存储。

关键词： Ceph； 云文件系统； 纠删码； 完全副本； 缓存层

中图分类号：TP309.3 文献标志码：A 文章编号：1006-8228（2016）01-01-03

Research on application of erasure code in Ceph cloud file system

Liu Sha， Chu Chuanren

（School of Communication Engineering， Hangzhou Dianzi University， Hangzhou， Zhejiang 310018， China）

Abstract： Ceph cloud file system uses replication technology to improve data reliability， but will cause the waste of storage space. To improve the storage space utilization， this paper studies the erasure code and cache tiering technology. On Ceph platform， through the analysis of replication mechanism and erasure code， the performance advantage of erasure code based on cache tiering is found more obvious than replication mechanism when the data is large enough， while replication mechanism is more suitable to small file.

Key words： Ceph； cloud file system； erasure code； full replica； cache tiering

0 引言

数据的可靠性是云存储领域研究的重点，为了保证数据可靠性，大多数分布式云文件系统使用完全副本冗余技术，即为每个对象创建同等数量的副本。本文所研究的Ceph云系统其数据放置策略就是基于该机制。完全副本冗余技术部署简单，访问效率高，但是会浪费很大的存储空间。数据的副本冗余技术主要有完全副本和纠删码[3]。为了应对这一弊端，需要考虑纠删码，纠删码把原始数据通过一种规则编码成数据块和校验块后，再将这些块一一进行存储。这种冗余存储技术使存储空间的利用率得到了显著提高，其缺点是读性能下降。

本文的主要目标是在Ceph系统采用完全副本冗余技术的基础上，使用纠删码技术来提高存储空间的利用率，同时引入缓存分层技术，以弥补纠删码读取速度慢的缺陷。

1 Ceph文件系统概述

Ceph作为云存储分布式系统，具有高可扩展性、高可靠性和高性能特性[4]，并且其系统源码是开源的。……