基于云计算的数据分布存储技术研究

王潇+康晓梅

摘 要：云计算技术为海量数据安全存储、高效处理与传输提供有效支撑，但也因为分布存储中数据管理及组织技术水平的限制，会引发大量的数据丢失或错误，致使数据失效问题频发。针对此，文章以云计算分布存储技术的基本构成为切入点，从多角度分析分布存储技术问题，并就关键技术应用进行系统阐述。

关键词：云计算；分布存储技术；服务器；交换机

云计算作为大量数据存储、计算和处理的商业计算模型，其最大的优势是改变了本地计算的模式，转而依赖互联网，其将多个普通机器和网络设备构建成为一个海量数据存储的中心，从而为上层应用和服务提供更为全面的数据处理、存储服务。数据中心是云计算的核心构成。因此，云计算环境下的分布存储技术主要是对数据中心上的数据管理及组织技术的研究，但是该种技术自身水平有所限制，加之数据中心一般是由百万级以上节点构成，海量的数据存储规模可能达到PB级，甚至是EB级别，很可能发生数据丢失或错误，数据失效问题已然成为云计算分布存储技术应用的主要难题。基于此，本文将就云计算分布存储技术的基本构成、现存问题及关键技术进行细化分析，以为相关研究提供有效支撑。

1 云计算环境下数据分布存储技术的基本构成

1.1 以服务器为中心的结构

以服务器为中心的结构，将负责数据转发的交换机和路由器去除，由服务器负责数据转发任务[1]。以服务器为中心的结构和线路连接较为简单，虽然存在较高的链路冗余，但省去了交换机，可以规避树形结构中单点瓶颈问题[2]，由此，服务器便可与网络底层直接交互，上层应用可以结合需求开发效率更高、可靠性更好的路由算法。然而，因为服务器要负责所有数据的转发，势必会占用服务器的部分计算资源，增加服务器的负载压力，从而极大地降低了服务器的运行效率，而且，安装在服务器上的网络数据有限，通常情况下限定为两个网卡，每个网络配备6个端口，这就限制了数据中心上的节点数据规模，影响系统设备的数据存储和处理性能。

1.2 以交换机为中心的结构

以交换机为中心的结构，交换机承担数据包的转发任务，数据的存储及处理由服务器负责，其以树形结构为主，但也存在链路宽带有限、灵活性差、交换机资源浪费严重、通信需求无法满足等诸多问题。为此，目前多采用改进的树形结构，以微软提出的VL2树形结构为例，其将传统树形结构予以拓展，将核心层和聚合层的交换机連接形成Close网络结构，避免了核心层交换机数量限制、海量数据转发引发的宽带瓶颈问题，拓扑结构如图1所示。而且，其还选用扁平式的编址方式，将主机的定位与应用地址通过名称予以分离，系统运行时，可以名称的形式将服务与应用部署在数据中心的任何位置，而真正的服务器IP地址则可利用映射方式得到，资源利用率得以提升[3]，但也存在缺陷，各个机架交换机与聚合层交换机只有两条10 Gig的上行端口，若应用对吞吐率要求较严格，则链路宽带性能瓶颈将随着机架中主机数量的激增而重现。

2 云计算环境下数据分布存储技术问题

2.1 容错性问题

容错性问题是分布存储技术应用最常见的问题，利用相关的磁盘阵列（Redundant Arrays of Independent Disks，RAID）技术、专业化的存储装置、高性能服务器等可以解决这一问题。但是随着网络数据的存储量和处理量迅速增加，数据中心的存储节点数急剧上升，又由于数据管理或组织技术水平的限制，可能导致数据丢失或数据错误问题频发，如若不能及时解决该种容错性问题，不仅会降低数据分布存储技术的应用效率，还可能给用户造成巨大经济损失，为此，容错性问题的解决迫在眉睫，其是推进云计算技术在多领域应用和发展的基础和条件。

2.2 可扩展性问题

扩展性是确保数据存储和高效处理的必要前提，以往，扩展性问题都是通过预留冗余磁盘来解决的，该种方法虽可在一定程度上提升磁盘容量空间，但尚无法应对海量数据存储的问题。根据调查研究，系统运行中，因扩展性造成的数据失效。已经成为一种常态，且在采集ER级数据时，每间隔6个小时，就会有一个磁盘发生数据丢失或失效问题，影响数据采集工作的正常运行，降低了数据采集的准确率，最终可能导致巨大的经济损失。针对此，在数据达到EB级或更高级别时，以磁盘冗余空间的预留方式并不能从根本上解决扩展性问题，需要借助新的技术寻求解决方法。

2.3 成本控制问题

以往的数据分布存储结构下，数据规模和节点数量都较小，在对数据存储、处理中，其能耗需求不高，多数设备无需进行降温或散射处理，而随着云计算在海量信息存储和处理中的深化应用，分布存储的数据规模增加，对于能耗的需求较高，且制冷设备的能耗应该包含其中，在系统不间断运行状态下，能耗成为数据中心存储开销中的关键内容，根据美国的调查研究，2010—2017年，数据中心的能耗翻了几倍，两年间一台服务器的能耗与硬件成本基本等同，如此，分布存储技术的运行成本将升高，而精准计算EB级或更高级别数据可以有效降低能耗，控制数据中心的成本。

3 云计算环境下数据分布存储技术

3.1 数据容错技术

数据容错技术是通过数据冗余的增加来完成的，如此即使在部分数据出现丢失或失效时也能利用冗余数据的访问满足应用需求，该冗余可显著提升容错性，但也消耗了大量的存储资源，为此，在提升系统容错性时，应该最大限度利用存储资源，以控制成本。容错技术存在基于复制和基于纠删码两种，基于复制的容错技术可操作性强、部署简单，但每个数据对象均需要配置数个大小等同的副本，会增加存储空间，基于纠删码的容错技术可将若干数据块的信息融入较少的冗余信息中，降低了存储空间，但需单独进行编码和解码操作以完成数据的读写操作[4]，这将增加计算开销，两种容错技术相比，基于复制的容错技术可通过副本的下载完成修复，而基于纠删码的容错技术修复过程中需下载的数据比失效数据要大，修复成本较高。endprint

3.2 节能技术

云计算环境下分布存储的数据中心规模巨大，增加了分布存储的硬件设施、IT设备及制冷设备的电能消耗，能耗的增加不仅提升系统运行成本，而且加剧了“温室效应”。数据分布存储能耗在云计算中占据较大比例，尤其大规模数据中心上的存储系统能耗更是占据整体能耗的30%～40%，目前常用的能耗模型为比例模型、两端模型，两者计算机能耗归类为固定及可变能耗两类，机械驱动、风扇、二极管等为固定能耗，而随CPU增加的运行能耗为可变能耗，但两端模型将计算机空闲时的能耗也计入系统能耗之中，精准性更好，其发现计算机空闲状态下的技术并不能去除无用能耗，而动态的机器启动和挂起技术可通过动态控制的方法在无任务状态下关闭节点上的部分组件，从而实现降低能耗的目的。

4 结语

云计算是利用网络將集成海量数据的计算处理程序分解为相对小的子程序，而后再交由不同服务器构成的数据中心进行数据计算、处理和存储，而分布存储技术是支撑数据中心运行的关键，其在应用中面临着数据管理及组织技术的局限性，致使数据失效问题频发，为此，提升扩展性、容错性，降低成本成为云计算环境下分布存储技术应用的主要目标。本文将以此为基点就相关问题及关键技术进行分析，以期为云分布存储技术的数据中心结构设计及数据存储方式提供有效支撑。

[参考文献]

[1]杨学林.云计算环境下三维海量激光扫描数据的分布存储技术研究[J].激光杂志，2017（7）：171-175.

[2]张玉梅.基于云计算环境下的分布存储关键技术探析[J].科技创新与应用，2017（19）：43-44.

[3]田洪亮，张勇，李超，等.云环境下数据库机密性保护技术研究综述[J].计算机学报，2017（10）：2245-2270.

[4]程庆年.基于云计算环境下的分布存储关键技术[J].通讯世界，2017（3）：71-72.

Abstract：Cloud computing technology provides effective support for mass data storage， efficient handling and transmission， however， because of the limitation of data management and organizational technology in distributed storage， it may lead to a lot of data missing or incorrect data， resulting in frequent failures. For this， this article takes the basic structure of cloud computing distributed storage technology as the starting point， analyzes distributed storage technology from multiple perspectives， and systematically expounded the application of key technologies.

Key words：cloud computing； distributed storage technology； servers； switchesendprint