集群NAS存储技术及其产品选型要点

汪生珠，韩晓山，王晓丽

（1.中国石油长庆油田分公司勘探开发研究院，西安 710018；2.低渗透油气田勘探开发国家工程实验室，西安 710018）

集群NAS存储技术及其产品选型要点

汪生珠1,2，韩晓山1,2，王晓丽1,2

（1.中国石油长庆油田分公司勘探开发研究院，西安 710018；2.低渗透油气田勘探开发国家工程实验室，西安 710018）

当前，信息数据呈爆炸式增长，存储需求急剧膨胀，集群NAS磁盘存储技术及其产品应运而生。本文根据存储设备项目选型的实际经历，较为系统地阐述传统NAS网络存储技术的优点及局限性，总结分析目前集群NAS存储的典型系统架构及其技术特点，提出衡量和评价高效集群NAS存储的具体指标或标准。

NAS存储；集群；横向扩展；架构；选型要点

0 引 言

当前，信息数据呈爆炸式增长，存储需求急剧膨胀，文件大小和数据规模从TB级、PB级迈向EB级、ZB级。研究显示，2020年数字宇宙将达到35.2 ZB(1 ZB=100万 PB=10亿 TB)，比2009年的0.8 ZB猛增44倍。卫星测绘、气象科学、能源勘探、航空航天、科研教育、基因测序、医学影像、公共事业、媒体娱乐和社会化Web等大量数据密集型应用导致数据“井喷”，不断对存储方法提出新的严峻挑战。

据IDC的统计，在快速增长的信息数据中，基于文件类型的非结构化数据的增速极快，全球存储市场的总出货量中将有80%的容量被文件级数据所覆盖。由于非结构化内容的存储规模和复杂程度不断提高，使得传统存储系统捉襟见肘。另外，非结构化数据具有传统存储系统在设计时并未考虑的独特特征，包括大型文件和数据量、高吞吐量要求、读取密集型访问方式以及大量并行文件访问。

为此，集群存储、并行存储技术应允而生，其性能可随着存储容量的增加而线性增加，是解决海量非结构化数据存储的理想方案。目前，国内外各大专业存储厂商纷纷推出了自己的集群NAS存储产品。面对众多的集群NAS存储产品，如何正确选择是广大用户面临的主要问题。

1 NAS存储技术特点分析

NAS（Network-Attached Storage，网络接入存储）采用TCP/IP网络技术，通过网络交换机连接存储系统和服务器主机，建立专用于数据存储的存储私网。随着IP网络技术的发展，NAS存储技术发生了质的飞跃。随着万兆以太网及InfiniBand网络的出现和投入商用，存储网络带宽大大提高了NAS存储的性能。另外，由于NAS存储采用TCP/IP网络进行数据交换，TCP/IP是IT业界的标准协议，不同厂商的产品（服务器、交换机、NAS存储）只要满足协议标准就能实现互连互通，无兼容性要求。

然而，传统的NAS存储系统由于受到其物理组成（如控制器性能、总线性能、磁盘驱动器的数量、所连接服务器的数量、内存大小以及NAS头的性能等）的限制，以及功能上的局限（如支持文件系统的容量、元数据和数据处理通路的耦合、快照或复制的数量等），造成存储系统瓶颈。为解决这种单个NAS系统的性能局限性和整个数据带宽瓶颈，一是采用硬件更加强大的单个存储系统，即所谓不断向上扩展(Scale-up，也称纵向扩展)的模式。然而，由于业务和数据的大量增加，尽管单台NAS的最高容量已达到PB级，仍难以满足要求，这种不断向上扩展的模式几乎已走到尽头。二是面对越来越多的数据，企业用户只好不断购买越来越多的NAS存储，这样一来，NAS存储就和以前的DAS和SAN一样，形成了新的“信息孤岛”——多文件系统，多命名空间，多个挂载点。这给企业应用和系统管理带来了诸多不便。

于是，横向扩展（Scale-out）的NAS存储技术,即集群NAS应运而生。采用若干个普通性能的存储系统来组成“存储的集群”，可提供按比例增加的存储资源的性能、容量、可靠性及可用性，突破了单机设备的种种限制，并且具有容量和性能线性扩展的优势。这就如CPU技术，从不断地提高频率转变为增加内核。

2 集群NAS存储系统架构

从整体架构看，集群NAS由存储子系统、NAS集群（机头）及其互联网络组成。存储子系统可以采用存储区域网络SAN、直接连接存储DAS或者面向对象存储设备（Object-based Storage Device，OSD）的存储架构。根据所采用的后端存储子系统的不同，可以把集群NAS分为3种技术架构，即SAN共享存储架构、集群文件系统架构和pNFS架构。

2.1 SAN共享存储架构

这种架构后端存储采用SAN，所有NAS集群节点通过光纤连接到SAN，共享所有的存储设备，通常采用SAN并行文件系统管理并输出POSIX接口到NAS集群。SAN并行文件系统通常需要元数据控制服务器，可以是专用的元数据服务器，也可以采用完全分布的方式分布到SAN客户端上。NAS集群上安装SAN并行文件系统客户端即可实现对SAN共享存储的并发访问，然后运行NFS/CIFS服务为客户端提供服务。这里前端网络采用以太网，后端存储连接则采用SAN网络，如图1所示。

图1 基于SAN共享存储的集群NAS架构

由于采用了高性能的SAN存储网络，这种集群NAS架构可提供稳定的高带宽和IOPS性能，且可通过增加存储盘阵实现存储容量的扩展；可通过增加NAS集群节点实现性能的扩展。客户端可直接连接具体的NAS集群节点，并采用集群管理软件来实现高可用性；也可采用DNS或LVS实现负载均衡和高可用性，客户端使用虚拟IP进行连接。采用这种架构的集群NAS典型案例是IBM SONAS。

2.2 集群文件系统架构

这种架构也称全对称分布式架构，后端存储采用DAS，每个存储服务器直连各自的存储系统，通常为一组SAS或SATA磁盘，然后由集群文件系统统一管理物理分布的存储空间，形成一个单一命名空间的文件系统。NAS集群通常与元数据服务集群或存储节点集群运行在相同的物理节点上，减少物理节点部署的规模。与SAN架构不同，集群文件系统可能会与NAS服务共享TCP/IP网络，相互之间产生性能影响，导致I/O性能的抖动。但诸如EMC ISILON等集群文件系统存储节点之间采用InfiniBand网络互联，可消除这种影响，保持性能的稳定性，如图2所示。

图2 基于集群文件系统的集群NAS架构

在这种架构下，集群NAS的扩展通过增加存储节点来实现，往往同时扩展存储空间和性能，很多系统可达到接近线性地扩展。客户端访问集群NAS的方式与第一种架构方式相同，负载均衡和可用性也可采用类似的方式。由于服务器和存储介质都可采用通用标准的廉价设备，在成本上有很大优势，规模巨大。用这种架构的集群NAS典型案例包括EMC ISILON、华为OceanStor 9000等。

2.3 pNFS架构

这种架构即并行NAS，即pNFS/NFSv 4.1，RFC 5661标准已于2010年1月获得批准通过。它的后端存储采用面向对象存储设备（OSD），支持FC、NFS、OSD多种数据访问协议，客户端读写数据时直接与OSD设备相互进行，而不像上述两种架构需要通过NAS集群来进行数据中转。这里的NAS集群仅作为元数据服务，I/O数据则由OSD处理，实现了元数据与数据的分离。这种架构更像原生的并行文件系统，不仅系统架构上更加简单，而且性能上得到了极大提升，扩展性非常好，如图3所示。

图3 pNFS集群NAS架构

这种架构与上述两种有着本质的区别，pNFS采用元数据集群解决了传统NAS的单点故障和性能瓶颈问题，元数据与数据的分离则解决了性能和扩展性问题。然而，毕竟pNFS标准获得批准时间不长，目前还没有成熟的商业产品实现，OSD存储设备发展多年也没有得到市场广泛认可和普及，当然很多研究机构或存储公司都在研发pNFS产品，如BlueArc等。

3 衡量和评价集群NAS存储的技术指标

存储系统用户企业的IT技术人员和技术主管们如何衡量、评价和建立一个高效的集群NAS存储系统，概括地讲，可从是否具备大存储容量、高性能、高可用性、高安全性、高可扩展性、高可管理性等方面来考察。具体可用表1所列指标来评价。

表1 衡量和评价高效存储系统的技术指标

续表

4 结 语

本文分析快速增长的信息数据，尤其针对基于文件类型的非结构化数据的极快增速，总结分析目前集群NAS存储的几种系统架构及其技术特点，提出衡量和评价高效集群NAS存储的具体标准。需求无止境，技术发展无止境，这推动着网络存储技术的持续发展和升级。作为存储技术及其产品的相关者，不但要了解其过去和现在，更应持续关注和跟踪其未来。

第一，分布式—虚拟化存储。利用虚拟化技术，将分散的存储资源构成一个虚拟的存储设备，其高可扩展性、低成本、无接入限制等优点显而易见。目前的“云存储”正是分布式—虚拟化存储技术的进一步拓展和延伸。

第二，软件定义存储。软件定义存储可以理解成是对现有操作系统和管理软件的一个结合，能够完整的实现我们对存储系统的部署、管理、监控、调整等多个要求，可以给我们的存储系统带来灵活、自由和高可用等特点。现在软件定义的存储的理解各不相同，但是抛弃硬件设备的限制，采用开放的存储架构，提供存储的性能、可管理性，这将是存储领域发展的大趋势。

第三，存储到了40 G时代。在云时代，存储系统的高速、高效是重要指标，相对于10 Gbps的高端以太网存储，InfiniBand起步就是40 Gbps，且延迟缩短至1/10甚至1/20。

第四，操作系统内嵌pNFS协议成为标准。集群NAS的核心是底层的并行文件系统或集群文件系统，随着pNFS协议的日臻完善和普及，在不久的将来，各种NAS存储系统或许不再需要配置各自的专有核心文件系统。

第五，国产网络存储产品应用势头强劲。经过多年的应用摸索和技术积累，国内存储厂商快速发展，纷纷推出自己的集群NAS产品，如华为、海康威视、浪潮以及曙光等。而且伴随国家信息安全形势的迫切要求和系统建设任务的浪潮，国内品牌的服务器、数据库和存储设备厂商表现出了高度热情，积极投身产品研发，技术创新与质量迅速提升。

［1］刘爱贵.横向扩展（Scale-Out）存储［EB/OL］.(2011-03-25)［2015-04-21］.http://blog.csdn.net/liuaigui/article/details/6278774.

［2］存储在线.集群NAS的发展及应用［EB/OL］.(2012-11-05)［2015-04-21］.http://www.dostor.com/article/2012-11-05/1548532.shtml.

［3］百度百科.集群存储［EB/OL］.(2013-12-09)［2015-04-21］.http://baike.baidu.com/link?url=GQxo7yJjqAx7MmIcjrwoWqk8KuCenhwTUI Qs1f7uy_TOARAA9cq04qSsZPaZN7ZC_jKSh6VjUOmtClLN7mzmVa.

［4］刘爱贵.集群NAS技术架构［EB/OL］.(2011-05-15)［2015-04-21］.http://blog.csdn.net/liuaigui/article/details/6422700.

10.3969/j.issn.1673 - 0194.2015.16.125

TP333

A

1673-0194(2015)16-0175-03

2015-06-11