构建安全的私有云存储平台

季向远，杨 涛，李巧红，冯少敏

(北京神舟航天软件技术有限公司，北京 100094)

构建安全的私有云存储平台

季向远，杨 涛，李巧红，冯少敏

(北京神舟航天软件技术有限公司，北京 100094)

首先概要介绍了大型企业所遇到的海量文件处理的挑战，以及市场中典型的云存储平台；在明确云存储平台能够有效帮助大型企业应对海量文件挑战时，阐述了私有云存储平台的整体规划方案，并就平台的核心内容进行研究；最后，探讨了云存储平台如何在企业进行应用。

云存储；应用系统；分布式文件系统；非结构化数据

经过几十年的信息化建设，国内大型企业特别是航天等军工企业的信息化建设已经取得了一些显著的成就，信息化已在企业的各个方面起到了支撑作用。随着信息化建设的推进，以及所支撑管理范围的不断延展，伴随而来的是信息系统产生的文件越来越多，而这些文件是企业多年发展的经验积累和沉淀，是企业的宝贵财富。对于如何保存、维护和使用这些海量的文件已经成为企业必须重视的问题，企业迫切需要一种有效的手段帮助其面对上述挑战。

当前，亚马逊和阿里等互联网公司都推出了自己的云存储产品。亚马逊在2006年推出简单存储服务(Simple Storage Service，S3)。亚马逊的S3是一种可扩展、高速、低成本的基于Web的服务，主要用于文档、图片、影像以及其他应用程序数据的在线备份和存档。S3允许上传、存储和下载1B～5GB大小的文件或对象等非结构化数据。阿里云于2010年推出了开发存储服务(Open Storage Service，OSS)，OSS支持任意数据类型的存储服务，支持任意时间、地点的数据上传和下载。OSS为开发者提供的海量、安全、低成本、高可用的分布式存储服务，使研发人员开发大容量和高并发系统变得更加容易。[1]

经过对市场中云存储产品的了解和分析，确认云存储将能够有效地解决企业所面对的海量文件处理的挑战。但目前这些成熟的产品都是基于互联网公有云服务，与企业所需要的私有云服务有一定的差异。其中，差异最为明显的是企业特别是军工企业对于安全有着更加严格的要求，因此企业所需要的云存储平台应该是一个采用了互联网技术，但更加安全的云存储平台。

1 云存储平台的整体规划

基于对企业需求的分析和对市场中标杆产品的学习可知,云存储平台研发目标是为上层应用提供海量、安全和高可用的云存储服务，帮助上层应用有效应对高并发和海量数据处理的场景。为了实现上述目标，云存储平台的整体思路如下：底层采用分布式文件系统和NoSQL数据库；由分布式文件系统实现文件存取，NoSQL数据库提供文件元数据及其他信息的存取服务；云存储平台通过REST API向上层应用系统提供存储服务，包括文件元数据信息和文件内容存取服务。同时，由于上层应用系统的复杂多样性，以及对安全性需求各不相同，因此云存储必须解决存储加密、通信过程安全和防盗链等等安全性问题。根据整体思路，云存储平台的整体架构如图1所示。

云存储平台整体由3层组成。

最底层为云存储内核，云存储内核为云存储服务提供底层的技术服务，这些服务包括分布式文件系统、分布式数据库、安全管理、负载均衡和高可用。

中间层包括云存储服务、扩展服务和系统监控，此层是云存储的核心处理层。其中，云存储服务提供了对非结构化数据进行上传、下载、断点续传、加密、备份和防盗链等核心服务；扩展服务基于云存储服务提供了在线预览和检索等扩展能力；系统监控负责监控云存储服务的各项性能指标，并对异常情况进行通知提示。

图1 云存储平台整体架构

上层为云存储服务引擎，云存储服务引擎用于为上层PDM(产品数据管理)、MPM(制造过程管理)、PM(项目管理)、OA(办公自动化)等应用系统提供调用其服务的REST协议接口，通过云存储服务引擎提供的接口上层应用系统能够充分地使用云存储的能力实现海量文件的处理。

为了保证安全性，云存储平台需要进行全面的安全防护，包括对登录用户进行身份认证、对数据进行访问权限控制、确保数据在传输与存储过程中的安全、防止低密级用户访问高密级数据以及支持事后对用户行为的审计能力等。

2 云存储平台的核心研究内容

a.遵循云存储平台的整体规划，在进行云存储平台研发时需要就分布式文件系统、应用系统如何接入云存储服务、安全性和系统监控这几个方面进行研究。为了满足企业应用系统集成及最终用户文件管理的需求，云存储平台必须支持海量文件存取。面对大规模数据文件以及大量用户，在文件格式多样、文件大小差异悬殊的情况下，如何进行高效的文件管理是首先要解决的问题。同时，随着应用规模的扩大，要求系统能够平滑地进行扩容。整个系统需要解决两方面扩容问题：(1)支持更多的文件存储，即总存储容量扩充；(2)支持更多的并发访问，即并发支持能力扩充。两种扩容需要多个层面的集群技术支撑。最后，文件管理必须保证文件存储安全性和可靠性，以及在存在冗余的情况下保证文件访问的一致性，云存储服务的基础是分布式文件系统HDFS和FastDFS。[2-3]

b.基于后端的云存储服务，提供多种方式的云存储服务统一接口，如HTML方式、Java API方式或者Java Applet方式，便于应用系统接入使用云存储服务，同时以透明的方式提供自动备份、负载均衡等高级特性。根据云存储服务的部署方式，服务接口可以具备不同的能力，比如企业内部的私有云中可以具备更多的服务接口以实现特定的功能。

c.支持文件存取、预览等功能与企业应用系统的集成，并解决集成中的安全问题。首先，实现基于单点登录的身份认证；其次，支持通用的访问控制策略定义，如MAC策略；最后，对于细粒度的访问控制策略，实现一套通用机制用以支持集成不同的企业应用系统本身的访问控制策略。

d.系统监控模块负责监控云存储服务器的各项性能指标，如有异常发出通知，如磁盘已满或服务器宕机等。日志模块记录当前用户以及服务器的所有行为，便于管理与统计。由于云存储涉及的服务器较多，一个整合的系统监控工具及报警通知将给系统维护带来极大的帮助。尤其是集群规模增大以后，对于众多的服务运行状态的跟踪更需要由监控系统代替人工完成。

在完成云存储平台的研发后，实际落地的物理部署结构将如图2所示。分布式文件系统分为两部分，其中FastDFS负责小文件的处理，HDFS负责大文件的处理；MongoDB负责提供可扩展和高性能的元数据存储支持；云存储服务引擎用于为上层应用提供海量、安全和高可靠的云存储服务。

3 应用场景

对于企业来说，云存储平台本身不能直接支持其日常的业务运营，但云存储平台能够作为底层统一的存储资源提供者，通过为上层应用提供存储能力进而帮助上层应用支持企业的日常业务运营。私有云存储平台在企业中的应用场景主要有两大类：(1)企业构建一个统一的存储中心，此存储中心用来为上层所有的应用系统提供存储服务；(2)特定应用系统本身需要处理海量的数据。作为企业，当其明确需要云存储平台作为底层为上层应用系统提供存储资源时，首先需要预估当前的数据量、可预期的增加量和并发访问等情况；在明确上述情况后，估算出所需要采购的服务器等软硬件；在软硬件环境到位后，进行云存储平台部署；软件供应商将自己的应用系统基于云存储平台进行改造或研发，使用云存储平台为应用系统提供安全、海量和高可用的云存储服务。

图2 云存储平台部署结构

[1] 朱近之．智慧的云计算：物流网的平台[M]．北京：电子工业出版社，2011.

[2] Tom White．Haddop权威指南[M]．2版．北京：清华大学出版社，2011.

[3] 郭欣．构建高性能Web站点[M]．北京：电子工业出版社，2014.

Theconstructionofthesecurityandprivatecloudstorageplatform

JI Xiangyuan, YANG Tao, LI Qiaohong, FENG Shaomin

( Beijing Shenzhou Aerospace Software Technology Co., Ltd., Beijing, 100094, China)

In order to face the large file processing challenges for enterprises, as well as the typical cloud storage platform in the market, it presents the clear cloud storage platform construction in helping large companies for effectively massive document process, shows some research on the core content, discusses the cloud storage platform in enterprise application.

cloud storage platform; application system; distributed file system; unstructure data

10.3969/j.issn.2095-509X.2014.10.011

2014-09-19

季向远(1979—)，男，浙江青田人，北京神舟航天软件技术有限公司工程师，硕士，主要从事管理信息化和开发平台的研究工作。

TP317

A

2095-509X(2014)10-0051-03