基于Hadoop的高校档案管理存储系统研究

胡　锐

（苏州科技大学 网络与教育技术中心，江苏 苏州 215009）

基于Hadoop的高校档案管理存储系统研究

胡锐

（苏州科技大学 网络与教育技术中心，江苏 苏州 215009）

随着高校信息化的发展，高校档案管理开始向无纸化发展，档案信息资源的数据成指数级增长，现有档案管理系统难以满足。因此，构建一个档案管理存储系统变得尤其重要。文章介绍了以Hadoop技术为基础建设的一个档案管理存储系统，用来满足日益增长的档案数据存储需求。

Hadoop；Hive；档案管理；存储系统

1　概述

近年来，档案资源作为高校重要的信息资源和知识资源，越来越受到高校管理者的重视［1］。随着档案资源的种类和数量的增加，产生了海量的档案数据。如何将海量档案数据可靠有效且廉价地进行存储，是档案管理系统建设者要思考的问题。

以云计算为基础的分布式存储系统是实现廉价存储趋势，通过云计算进行硬件资源整合提供强大的存储能力及计算能力，并实现了对数据的统一管理，提高服务质量以及数据处理的可靠性和扩展性［2］。

本文在借助于Hadoop的云架构的基础上，以Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）作为档案管理系统存储，通过HBase作为档案管理系统数据库，来实现档案去管理系统。

2　相关技术

2.1 Hadoop

Hadoop是Apache开源组织的一个分布式计算框架，可以在大量廉价的硬件设备组成的集群上运行应用程序，构建一个具有高可靠性和良好扩展性的并行分布式系统，Hadoop分布式文件系统、MapReduce编程模型和HBase分布式数据库是其三大核心技术［3］。……