基于HDFS的创新知识云平台存储架构的研究与设计

马建红　霍振奇

(河北工业大学计算机科学与软件学院　天津 300401)



基于HDFS的创新知识云平台存储架构的研究与设计

马建红霍振奇

(河北工业大学计算机科学与软件学院天津 300401)

针对现有存储结构无法满足海量创新知识带来的存储及服务需求的问题，提出一种改进的HDFS(Hadoop Distributed File System)分布式存储系统并应用到创新知识云平台。首先引入包文件及分布式索引服务，改进HDFS小文件存储的效率问题，然后通过优化HDFS的命名空间备份及故障恢复服务，实现可用性更强、资源利用率更高的HDFS高可用架构。通过系统的设计和实现证明优化工作大大降低了命名节点的内存压力，提高了集群的可用性，并且改进的HDFS存储系统可以满足创新知识云平台的存储需求。

创新知识HDFS小文件存储单点故障

0　引　言

一直以来创新都是国内外各行各业在场竞争中关注的重点之一，我国更是将科技创新作为国家的基本战略。其中，建立创新平台对创新知识进行全社会共享是促进创新发展过程中一个必不可少的环节。创新知识[1]的复杂性以及其量级带来的是计算的复杂性和服务的动态性要求，这正与云计算的特性相契合。因此将云计算的概念引入到创新知识平台的建设也是一种必然的发展要求。

创新知识云平台旨在帮助创新设计人员解决创新过程中的问题。其结构主要包含对创新知识的收集积累、加工整合和知识再利用等过程。该平台由一个创新知识云平台总站和多个创新基地组成。……