基于Hadoop的高校图书馆大数据关键技术研究*

叶春蕾

（北京农学院图书馆，北京 102206）

基于Hadoop的高校图书馆大数据关键技术研究*

叶春蕾

（北京农学院图书馆，北京 102206）

为解决大数据环境下高校图书馆服务面临的海量数据分布式存储、多样化数据源分布式管理以及简易灵活的大数据服务应用问题，本文深入分析大数据处理研究内容、Hadoop生态系统以及高校图书馆大数据服务需求，提出一种基于Hadoop的高校图书馆大数据整体技术框架，构建高校图书馆海量数据分布式存储管理、多样化数据源分布式管理和多样化服务管理。该技术框架充分考虑大数据环境下高校图书馆大数据特征、数据存储、数据管理及服务处理等方面的变化，能够在一定程度上解决高校图书馆大数据服务的关键技术问题。

大数据；大数据技术；高校图书馆；Hadoop

随着信息化发展,大量数字资源纷纷进入高校图书馆。移动终端的普及使用户可以不受时空限制获取知识,用户数据量呈现爆发增长趋势。同时,高校图书馆数据来源也呈现多样化特征,除传统结构化数据资源外,还包括海量半结构、非结构化的信息资源。并且随着社交网站的普遍应用,互联网数据的产生速度超过以往任何一种传播媒介,高校图书馆用户的使用数据增长量更大,形成高速发展的大数据基础。为充分发挥大数据技术对高校图书馆服务的促进作用,本文提出基于Hadoop的高校图书馆大数据技术框架[1],从应用实践角度阐述其关键技术,并对其进行深入探讨。……