基于Hadoop与Spark的高校校园大数据平台研究

刘萍

摘 要：对校园大数据分析是校园信息化发展的新思路。Hadoop是Apache基金会开发的分布式系统基础架构，它是集分布式计算、存储和管理为一体的生态系统。目前流行的Spark框架是与Hadoop生态系统中的MapReduce类似的一个分布式计算平台，Spark比MapReduce的速度更快且提供的功能更丰富。本文以数据采集、数据存储、数据分析、数据展现为主线，结合大数据领域最流行的Hadoop框架与Spark框架提出了高校校园大数据平台架构，详细阐述了架构各层次的具体功能，并对架构中关系数据库数据的采集存储进行了详细介绍，最后设计校园大数据分析原型系统来验证架构的可行性。

关键词：大数据；Hadoop；Spark；校园大数据平台

中图分类号：TP391 文献标识码：A

Abstract：The analysis of campus big data is a new way of campus information development.Hadoop is a distributed system infrastructure developed by Apache Foundation，which is an ecosystem integrating distributed computing，storage and management.The current popular Spark framework is a distributed computing platform similar to MapReduce in the Hadoop ecosystem，and Spark is faster and more functional than MapReduce.With the main line of data collection，data storage，data analysis and data presentation，this paper puts forward the big data platform architecture of university campus in combination with the most popular Hadoop framework and Spark framework in big data fields，and expounds the specific functions of the architecture at all levels in detail，and gives a detailed description of the data collection and storage of the related coefficients in the architecture.Finally，the campus big data analysis prototype system is designed to verify the feasibility of the architecture.

Keywords：big data；Hadoop；Spark；campus big data platform

1 引言（Introduction）

隨着云计算、物联网、WEB搜索、电子商务、个性化信息服务和社交网络的高速发展，产生了大量的数据，其中蕴含的巨大价值成为大数据分析的强大动力。大数据技术也推动了高校校园信息化建设由数字化校园逐渐向智慧化校园转变，在持续建设过程中，校园各个阶段建设了一系列上层应用系统，例如学生管理系统、教务系统、科研系统、招生系统、就业系统、财务系统、人事系统、图书管理系统、后勤管理系统和校园一卡通等，积累的校园数据也在迅猛增加，已初步形成校园大数据环境。搭建大数据平台，对海量校园数据进行分析，集成各个时期开发的各种信息系统中的结构化数据，并对校园网页等非结构化数据，以及实时的流数据……