基于MPP-Hadoop混合架构高校数据集成系统研究

邓涵元，卢 山，程 光

(1.武汉邮电科学研究院,湖北 武汉 430074；2.南京烽火软件科技有限公司,江苏 南京 210019；3.东南大学，江苏 南京 210019)

0 引 言

高校信息化从20世纪80年代开始，在21世纪引入了数字化校园的概念。数字化校园是构建一个包括教学、科研、管理、服务于一体的数字环境，能够提升传统校园的工作效率，实现教学科研的全面信息化，提高教师的教学质量，提升学校对于各个机构和系统的管理水平[1]。随着数字化校园的建设[2]，在高校的各个系统中均积累了大量的数据。由于各个异构系统的建设时期不同，采用的标准规范、技术路线编程语言等也不同，因而形成了一个个的“数据孤岛”。这些“数据孤岛”造成了高校资源分散、存储冗余、管理成本高、决策支持弱、各职能部门无法进行协同工作。

于是将各信息系统的数据整合、汇聚到数据集成系统上就显得尤为重要，这有利于从不同的角度来分析学生的生活、学习、心理等各方面的成长情况，有利于学校各个职能部门的管理和协调。据调研，目前，某高校每年均有约2万名学生入学，积累了大量的数据；这些数据不仅数量级大，数据结构也多样，既有学生的基本信息、成绩信息、校园卡消费记录等结构化数据，也有上网记录等非结构化或半结构化数据。

传统的数据集成大多只是简单地以集成后能够查询使用为目的进行数据集成。当前研究者对校园数据集成和分析做了多方面的研究。吴振涛[3]提出了基于数据仓库的通用的校园数据集成框架，为高校的数据仓库建设提供了一个整体框架和模型；……