大数据技术在高校信息化中的应用与研究

王宝祥 潘超

摘要：我国高校经过十几年的信息化建设，积累了大量数据。大数据的研究和应用，已经成为新的趋势。该文分析了高校信息化建设对于海量数据应用存在的问题，提出了一种基于大数据技术的解决方案，并分析研究了大数据技术在高校信息化中的实际应用场景。文章旨在助力高校信息化建设，有效推动教育教学改革。

关键词：大数据;高校;信息化建设;教学改革

中图分类号：TP311        文献标识码：A

文章编号：1009-3044（2021）13-0036-03

随着信息化的高速发展，各高校积累了大量有价值的数据资源。但从目前情况看，高校数据应用普遍存在以下几个问题：缺乏整体的数据规划和设计、数据质量低下、数据反哺效果未充分彰显、缺乏亮点应用。大数据技术的发展，为高校信息化建设带来了机遇与挑战，如何使大数据技术服务于高校的教育教学和管理工作，将这些海量数据应用于高校的各个业务场景，从而推进高校信息化建设，成为大多数高校当前面临的重要课题[1]。

本文从大数据的基本定义出发，分析高校信息化建设及数据应用现状，介绍了大数据的关键技术，提出一种基于大数据技术的解决方案，阐述了大数据平台的系统框架，并对方案在高校数据实际场景的应用进行了研究与展望。

1大数据与高校信息化现状

1.1 大数据特点

维基百科定义大数据为：大数据是指那些基于目前数据库管理工具或传统数据处理应用都难以处理的大型而复杂的数据集[2]。其面临的挑战主要有数据的采集存储、分析查询、共享、管理和可视化。麦肯锡将大数据定义为：一种规模大到在获取、存储、管理和分析方面已超出了传统数据库软件工具能力范围的数据集合。业界基本认为其具有五个显著的特点：数据规模超大、数据流转速度快、数据类型多样化、价值密度低、商业价值巨大[3]。

1.2 高校信息化建设现状

目前，高校普遍处于信息化迷茫期。已建设众多信息系统，如招生就业系统、人事管理系统、教务管理系统、考勤系统、一卡通系统、网络管理系统等。这些信息系统为师生提供了便捷的信息服务，同时产生大量结构化、半结构化和非结构化数据。在大数据时代，只有有效利用这些数据，才能更好地辅助教学、科研，做好科研管理、学生管理、招生就业推广等各方面的工作，才能极大地提高高校的信息化水平。

由于初期学校信息系统建设缺乏统一的规划和数据标准，这些信息系统所产生的数据存在碎片化、不一致、不规范和难共享的问题，已经制约了高校管理和教学水平的提升。

2大数据技术在高校信息化中的应用

高校拥有海量数据已逐渐成为现实，如何做好数据管理和规划，发挥数据的预测、决策作用，成为当前高校信息化建设的重要发展方向，也是高校信息化建设工作面临的最大挑战。

利用大数据技术促进信息技术与教育教学的深度融合，构建基于大数据的信息化教学模式，这必将给高校信息化发展带来巨大变革。高校大数据建设的技术原理类似，但普遍存在实施不到位，缺乏信息化建设整体考虑，不能做到规划-设计-实施-运营全过程，实施效果难闭环，效果达不到预期等情况。

2.1大数据的关键技术

在大数据时代，需要处理的数据量越来越庞大，传统的数据处理技术已经无法应对，需要使用先进的技术对海量数据进行处理，从而提升数据的处理水平，保证数据处理的时效性及准确性[4]。大数据技术体系基础的技术通常包括数据采集、数据预处理、分布式存储、数据仓库、NoSQL数据库、机器学习、数据治理和数据可视化。

常用的大数据处理技术框架如图1所示，主要分为以下几个方面：数据采集、数据预处理、数据存储、数据清洗、数据分析和数据可视化。

2.2大数据技术在高校信息化建设中的实施

大数据的数据源广泛，且数据类型和结构都不相同，但处理的基本流程是相同的。大数据时代下，高校信息化建设工作就是基于各业务系统的原始数据做好大数据的抽取、存储、分析、管理和应用等。

依据大数据处理通用框架，结合高校自身特点，经深入研究分析，设计出一套适合高校的大数据平台总体架构，如图2所示，整个平台的处理流程可以定义为：对学校各业务平台中的广泛异构的数据源进行抽取和集成，将统一标准的数据进行存储，根据大数据应用情境与决策需求，选择合适的数据分析技术对存储的数据进行分析挖掘，从中得到有用的知识并用可视化的方式将结果呈现给终端用户。

该架构主要由四部分组成：数据采集模块、数据存储模块、数据挖掘分析模块、数据应用模块组成。

（1）数据采集模块。

大数据的一个重要特征就是多样性，数据来源广泛、数据类型多样。数据采集的对象包括：学校运营中使用的业务系统所产生的数据，主要有教学、科研、管理、一卡通、图书馆、上网记录、物联网数据等。从这些结构化、半/非结构化数据中进行数据的提取与集成，统一存储，为下一步的数据处理提供源数据。

（2）数据处理模块。

针对海量数据结构类型复杂，数据预处理与格式转换开销大，将主要采用三种采集方法进行数据采集。第一种方式是针对结构化数据利用接口和ETL工具如Kettle，采用数据库导入的方式进行数据采集;第二种方式利用Sqoop、Flume采集非结构化与半结构化数据;第三种方式是针对网络非结构化和半结构化数据，利用网络爬虫进行原始网页抓取。用分布式的存储架构来对数据进行处理，包含数据清洗、整合、变换等，按照数据类型，结构化数据存于RDBMS中，半/非结构化数据持久化到HDFS及HBase中。

（3）数据挖掘分析模块。

数据分析模块是大数据处理架构的核心模块，其主要功能是进行基于Hadoop平台和Spark的数据挖掘与分析。通过Kafka将数据在内部架构中进行分发，根据不同的业务需要将数据分为基于MapReduce的离线处理部分与基于Spark Streaming的准实时处理部分，并且将数据同步到实时索引系统（ElasticSearch），提供实时的数据检索服务。数据分析工作主要是基于Hive平台调用挖掘算法进行并行计算，获取大量数据间隐含的知识模式，并基于教育行业信息化數据标准，建立相应的分析模型。

（4）数据应用模块。

数据应用模块的主要功能是将数据分析模块的分析结果应用到应用类业务场景和分析决策类场景中，以最终为广大师生提供精准管理、科学决策、个性化服务。

通过建立大数据平台，整合学校信息资源，形成一个统一的大数据处理模式，为学校做出科学、准确的决策提供数据支撑;为教职工提供方便快捷的数据服务;为学生提供全方位、个性化的学习、生活服务。

3大数据在信息化建设中的作用

高校信息化建设的目标是通过全面优化教学内容、方法、手段和理念，促进学校教育教学改革，进一步创新人才培养和社会服务模式，全面提高高等教育质量。构建高校大数据平台是以我校智慧校园建设战略发展规划为蓝本而进行的创新性探索，将会在我校资源整合、人才培养、学校管理和校园舆情分析等方面发挥重要的作用。

3.1大数据促进资源整合

高校信息化建设如果缺乏科学设计、整体管控，“信息孤岛”会演变为“数据孤岛”[5]。构建现代高校信息资源大数据平台，统一数据标准及规范，建立教育数据共享交换平台，连通各类教育信息系统，实现高校资源整合和优化配置，消除“数据孤岛”，让数据多跑路，让师生少跑腿，助力教育治理能力提升。

3.2大数据助力人才培养模式改革

高校的根本任务是人才的培养，建设智慧校园的第一发展目标是培养智慧型人才。

大数据背景下，以学生为中心，基于师生教学互动和学生学习过程的大数据，开展多维度、全面、动态和智能的分析，指导学校按照客观教育规律不断深化教育教学改革，提升教学质量。这种基于数据驱动的因材施教和个性化人才培养模式将成为主流。

3.3大数据助力管理工作

数据是对现象客观的描述，用数据来支持决策更加科学合理。将大数据引入到高校信息化建设中来，通过大数据技术对高校信息资源进行合理的分析总结，提取出各种规律性的信息，为高校全面、科学、系统的管理奠定了坚实的基础。

在学校管理工作中，让数据发挥价值，既可以全面掌握学生的学习及思想动态，为其提供精准的、更具针对性、个性化的教育，又可以帮助管理人员制定更加科学、合理的制度，提升高校的管理水平。例如我校通过大数据平台分析了本校学生的一卡通消费情况，从中筛选出每个月在食堂吃饭超过60次，平均每顿饭花费不超过6元的学生，以此作为评判家庭经济困难学生的重要依据，并给予适当的帮扶。

3.4预测与舆情分析

根据分析结果做预测是大数据的核心功能。利用大数据技术进行可视化分析和数据深入挖掘，获取的结果可以被用来作为预测的依据。对于高校管理人员，对获取的数据进行分析和整合，提出精准预测。例如我校通过大数据平台对比往年的招生情况、线上咨询等信息，来预测未来各地市的招生情况，制订招生计划;通过对往届学生的就业去向数据进行分析，提供专业的就业指导和科学干预，切实提高了就业率。

此外，通过大数据平台分析学生的心理动态、信息需求，借此加强舆情预测，避免不良的个体行为或情绪影响到群体，及时保护学生不受侵害，提升校园舆情管理水平。

4结束语

大数据技术对高校信息化建设的顺利进行提供了重要的技术支持，既是当今时代对教育事业的发展要求，也是教育教学深化改革的必然要求。大数据中蕴含的价值在不断地优化传统的教与学、传统的校园生活方式，可以为高校信息化建设的创新发展提供新的视角。在今后的高校信息化建设过程中，进一步推进大数据技术与高等教育的深度融合，充分发挥大数据优势，最终达到促进学生成长、教学质量提升、学科发展、科研应用的目标，进而推动我国教育事业的可持续发展。

参考文献

[1] 张林辉，田佳美.大数据在校园信息化建设中的应用[J].中国教育技术装备，2018（1）：49-50.

[2] Big data [EB/OL].https： https：//en.wikipedia.org/wiki/Big_data.

[3] 宗国福，李懿哲，任鹏.云计算、大数据技术在高校科研信息化建设中的应用探索[J].中国管理信息化，2020，23（14）：183-184.

[4] 郭俊文.云计算模式下大数据处理技术研究综述[J].科技视界，2020（13）：24-25.

[5] 周南平，贾佳.大数据背景下的高校信息化建设路径研究[J].中国电化教育，2018（9）：75-80.

【通聯编辑：朱宝贵】