基于Spark的实时AIWERS的设计与实现

杨齐成

(安徽广播电视大学 滁州分校，安徽 滁州 239000)

一、引言

随着互联网和云技术的快速发展，我国依托大数据技术支持，正大力推进教育大数据平台(E-Learning Platforms)的建设。目前全国各省市为适应教育信息化时代发展需求，纷纷建设基于web的学习管理系统(Learning Management Systems，LMS)。但是，这些系统仅单纯提供视频课程在线播放、学习资料下载、在线讨论、考试等功能，缺少个性化推荐和智能分析能力，不能满足社会需求。

为帮助教育决策者更高效地判断当前课程安排的合理性，实时洞察学生对当前课程的学习程度，分析学生学习行为，帮助学生制定个性化的学习计划，出现了许多具有自适应性和智能性的教育系统(Adaptive and Intelligent Web-based Educational Systems, AIWES)， 此类系统通常基于大数据分析算法、数据挖掘算法和AI算法设计。例如，2017年LI Yuqian等人利用Spark技术建立了高等教育监测平台，为其学校教育决策提供依据；2016年，ZHANG Guigang等人提出了“Online Education Big Data Platform”；2019年，沈贵庆利用Hadoop技术对教育资源进行分析和处理，结合挖掘分析算法和云计算技术深入分析学生行为数据并预测学生表现。基于以上研究可知，教育大数据的分析和挖掘已经得到社会的广泛认可。但是，目前这些研究仅仅是分析学生行为数据，缺少基于web端的学生个性化课程推荐。

因此，本文的出发点是为电大学生提供个性化的课程推荐指导，辅助学生找到更合适的学习教程。而推荐系统核心就是推荐算法，目前主流的推荐算法有协同过滤算法(Collaborative Filtering)、基于知识(Knowledge-based)的推荐、基于关联规则(Association Rule)的推荐、基于内容(Content-based)的推荐和混合(Mixed)推荐。……