基于协同过滤的课程推荐系统的设计与实现

2021-09-14 01:39:04马庆祥
科学咨询 2021年25期
关键词:页面用户课程

马庆祥

(重庆工商职业学院 重庆 401520)

一、课程推荐系统的开发环境的设计思路

(一)本系统所涉及的开发环境基础主要是安装Spark及集成Hadoop等相关核心组件:

✧安装Spark

✧集成Hadoop

✧集成Hive

✧集成Flume

为了更高效地完成系统的搭建及运行,系统中需要使用Spark集群,因此首先安装Spark;为了使Spark能访问到Hadoop,因此,需要集成Hadoop,Spark的离线计算需要稳定的数据源,还需要使用Hive搭建数据仓库,并与Spark集成;为了能以最简便的方式采集日志数据,因此需要使用Flume。

图1 环境搭建路线图

二、智能选课推荐系统设计思路

在已经搭建好的大数据应用平台的基础上,进入对智能选课推荐系统编程开发前,需要完善系统的设计,主要思路及技术路线如下:

✧爬虫设计

✧设计用户的交互界面✧设计日志的输出格式

✧设计推荐流程与选择推荐算法

✧设计数据模型

为完成智能选课推荐平台,需要搜集课程数据。因此,本案例将使用Scrapy爬虫框架从部分免费公开的课程资源平台爬取数据和使用Requests爬虫框架调用相关API直接获取数据。数据获取后需要建立数据库表将数据存入Mongodb,然后在用户交互界面进行查询。

在用户操作页面的时候,后台记录用户的操作行为,并形成日志。此时Flume组件将日志转发到HDFS或者Kafka,为Spark提供数据。Spark拿到数据后一方面开始执行推荐功能,一方面完成数据看板的统计功能。

图2 智能选课推荐系统设计思路图

三、爬虫程序的设计

爬虫的主要任务就是抓取课程网站的数据。为了尽量快速,并采集足够多的数据,这里使用分布式爬虫。……

登录APP查看全文

猜你喜欢
页面用户课程
大狗熊在睡觉
刷新生活的页面
保健医苑(2022年1期)2022-08-30 08:39:14
数字图像处理课程混合式教学改革与探索
软件设计与开发实践课程探索与实践
计算机教育(2020年5期)2020-07-24 08:53:38
为什么要学习HAA课程?
关注用户
商用汽车(2016年11期)2016-12-19 01:20:16
关注用户
商用汽车(2016年6期)2016-06-29 09:18:54
关注用户
商用汽车(2016年4期)2016-05-09 01:23:12
如何获取一亿海外用户
创业家(2015年5期)2015-02-27 07:53:25
同一Word文档 纵横页面并存