马庆祥
(重庆工商职业学院 重庆 401520)
✧安装Spark
✧集成Hadoop
✧集成Hive
✧集成Flume
为了更高效地完成系统的搭建及运行,系统中需要使用Spark集群,因此首先安装Spark;为了使Spark能访问到Hadoop,因此,需要集成Hadoop,Spark的离线计算需要稳定的数据源,还需要使用Hive搭建数据仓库,并与Spark集成;为了能以最简便的方式采集日志数据,因此需要使用Flume。

图1 环境搭建路线图
在已经搭建好的大数据应用平台的基础上,进入对智能选课推荐系统编程开发前,需要完善系统的设计,主要思路及技术路线如下:
✧爬虫设计
✧设计用户的交互界面✧设计日志的输出格式
✧设计推荐流程与选择推荐算法
✧设计数据模型
为完成智能选课推荐平台,需要搜集课程数据。因此,本案例将使用Scrapy爬虫框架从部分免费公开的课程资源平台爬取数据和使用Requests爬虫框架调用相关API直接获取数据。数据获取后需要建立数据库表将数据存入Mongodb,然后在用户交互界面进行查询。
在用户操作页面的时候,后台记录用户的操作行为,并形成日志。此时Flume组件将日志转发到HDFS或者Kafka,为Spark提供数据。Spark拿到数据后一方面开始执行推荐功能,一方面完成数据看板的统计功能。

图2 智能选课推荐系统设计思路图
爬虫的主要任务就是抓取课程网站的数据。为了尽量快速,并采集足够多的数据,这里使用分布式爬虫。……