基于Python的中国大学MOOC网站爬虫系统设计与实现

【摘要】当今已进入大数据时代，网络爬虫成为数据获取的有效手段，获得广泛应用。但在教育领域，尤其是职业教育领域的相关应用较少。随着国家职教改革各项政策的逐步落实，职业教育目前正处于快速发展期，职业教育课程资源建设也显得尤为重要。本文参考Python的Scrapy爬虫框架，利用Selenium模拟浏览器执行网页操作，最终设计出一个简洁、实用的爬虫系统。对中国大学MOOC网站进行相关课程信息的爬取和分析。通过数据分析，了解职业教育线上课程资源建设情况，对未来职业教育慕课、精品课程建设提出建议。同时，本文提供了爬虫系统在教育领域应用的成功经验。

【关键词】Python  爬虫  Selenium  MOOC  职业教育

【基金项目】福建省教育厅中青年教师教育科研项目（科技类）“基于Scrapy框架的网络爬虫系统的设计及其在教育领域的应用”（项目编号：JAT191700）。

【中图分类号】TP393.092;TP391.3  【文献标识码】A 【文章编号】2095-3089（2021）30-0077-02

一、Python及爬虫介绍

（一）网络爬虫

网络爬虫（Web crawler），也称为网络机器人（bot）。其是一种可以实现网页数据抓取的自动化程序，通过多种手段收集网络数据的方式，不光是通过与API交互或者直接与浏览器交互的方式。最常用的方法是写一个自动化程序向网络服务器请求数据，然后对数据进行解析，提取需要的信息。[1]网络爬虫的思维模式就是模拟浏览器向服务器发出请求，接收到请求数据后再进行解析。一般而言，基础爬虫的两大请求库urllib和requests。但是，目前越来越多的网站页面是经过JavaScript渲染的，当requests在抓取页面时，得到的结果和在浏览器中看到的将不一样。……