新冠肺炎疫情数据的抓取及可视化研究

刘玉玲，郑力新

（1.厦门工学院电子与电气工程学院，福建厦门 361000；2.华侨大学工学院，福建泉州 362021）

2020 年的开春，整个中国乃至全世界被一种恐怖的病毒——新型冠状病毒覆盖，病毒的扩散之快始料未及，国家和各地卫健委每日实时更新各种疫情数据。

Python 是一种开源、免费的高级动态编程语言，语法简单，可读性强。现成的爬虫框架以及相关的函数库为数据抓取提供了可能。

文中系统利用了Python 强大的函数库，研究了网络爬虫的基本方法，完成了新型冠状病毒相关疫情数据的获取，并进行了数据分析及可视化。

1 数据下载

网络数据下载的过程为爬虫，它主动抓取网络相关数据[1]。此次新冠肺炎疫情的数据来源为国家及各地卫健委的每日信息发布，新浪、网易、腾讯、丁香等进行转载。打开网页后，按下F12 功能按键，进入相应浏览器的network[2-3]，下面以火狐浏览器访问腾讯疫情实时追踪数据为例。F5 重新载入当前页面，发现所有的疫情数据都存储在两个类型为json的数据中，其对应的请求网址如图1 所示。

图1 两个json类型数据的请求地址

点击每个数据的“响应”，即可看到每个数据的字典信息。这些数据的结构十分清晰，易于提取[4]。值得注意的是，各大网站的数据源会常常变更数据格式及请求网址，只要进行适当地替换即可。

得知了数据的URL、请求方法、应答格式等信息，可通过下列代码抓取数据。

程序中的requests模块是网络爬虫利器[5]，可以使用pip install requests 安装指令实现，由于国外链接网站的网速较慢，经常导致安装失败，因此可尝试使用镜像源实现安装，如豆瓣、清华等。……