基于云平台的分布式高性能网络爬虫的研究与设计

石恩名，肖晓军，卢宇

（广州优亿信息科技有限公司，广东 广州 510630）

基于云平台的分布式高性能网络爬虫的研究与设计

石恩名，肖晓军，卢宇

（广州优亿信息科技有限公司，广东 广州 510630）

随着大数据时代的到来，数据成为最宝贵的资源，而网络爬虫技术作为外部数据采集的重要手段，已然成为数据分析的标配。介绍了一种高性能、灵活和便捷的基于云平台的爬虫架构设计和实现。从爬虫的整体架构、分布式设计以及各模块的设计等角度进行了详细的阐述。爬虫各模块用 Docker封装，Kubernetes做集群的资源调度和管理，在性能优化上采用了MD5去重树算法、DNS优化和异步I/O等多种策略组合的形式。实验表明，对比未优化的方案，爬虫在性能上具有较明显的优势。

分布式系统架构；网络爬虫；Docker；高性能

1 引言

大数据时代，数据是最丰富也是最宝贵的，网络信息量快速增长，面对这样海量的数据，如何快速、精确和低成本地收集到所需数据是目前企业所关注的热点。网络爬虫作为一种重要的数据采集手段，既是各类应用的外部数据来源（如内容聚合类应用：今日头条、百度新闻等），也是搜索引擎的重要组成部分。特别随着数据分析技术逐渐在各类互联网企业的应用，加上网上应用开放API的缺乏，作为外部数据主要来源的网络爬虫技术已经逐渐成为数据分析类应用产品的标配。因此不管是在学术界还是工业界, 对它的研究和改良从未间断过。

一个好的爬虫设计可以从以下几点来评价。……