基于Python的分布式多主题网络爬虫的研究与设计

张胜敏，王爱菊

（1．开封大学 信息工程学院，河南 开封 475004；2．郑州工程技术学院 信息工程学院，河南 郑州 450044）

0 引言

随着物联网技术的快速发展，网络资源量不断增加，相应的，对网络信息检索技术的要求也在逐渐提高。如何快速准确地检索出网络信息成为搜索引擎研究面临的重要课题。像百度、Google、搜狗等常用的搜索引擎都存在着一定的局限性。现有的检索方式包括基于关键词的检索、基于特定语义的检索等等。基于关键词的检索是常用的搜索方式，该方式简单便捷，但检索的结果与预期还存在较大的差距。搜索引擎发展面临种种挑战，需要有效应对，定向抓取网络资源的网络爬虫技术由此产生。网络爬虫是一个按照特定主题和一定规则来抓取网络上页面资源的检索程序，它为搜索引擎提供检索数据。该检索程序已经被广泛应用，目前在各种搜索引擎中都存在。网络爬虫抓取网页资源的原理是：从种子YRL数据集合入手，提取出种子YRL在页面上内部链接的YRL。在抓取页面资源的过程中，需要不断从当前网络页面上抽取新的YRL放入YRL种子集合，从YRL种子集合中筛选出符合抓取主题条件的YRL，然后开始抓取网页资源，如此循环往复，直至满足检索引擎预先设定的抓取深度为止。网络爬虫会根据抓取主题，有针对性地抓取网络上的页面资源，以此获取与主题相关的网页信息。网络爬虫的开发与使用解决了搜索引擎的一部分问题，相对于搜索引擎原有的数据检索程序而言，它是先进的，但还不够，它还需要解决定义抓取主题、大量过滤网络数据、URL抓取策略等问题。……