一种基于邻居规则分类算法的聚焦爬虫

敬烜+鲁红英

摘要：判定链接锚文本与主题的相关度、评估链接的优先级并过滤不相关的链接是实现聚焦爬行的关键。通过判定链接所在页面是否主题相关、是否是導航页面划分链接的类别，结合链接锚文本与主题的相似度，提出了一种基于邻居规则分类算法评估链接优先级的聚焦爬虫。该爬虫包括一个主题相关网页判别器、一个导航网页判别器和一个基于邻居规则分类算法的链接优先级评估器。实验结果表明，基于邻居规则分类算法的聚焦爬虫比仅仅根据锚文本判定链接优先级的标准聚焦爬虫具有更好的性能，因此更加适合用于信息检索。

关键词：信息检索；聚焦爬虫；邻居规则；分类算法；链接优先级

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2017）14-0151-113

1概述

随着网络数据的不断增长，如何有效地发现、过滤、处理和利用这些数据成为了一个需要解决的问题。适合特定主题和个性化搜索的聚焦爬虫是一个有效的解决途径。聚集爬虫可被分作三类：经典聚焦爬虫，基于锚文本与主题词汇集的相似性，利用机器学习评估链接优先级；语义聚焦爬虫，分析页面与主题的语义相关性计算各链接下载优先级；在线增量自学习聚焦爬虫，采用可更新的分类器指定页面优先级，爬行过程中分类器可在线增强学习，从而提高分类准确性和爬行精度。本文提出了一种基于锚文本和网页类型的聚焦爬虫，相对于经典聚焦爬虫，本文爬虫考虑了链接所在页面是否是主题相关网页或导航网页，并以此评估链接优先级。……