南京航空航天大学 周 萍
基于T-Graph算法的链接和内容相结合的聚焦爬虫模型
南京航空航天大学 周 萍
【摘要】聚焦网络爬虫的两大重要目标就是寻找主题相关的网页,并优先下载主题相关度高的网页。首先,读取并分析网页的有效HTML元素,并根据高准确率来预测和抽取每个未被访问的网页的主题内容。然后,根据T-Graph来计算URLs的主题相关度,并按照相关度大小进行排序。本文提出的基于T-Graph的算法综合了多方面的元素,通过实验得到了较高的查准率和查全率,因此,该算法具有重要的意义。
【关键词】聚焦网络爬虫;T-Graph;HTML元素;信息检索;搜索引擎
网络爬虫的主要任务是从Web上获取网页文档,并为这些数据创建索引,索引的更新是通过分布式爬行实现的。传统的网络爬虫并不能轻松地扩展爬行,因为Web是不受人为控制的。而且,传统的爬虫也不能根据特定的主题目标建立正确的索引,索引库因此也得不到及时的更新。为了解决这些弊端,具有重要意义的聚焦爬虫应运而生[1]。
聚焦爬虫模型的设计主要涉及两个问题,第一个问题就是在下载网页内容之前预估未被爬行的网页的主题目标。本文通过把父网页的HTML标签元素和锚文本想结合,来预测未被访问的链接的主题相关性。第二个问题就是将链接库的URLs按照主题相关度进行排序。本文通过T-Graph(Treasure Graph)来评估URLs的主题优先级,并假定T-Graph的结构是自顶向下的。
1.1 主题相关度的计算……p>