基于T-Graph算法的链接和内容相结合的聚焦爬虫模型

2016-04-20 02:50:58南京航空航天大学
电子世界 2016年6期
关键词:信息检索搜索引擎

南京航空航天大学 周 萍



基于T-Graph算法的链接和内容相结合的聚焦爬虫模型

南京航空航天大学 周 萍

【摘要】聚焦网络爬虫的两大重要目标就是寻找主题相关的网页,并优先下载主题相关度高的网页。首先,读取并分析网页的有效HTML元素,并根据高准确率来预测和抽取每个未被访问的网页的主题内容。然后,根据T-Graph来计算URLs的主题相关度,并按照相关度大小进行排序。本文提出的基于T-Graph的算法综合了多方面的元素,通过实验得到了较高的查准率和查全率,因此,该算法具有重要的意义。

【关键词】聚焦网络爬虫;T-Graph;HTML元素;信息检索;搜索引擎

0 引言

网络爬虫的主要任务是从Web上获取网页文档,并为这些数据创建索引,索引的更新是通过分布式爬行实现的。传统的网络爬虫并不能轻松地扩展爬行,因为Web是不受人为控制的。而且,传统的爬虫也不能根据特定的主题目标建立正确的索引,索引库因此也得不到及时的更新。为了解决这些弊端,具有重要意义的聚焦爬虫应运而生[1]。

1 基于T-Graph算法的聚焦爬虫模型的设计

聚焦爬虫模型的设计主要涉及两个问题,第一个问题就是在下载网页内容之前预估未被爬行的网页的主题目标。本文通过把父网页的HTML标签元素和锚文本想结合,来预测未被访问的链接的主题相关性。第二个问题就是将链接库的URLs按照主题相关度进行排序。本文通过T-Graph(Treasure Graph)来评估URLs的主题优先级,并假定T-Graph的结构是自顶向下的。

1.1 主题相关度的计算

登录APP查看全文

猜你喜欢
信息检索搜索引擎
基于同态加密支持模糊查询的高效隐私信息检索协议
医学期刊编辑中文献信息检索的应用
新闻传播(2016年18期)2016-07-19 10:12:06
在网络环境下高职院校开设信息检索课的必要性研究
新闻传播(2016年11期)2016-07-10 12:04:01
基于神经网络的个性化信息检索模型研究
网络搜索引擎亟待规范
中国卫生(2015年12期)2015-11-10 05:13:38
Nutch搜索引擎在网络舆情管控中的应用
警察技术(2015年3期)2015-02-27 15:37:09
广告主与搜索引擎的双向博弈分析
教学型大学《信息检索》公选课的设计与实施
河南科技(2014年11期)2014-02-27 14:10:19
公共图书馆信息检索服务的实践探索——以上海浦东图书馆为例
图书馆界(2013年5期)2013-03-11 18:50:29
知识漫画
百科知识(2012年11期)2012-04-29 08:30:15