基于市场匹配的多Agent智能爬虫系统

刘　佳，杜亚军

(西华大学计算机与软件工程学院，四川 成都 610039)



基于市场匹配的多Agent智能爬虫系统

刘佳，杜亚军*

(西华大学计算机与软件工程学院，四川 成都 610039)

摘要：在网络文字、图像视频、音频数量日益增长的网络世界中，网络爬虫爬取结果变得越来越差，主要表现在爬取网页的精确率低、召回率低和重复率高等方面。为解决这些问题，结合市场匹配基本原理和网络爬虫的特点，提出一种基于市场匹配算法的多Agent智能爬虫系统。基于市场匹配算法，设计了多Agent智能爬虫系统，以雅虎一级目录12个主题为测试数据对网络爬虫爬取网页的精确率、召回率和重复率进行了分析。结果表明，与未使用市场匹配算法的系统相比较，基于市场匹配算法的多Agent智能爬虫系统的精确率提高了9%、召回率提高了8%、重复率降低了5%，其爬虫性能有较大改善。

关键词：市场匹配算法；多Agent；智能爬虫

随着因特网的快速发展，网络世界里的网络文字、图像视频、音频数量日益增长，导致网络爬虫爬取网页信息的结果越来越差。人们结合分布式网络爬虫中包含多个爬虫且多个爬虫能共同工作的特点提出了多Agent网络爬虫系统，使多个网络爬虫可以根据相同的关键词同时爬取网页[1-4]；然而，这导致了网络爬虫在爬取网页时重复爬取网页问题的出现。本文在多Agent网络爬虫系统的基础上，把市场匹配算法应用到多Agent网络爬虫系统中，提出了基于市场匹配的多Agent智能爬虫系统，使多个网络爬虫能够竞争和协作。……