张 力
(浙江师范大学图书馆,浙江 金华 321004)
〔作者信息〕张力,男,馆员。
拥有丰富表现力的Web信息充斥着Internet,作为互联网络最重要的信息发布方式,Web信息在急速膨胀。充分、有效地利用网络信息是艰难的。一方面Web信息量巨大,另一方面Web信息的动态性、多构性、广域性也严重阻碍了人们对Web信息的管理和使用。为了迎接海量网络信息给人们提出的巨大挑战,深化网络信息服务,提高信息利用率,Web信息采集技术成为不断发展创新的研究内容。
由于量大面广,Web信息采集通常利用计算机软件实现 ,例如 spiders、robots、wanderers等。它是依据某个标准或方法,对互联网络的Web信息进行收集,在此基础上进行分析处理的过程〔1〕。其最终目的是将分析结果应用到具体理论研究领域或解决实际操作中的问题。
1993年,第一个网络搜索工具诞生,名称为“World Wide Web Wanderer”。此款软件只能收集静态网页,拥有简单的索引功能。同年,Yahoo的鼻祖AliWeb出现,它初步具有对网页主题、URL、关键词等索引的功能。1994年1月,Einet Galaxy开展了MCC研究,此项研究主要是通过手工管理他人所提交的URL地址并初步开发出了针对Telnet和Gopher的检索功能〔2〕。1994年早期,Web信息在采集过程中的信息处理较为简单,首先是采集范围较小,其次只是对信息资源进行局部内容索引。1995年后期,Digital Equipment Corporation对采集的Web信息进行全文索引,推出AltaVista搜索引擎。1998年Google诞生,最初采用的是Pagerank信息采集处理技术,到2003年,Google以平均每月更新一次的方式,采集全球50%以上的Web信息,并引入语义处理技术处理采集的Web信息。与……