基于信息量衰减幅度的网页正文提取

陈 阳，陈兴蜀，吴 麒

（1.四川大学计算机学院 网络与可信计算研究所，四川 成都610065；2.中国电子科技集团公司第二十九研究所 信息综合控制国家重点实验室，四川 成都610065）

0 引 言

随着互联网的快速发展，万维网 （world wide web，WWW）已成为人们获取信息或分享信息的重要平台。根据美国加州伯克利大学的统计，仅2002年世界上就产生了5EB的数据，年增长30%。这相当于37000个美国国会图书馆存储的信息，也相当于历史上存在过的每一个人说过的每一句话的数据量。这些数据中，92%的数据存储在磁性介质中上并能够通过互联网进行访问。面对如此丰富的网络信息资源，一些应用应运而生，例如，搜索引擎，Web数据内容挖掘。但是，它们在处理网页时都会面临一个问题，Web网页的主题信息一般都会被广告链接、导航条、版权信息等 “网页噪音”所包围，而这些噪音往往会对这些应用造成负面影响。因此，如何准确高效地从Web网页中提取出主题信息对基于互联网的信息检索、数据挖掘等应用具有很高的价值。

1 相关研究

在Web信息抽取领域，国内外研究者针对网页正文信息的抽取已经做了大量的研究工作。

文献 ［1－3］通过构建网页模板规则，将符合规则的信息从网页中提取出来，虽然信息抽取结果准确性较高，但这些方法都存在一个缺点，即只能针对使用同一个模板生成的网页，而构建抽取模式也是一个费时的工作，在网页形式多样化的今天，这种方法不具有通用性。文献 ［4－8］采用基于视觉特征的方法，这种方法是在微软亚洲研究院提出的VIPS（vision－based page segmentation）网页分块算法的基础上抽取信息。……