一种基于SVM及文本密度特征的网页信息提取方法

周艳平 李金鹏 宋群豹

(青岛科技大学信息科学技术学院 山东 青岛 266061)

0 引 言

如今，在网络信息飞速增长的时代，网络信息变得越来越重要，它影响着人类学习、工作、生活等各个方面。然而，网页通常包含非主题信息，如导航、广告链接、版权信息等， 我们称之为噪音信息。 在网页上的正文信息通常与不相关的内容混杂在一起，这导致网页信息的可利用性大大降低[1]。当对Web页面信息再次分析或开发利用时，往往会有页面上的噪音信息。如何准确有效地提取文本信息已成为当前研究领域的一个重要课题。

现有的网页正文抽取的方法可以分为四类:基于包装器和启发式规则的信息提取方法，基于文本特征的信息提取方法，基于视觉分块的信息提取方法，基于统计和机器学习的信息提取方法。

(1) 基于包装器和启发式规则的信息提取方法。该方法是一种早期且流行的方法，后续的Web模板提取技术也属于这一类。 其原则是通过构造包装器或Web模板规则从Web信息源中提取符合规则的信息[2-3]。该方法在特定格式信息源中的提取有很好的准确率，但在当前互联网页面越来越多样化、越来越复杂的趋势下，该方法并不是通用的。

(2) 基于文本特征的信息提取方法。 该方法通过网页结构和文本特征将网页划分为文本块和链接块。通过使用连续出现的噪声块的结果来完成文本部分的位置，得到网页正文信息[4-5]。该方法比传统的基于包装的提取方法更简单实用。……