基于支持向量机的网页正文内容提取方法

梁 东，杨永全，魏志强

(中国海洋大学信息科学与工程学院，山东 青岛 266100)

0 引 言

Web信息抽取最早在2001年提出，目的是将网页中有价值的文本信息提取出来。网页正文是获取Web信息的重要来源，但网页中也经常掺杂着与正文无关的导航、推广、版权等噪音信息。正文信息抽取对后续的文本分类、分词、语义分析等工作具有重要意义。本文首先通过分析网页结构的规律，采用一定的规则遍历DOM树，定位到一个同时包含正文信息和噪音信息的HTML标签；然后通过提取含噪音信息的HTML标签的5个重要特征，采用SVM训练样本数据，将训练后得出的数据模型用于降噪处理。

1 研究现状

现阶段流行的正文抽取方法主要有3类：基于统计学的正文信息提取方法、基于正文特征和网页结构的信息提取方法、基于机器学习的正文提取方法。

文献[1]提出了一种基于中文标点特征的正文抽取方法。该方法指出正文信息和噪音信息的中文标点具有不同特征，结合网页结构的规律实现正文信息抽取。该方法不针对单一类型的网站，实现相对简单。但由于段落的小标题与噪声信息的标点特征类似，所以该方法易遗漏文章中的短文本。

文献[2-4]通过分析正文信息DOM树节点路径的规律提出了相应的正文信息提取方法。在此基础上，研究者发现正文文本密度和噪音信息的文本密度具有不同特征，文献[5]融合了文本密度和标签路径覆盖率2种特征实现了正文信息抽取。该方法融合了多种属性，不易遗漏正文中的短文本。……