基于标题与文本距离的网页去噪算法的研究

摘要：使用STU-DOM这种网页提取技术，在实际操作过程中，在对不含超级链接的网页噪音进行判断时，准确性较低，同时，这种技术也不能有效处理DIV、TABLE标签中的正文信息。这是一种效果比较差的网页去噪技术。本文针对STU-DOM树在提取网页过程中出现的相关问题，比较分析当前几种常见的技术方法，在此基础上使用合适的技术升级扩展STU-DOM树，通过计算网页标题与结点词共现频率，然后分析文本间的相似度，得到标题与文本距离，实现网页正文提取。实验结果证明，该去噪方法能够有效去除网页噪音。

关键词：网页去噪 STU-DOM 词共现

0 引言

随着计算机技术的迅猛发展及计算机广泛应用于社会生活的各个领域，我们正步入一个信息化的时代。目前学界对网页数据的应用研究很多，例如WEB数据的深度挖掘、不同的搜索引擎等。从技术上来看网页数据包含各种内容，如广告、导航等，然而对于不同的研究，没必要包含所有的内容，本文将通过计算标题与文本距离来实现网页去噪。

1 相关基本概念解析

STU结点：

该结点从基本理论上来说，只是一种语义文本单元。在具体应用过程中，STU结点和块之间是一一对应的。

STU-DOM树：

STU-DOM树是由经过添加描述语义的DOM树而生成的。

块：

在HTML网页中，根据网页不同特点而划分出的不同区域，这些不同的区域，就称之为块。

解析：

将HTML文档转化为DOM树的过程称之为解析。

局部阈值：

由块内链接和内容决定，其计算公式

LocalCorrelativity（STUi）= （1）

LinkCount（STUi）=LinkCount（STUcij） （2）

ContentLength（STUi）=ContentLength（STUi）（3）

其中，STUcij表示STUi的第j棵子树，LinkCount（STUi）是STUi的linkcount属性值。……