基于统计的多文本网站文本内容抽取算法

王 晴

（徐州开放大学，江苏 徐州 221116）

一、引言

互联网信息检索是当今人们最常用的信息检索方式。如何从海量、复杂、模糊的信息中提炼出对用户有用的信息是该领域亟待解决的问题。所谓自动文本摘要，其实就是一种将Internet的海量数据进行概括，从而帮助用户寻找有价值信息的一种技术。其目的很简单，就是用计算机从目标文档中自动提取可全面、准确表达原文本意思的简洁的、连贯的短文，使读者在面对搜索引擎提供的大量结果时，能够快速分析筛选出对自己有助的信息，从而提高搜索效率。

文本信息的搜索在各类搜索排行中占据重要比重，因此本文以多文本类型的网站为研究基础，提出一种适合像科研机构这类多文本网站的网站文本摘要算法。包括如何从给定的网站内获得大量网页信息；如何根据网站的层次结构，提取用来生成摘要的原始文本；如何生成最终能覆盖网站主体内容的网站自动摘要。

二、国内外研究现状分析

传统的自动摘要一般分为抽取式和生成式[1]两种。生成式摘要需要对原文中的信息进行剪裁、提炼、融合，由新句子组成摘要，貌似更简洁、通顺，更接近人工生成的摘要，但其中却涉及多种语言处理技术，适用性和可移植性都较弱。而抽取式摘要的结果完全由原文中抽取所得，在自动生成方面则更加实用。目前的抽取方法主要有：基于统计特征的抽取、基于关联图的抽取和基于相似度的抽取[2-5]。……