文摘评估方法

王晓霞

摘 要 本文主要阐述了文摘的三大评估方法以及机械文摘质量自动评估的实现，通过对各种方法的具体介绍来选择合适的文摘评估方法。

关键词 摘要 评估 评价方法

中图分类号：TP391 文献标识码：A

自动文摘的评价方法大致可分为三大类：（1）直接（direct）评价方法；（2）基于任务的评价（task based）方法；（3）基于目标的评估（target-based）方法。以下为具体介绍：

1直接评价方法

在自动文摘研究的初期，主要是系统的开发者对文摘系统进行评价测试，根据评测结果来指导研究工作。因此，他们大多采用直接分析文摘质量的方法来对系统性能进行评价。如下方法：

（1）与“理想摘要”进行比较

这种方法的核心思想是将获得的摘要与“理想摘要”进行对比，根据两者的相似性进行评价。与“理想摘要”越接近，则说明摘要的质量越高。

（2）其他方法

提问回答评价方法认为好的摘要必须能够阐述原文中的关键要点，因此，该方法要求首先对文章进行分析，取出其中的要点，根据摘要中是否包含这些要点来进行评价研究。他认为用于考试而提出的问题通常反映了文章的主题。

2基于任务的评价方法

为了克服直接评价方法的弱点，近年来一些研究者提出应采用基于任务的评价方法来对自动文摘系统进行评价，即将摘要应用于特定的任务，根据文摘系统对该任务的促进作用来评价文摘系统的性能。Brandow尝试在IR（information retrieval）任务中评价文摘系统。对比采用摘要进行检索与原文进行检索的准确度，来确定是否可以在IR中利用摘要来代替原文。……