基于最大熵模型的汉语标点句缺失话题自动识别初探*



基于最大熵模型的汉语标点句缺失话题自动识别初探*

通信地址：100871 北京市北京大学中国语言文学系Address:Department of Chinese Language and Literature,Peking University,Beijing 100871,P.R.China

卢达威1，宋柔2

(1.北京大学中国语言文学系，北京 100871；2.北京语言大学语言信息处理研究所，北京 100083)

摘要：本文的任务是判别标点句缺失话题是上句的主语还是宾语，将该任务作为标点句缺失话题自动识别研究的切入点。首先归纳了判别这一任务的一系列字面特征和语义特征，然后结合规则和最大熵模型，进行自动判别实验。结果显示，对特定类别动词的实验F值达到82%。对实验结果的分析说明，动词特征和语义特征对判别该任务的作用最大，规则方法和统计方法在判别任务中不能偏废，精细化的知识对判别的性能有重要影响。

关键词：广义话题结构；新支话题；自动识别；最大熵模型 关系句的判断以一系列作为代表，包括表判断的“是”、“属于”、“当作”、“称为”等，表相似比喻关系的“像、好像、比如”等,以及表比较的“比”等。如：

1引言

标点句是指汉语文本中逗号、分号、句号、叹号、问号、直接引语的引号以及这种引号前的冒号所分隔出的词语串，是汉语篇章的基本单位[1~3]。文献[4]在大规模语料库统计中发现，汉语篇章中，标点句的话题缺失是常态。如：

c2:

‖

说住在火车站旁一家旅馆内，

c3:便搬去了。

上例有3个标点句，除c1的话题—说明结构完整外，c2、c3都缺话题。标点句的话题缺失对机器翻译、文本摘要等都是一大挑战。话题属于语用范畴的问题，不容易通过统计获得。

细读c2、c3发现，它们所缺话题并不一样。……