基于隐马尔科夫模型的古汉语词性标注

杨新生 胡立生

摘 要：古汉语在语法和形态上与现代汉语有着本质的区别。从统计的角度出发，首先为古汉语设计一个标记集，将隐马尔可夫模型（HMM）与维特比算法相结合，以此对古汉语进行词性标注。通过对传统方法的改进，最终bigram模型和trigram模型的标注准确率分别提高到94.9%和96.5%，同时未登录词的标注精度也有显著提高。该方法应用于古汉语词性标注中，能根据古汉语的特点有效提高标注精度，并且在古汉语机器翻译等领域有广泛应用。

关键词：词性标注;古汉语;隐马尔科夫模型

Abstract：Classical Chinese is essentially different from modern Chinese in grammar and form. From a statistical point of view， a tag set is designed for classical Chinese firstly， then Hidden Markovian Model （HMM） and Viterbi algorithm are used to tag part-of-speech in classical Chinese. The accuracies of bigram model and trigram model are improved to 94.9% and 96.5% respectively compared to traditional method， and the accuracy of unknown words is also improved significantly. This method can effectively improve the accuracy of part-of-speech tagging according to the characteristics of classical Chinese， and has wide applications in the field of machine translation of classical Chinese.

Key words：part-of-speech tagging;classical Chinese;Hidden Markovian model

0 引言

词性标注是自然语言处理的基础。它为句子中的单词选择最恰当的句法类别序列（词性），并将其输出传递到下一级处理中，通常是语法分析器。在过去的20年里，词性标注的准确率在Penn Treebank[1]等著名英语语料库中得到显著提高。同时中文词性标注的准确率也在显著提高[2]。有许多用于词性标注的机器学习方法，其中最成功的是基于规则和基于统计的方法。

典型的基于规则的标注器使用上下文信息为有歧义的单词分配词性标签[3]。一般基于规则的标注器错误率要高于基于统计的标注器，该方法通过一组确定性的规则而不是一个大型统计表进行标注[1]。在基于规则的标注器中可以通过上下文规则作为约束来提高标注准确率。

基于统计方法的标注器无需对输入进行任何句法分析就能够获得很高的精确度[2]。基于统计的方法有很多，著名的有隐马尔科夫模型和最大熵模型。……