基于贝叶斯分类器和条件随机场模型的词义消歧对比研究

屠明萍

（南京师范大学 文学院，江苏 南京 210097）

词义消歧就是在某个特定的上下文中，确定某个多义词在该上下文中特定义项的过程［1］。词义消歧作为一个中间任务，对自然语言处理十分重要，很多应用都需要经过词义消歧才能更好地发挥作用，比如机器翻译、信息检索、自然语言内容语义分析、语法分析、语音识别和文语转换等都需要词义消歧的结果。词义消歧是一种自然语言处理技术，它根据知识获取的方法可分为两种：一是基于词典的消歧方法，指把机读词典（语文词典或义类词典）作为外部知识源，它本质上是一种基于规则的方法，有时也用到简单的统计，但并非语言模型意义上的统计；二是基于统计的消歧方法，由研究者给出多义词形的义项数并分义项提供训练用的例句，例如贝叶斯分类器（Naive Bayes Classifier，NBC）。

条件随机场模型（Conditional Random Field，CRF）自从被引入自然语言处理以来，在词性标注、专名识别和语义角色标注中都取得了很好的效果，而它在词义消歧任务中的出色表现更是吸引了很多人的注意。本文通过“保守”一词的词义消歧实验将贝叶斯分类器和条件随机场模型的消歧效果进行了比较，进而根据实验结果对比分析两种模型的优缺点。

1.两种典型的词义消歧模型概述

1.1贝叶斯分类器（NBC）

贝叶斯分类器是一种用于单点分类的概率模型，是贝叶斯公式的推广，适合处理单点分类问题。所谓“单点分类”，是指序列中的一个符号对应于什么状态，与序列中的其他符号对应于什么状态无关。……