基于高斯词长特征的中文分词方法

张 义，李治江

(武汉大学 印刷与包装系，湖北 武汉，430079)

基于高斯词长特征的中文分词方法

张 义，李治江

(武汉大学 印刷与包装系，湖北 武汉，430079)

中文分词是中文信息处理的基础，在语音合成、中外文翻译、中文检索、文本摘要等方面均有重要应用。在中文分词的任务中，存在的主要问题在于可用有效特征较少，分词准确率较低，如何有效的获取和使用分词特征是关键。该文从中文文本生成的过程出发，基于词长噪声的高斯分布特性，提出利用上下文的词长特征作为分词特征。实验表明，在封闭测试中，采用条件随机场模型，使用该特征对现有的实验结果有提高作用。

高斯词长；条件随机场；中文分词；自然语言处理

1 引言

中文分词是将中文文本中连续的字序列转变成词序列的过程，在语音合成、中英文翻译[1]、中文检索、文本摘要等方面均发挥着重要作用。

中文分词方法的研究方向大体分为三个方面。第一，使用预定义的词典信息，分词词典是词语规范、未登录词定义的集中体现。接着借助词典采用正向、逆向[2]、最大[3]、最小匹配查找词典，决定是否为词。采用词典信息的方法，最大的缺点就是对未在词典中出现的词语较难识别，需要采用其他方式予以弥补；第二，不使用分词语料，直接使用待分词语料库进行无监督的学习，使用的方法有互信息[4]、t-测试差、边界熵[4]、期望值最大化[5]、最小描述长度[6]、描述长度增益[7]等。无监督的学习方式不需要人工制作分词语料，然而需要手工设定提取阈值，并且单纯使用此方法的准确率没有超过90%；……