词结合型未登录词识别方法研究

周蕾，朱巧明

（1.常熟理工学院计算机科学与工程学院，江苏常熟 215500；2.江苏省计算机信息处理技术重点实验室，江苏苏州 215006）

词结合型未登录词识别方法研究

周蕾，朱巧明

（1.常熟理工学院计算机科学与工程学院，江苏常熟 215500；2.江苏省计算机信息处理技术重点实验室，江苏苏州 215006）

介绍一种基于词结合提取的未登录词识别方法.该方法对碎片分词后的文本建立二元模型，结合互信息和规则过滤提取由若干个词组合而成的未登录词（组）.测试结果准确率为84.71%，召回率为72.13%.

未登录词；二元模型；互信息

随着互联网的发展，“中文信息处理”日益成为计算机研究的重要领域，而未登录词的存在是该领域研究的一个难题.很多学者对此展开研究，韩艳[1]通过对分词后的碎片建立左右邻信息来识别二元未登录词，其利用统计的方法，对语料库的要求很高，缺少规则的调节；闫蓉[2]应用遗传算法在分词后的碎片中识别未登录词，是一次大胆的尝试，但遗传算法的影响因子比较多，识别的精度有待提高.程冲[3]通过建立多种规则，利用小语料库识别多种领域中的未登录词，但该方法未使用统计方法，单纯依赖规则识别，对规则的要求很高.综观多种方案，我们发现大部分学者选择在分词后的碎片中识别未登录词，缩小了识别范围产生遗漏.本人也在前不久提出了一种基于分词碎片的未登录词识别方案，开发测试的准确率为71.79%，召回率为72.72%，效果并不理想.经过研……