基于MMSeg分词的多部主题词表联合标注研究与实现

陈晓燕

(绍兴职业技术学院,浙江 绍兴312000)

基于MMSeg分词的多部主题词表联合标注研究与实现

陈晓燕

(绍兴职业技术学院,浙江 绍兴312000)

为了解决多部主题词表联合标注中标注词条数量大、子串较多等问题,本文提出了基于MMSeg分词的标注方法.采用MMSeg分词算法将待标注文本先切分形成词串再进行标注,并改进了分词词典从而支持子串的标注,保证了较高的召回率.还就相关内容进行了研究并给出了具体实现.运行结果表明基于MMSeg分词的多部主题词表联合标注在标注速度、召回率和精确率方面均达到了实用要求.

分词词典;MMSeg算法;标注;消歧;主题词表

基于主题词表的标注研究中,闫莹莹[1]等利用汉语科技词系统对文献自动赋词标引进行了应用研究,其将人工标引的文献主题词作为训练集,采用贝叶斯分类算法,将符合人工标引结果作为正集,不符合的作为反集,形成训练模型,对新文献计算候选词权值作为人工标引的辅助.李鹏[2]等提出了叙词表多表联合标注系统的设计方案,采用自动标注与手工标注相结合的方式进行标注,并以皮肤病领域为例进行总结了多表联合标注可能的应用场景.

利用多部主题词表进行联合标注,存在以下几个难点:(1)词表多,词表之间词条的包含关系较常见.最大匹配存在问题,在词表内部可以最大匹配,但多个词条之间有词条之间的包含关系.(2)系统基于BS结构,存在多个用户,每个用户存在多个词表……