基于改进的TF－IDF方法的文本相似度算法研究

周丽杰，于伟海，郭 成

(1.烟台职业学院电教中心，山东烟台 264670;2.烟台市教育局，山东烟台 264003;

3.大连理工大学软件学院，辽宁大连 116620;4.烟台职业学院成教处，山东烟台 264670)

基于改进的TF－IDF方法的文本相似度算法研究

周丽杰1，于伟海2，4，郭 成3

(1.烟台职业学院电教中心，山东烟台 264670;2.烟台市教育局，山东烟台 264003;

3.大连理工大学软件学院，辽宁大连 116620;4.烟台职业学院成教处，山东烟台 264670)

传统的文本相似度算法采用关键词频率表示该关键词在文档中的重要程度，关键词在类别内不同文档中的频率波动使得关键词的权值产生不稳定性，导致文本之间的相似度运算不够准确.本文提出一种基于词语信息量的改进的TF－IDF算法计算关键词的权值，将得到的权值运用于向量空间模型和马尔可夫模型中，分别得到基于向量空间模型的基础相似度和基于马尔可夫模型的语义相似度，将语义相似度和基础相似度相结合，得到文本之间总体相似度.将改进的文本相似度算法运用于文本分类，实验结果表明，在搜狗文本分类语料库基础上，改进的算法相对于传统的文本相似度算法使得文本分类的准确率有了较大地提高.

文本相似度算法;TF－IDF方法;词语关联;马尔可夫模型;文本分类

1 TF－IDF方法

当前，对文本中关键词的权值计算主要采用TF－IDF方法［1］，TF表示关键词在本文档中出现的频率，记为C;DF表示该文本在整个文档集中出现的频率，记为n;IDF表示的是反文档频率，记整个文档集中文档的数目是N，则IDF可……