TF-IDF 模型和LSI 模型文本相似度算法的应用

马伟彬

（国家知识产权局专利局专利审查协作广东中心 广东省广州市 510700）

随着计算机技术的不断进步，自然语言处理技术得到快速发展。文本相似度计算是自然语言处理中的重要内容[1]。在自然语言处理中，文本相似度计算用于度量不同文本之间所表达的语义的相似程度。基于文本相似度计算相关技术被应用到机器翻译、信息检索、文本分类、自动摘要、舆情分析、语义感情分析、对话系统、论文查重等领域[2]。

文本相似度计算在专利检索实践中也有广泛应用。Patentics 进行语义检索时通过对相关对比文件的相似度进行从高到低的排序[3]。incopat 进行语义检索时会选择优先显示相关度比较高的对比文件[4]。智能检索系统中，语义检索通过计算文献之间的相似度，然后按相似度高低给出文本语义最接近的文献。

词频-逆文档频率（Term Frequency-Inverse Document Frequency，TF-IDF）模型、潜在语义索引(Latent Semantic Indexing，LSI）模型是常见的文本相似度计算模型，常用于自动评分系统以及网页搜索和 DNA 序列匹配中[5][6]。

和网页、试卷、DNA 序列相比，专利文献具有格式规范，篇幅较长，有效信息出现频率较低的特点。专利文献一般包括说明书、权利要求书、说明书附图、摘要等部分[7]。其中说明书摘要是说明书记载内容的概述。说明书摘要记载发明的名称和所属的技术领域，并清楚地反映所要解决的技术问题、解决该问题的技术方案的要点以及主要用途。说明书摘要通常附有插图。专利文献的篇幅较长，通常超过数千字符，增大了文本相似度计算的难度。……