基于万有引力改进的TextRank关键词提取算法

孙福权 张静静 刘冰玉* 姜玉山 多允慧

1(东北大学秦皇岛分校 河北 秦皇岛 066004)2(东北大学 辽宁 沈阳 110819)

0 引 言

文本文档可以由一个或多个简单而有意义的关键词来表示，通过关键词可以了解作者的写作意图。关键词提取技术在文本分类、文本摘要提取、文本聚类、情感分析、信息检索等领域发挥重要作用[1]，且关键词提取在新闻以及其他领域均得到了较为广泛的应用。为此众多学者致力于关键词提取的研究[2-4]。Shrawankar等[4]结合自然语言处理的解析技术，采用关键字和关键短语组合的方法构造出合适标题，从而有助于读者减少阅读时间以获取完整想法。

现有的关键词提取算法主要包括基于无监督的学习模式和有监督的学习模式[5]。但是基于有监督的学习需要大量的、高质量的标注语料，耗费大量的人力物力。因此，目前无监督提取关键词的方法仍为主流方法,无监督方法是将提取任务转化为一个排序问题，从而克服训练语料库和领域偏差的关键挑战。其中基于词图模型、主题模型和TF-IDF词频统计的算法为关键词提取的主要算法。其中基于TF-IDF统计关键词简单易行[6]，但是这种方法忽略了低频词、词语内部之间的语义关系和文本中主题关系的影响。TextRank算法[7]利用词语构成图模型，并根据词语之间的共现频率迭代计算得到关键词。该方法利用文本自身信息就可以获取候选关键词，具有简洁性，故本文采用该算法作为研究的基础算法。

原始的TextRank算法借助于转移概率对词语在文档中的权重进行测算，导致了将高频词汇作为关键词行为的发生。……