改进TextRank 的文本关键词提取算法

王俊玲

（山东科技大学计算机科学与工程学院，山东青岛 266500）

0 引言

关键词提取（Keyword Extraction，KE）是指使用一个词或多个词对文本内容进行高度总结与概括，在文本摘要［1］和文本分类［2］中都发挥着重要作用。随着社交网络的发展及用户数量的急剧增加，每天都产生大量需要处理的文本信息。面对海量信息进行处理与分析，如果能够准确提取文本内容的关键词，即能很好地对文本进行分析与概括，从而节省大量时间，提高效率。

随着研究的不断深入，传统人工方法已经无法满足用户需要。传统方法效率低下，实现过程复杂，无法很好地展现文本关键信息，因此对算法进行改进，找到更简单、便捷的方法成为研究热点。本文提出一种改进的TextRank［3］算法，将传统按句子划分的方法转变成按照部分进行划分，并结合图的概念，在每个部分中构建关键词图，最后根据设定的评价指标进行关键词提取打分，确定最终关键词，本文算法适应于较长的文本。

1 相关工作

关键词提取方法主要分为两类：有监督和无监督的提取方法。利用有监督方法提取关键词的步骤可概括为原始数据收集、文本预处理、数据集构建、特征构建、模型分类及对其进行评估。有监督方法包括基于传统机器学习的方法，如Frank 等［4］提出的KEA3 方法使用朴素贝叶斯模型（Naive Bayes，NB）对候选词进行了分类；Turney［5］在关键词提取任务中对比了遗传算法与C4.5 决策树的效果；Wang等［6］采用支持向量机（Support Vector Machine，SVM）筛选关键词，使用的特征包括单词的词频与位置信息。……