基于MapReduce的术语权重计算方法研究*

王 锴 ，施水才 ，2，王 涛 ,2，吕学强 ，2

（1.北京信息科技大学中文信息处理研究中心北京 100101；2.北京拓尔思信息技术股份有限公司 北京100101）

1 引言

领域术语[1]是各个领域的核心词汇，和领域内其他词或短语相比，其更能代表本领域的特征信息。如何从领域内众多词汇中识别出最能代表领域特征信息的领域术语一直是广大研究者的研究重点。通常采用传统信息检索中的 TF-IDF[2]（term frequency-inverse document frequency）算法，它是一种统计方法，用以评估一个字词对于一个文件集或一个资料库中其中一份文件的重要程度。

由于领域术语是相对整个领域而言，因此需要对TF-IDF方法进行改进，使其能够用于评估领域内的词或短语对于整个领域文献集的重要程度。在计算领域术语权重时，通常采用程序和关系数据库不断交互的方式，一步一步实现术语权重的计算，整个过程相对复杂。本文在深入研究云计算[3]的思想后，尝试在云平台中实现领域术语权重的计算。通过使用MapReduce[4]编程模型，以分布式方式分步骤计算术语权重。

本文将详细展示传统计算方法和基于MapReduce的计算方法的执行步骤，通过对比两者的运行效率和方法复杂度，分析X-射线领域术语权重计算的实验结果，并最终得出结论。

2 研究背景

2.1 MapReduce模型

MapReduce是一种编程模型，它与处理/产生海量数据集的实现相关[5]。该模型主要包含Map函数和Reduce函数两部分。用户通过Map函数处理键/值对，产生一系列的中间键/值对，然后使用Reduce函数合并所有的具有相同键/值的中间键/值对部分。……