基于主题模型的资源选择算法*

董守斌 谢一帆 袁华 陈建豪

(华南理工大学 计算机科学与工程学院∥广东省计算机网络重点实验室， 广东 广州 510006)

基于主题模型的资源选择算法*

董守斌 谢一帆 袁华†陈建豪

(华南理工大学 计算机科学与工程学院∥广东省计算机网络重点实验室， 广东 广州 510006)

在具有多个真实搜索引擎的联邦检索环境下，基于小文档的资源选择算法由于难以估计每个搜索引擎的真实网页数量，因此准确率较低.针对这个问题，文中提出了基于主题模型的资源库描述方法，利用LDA主体模型获取每个资源库的描述词；在此基础上提出新的资源选择算法，结合垂直领域权重和词向量计算资源库和查询请求之间的相关度，并根据相关度大小获取最终资源选择结果.实验结果表明，基于主题模型的资源选择算法能很好地提高资源选择效果，可有效应用于分布式搜索引擎的联邦检索环境.

分布式检索；资源选择；主题模型；垂直领域；词向量

资源选择是典型分布式检索系统需要解决的主要问题之一[1].当给定一个查询和一个文档资源库集合，资源选择意在判断和选择出与该查询相关的资源库.资源选择方法可用于不同的信息检索应用，如聚合搜索、桌面搜索、联邦检索等.

早期的资源选择算法将每个资源库看成一篇大文档，然后使用标准的信息检索模型计算出查询与资源库的相关性，如CORI方法[2]和CVV方法[3]等.这种将资源库看做大文档的方法消除了……