基于排序学习算法的智能检索系统

王镇宇，郑扬飞

(华北计算技术研究所系统八部，北京 100083)

0 引 言

面对庞大的数据量和复杂的数据组织结构，传统的关系型数据库在存储和检索数据方面的性能并不令人满意。鉴于存储和检索数据的复杂性，对信息检索功能提出了更高的要求。工业界常用方法是将数据迁移到集成了数据存储和检索功能的垂直分布的搜索引擎[1]，例如Solr、Elasticsearch等。尽管垂直分布式搜索引擎[2]提供的域指定语言(Domain Specific Language, DSL)查询可以满足大多数复杂的检查请求，但它要求工程师对检索请求和文档之间的相关性进行详细分析，并对垂直领域的数据有详尽的了解，在此之上进行信号的过滤、放大等建模。这对提高检索模块的可扩展性和检索性能等功能带来了挑战。本文基于Elasticsearch(ES)进行文本的初步检索和排序，使用机器学习排序算法(Learning to Rank, LTR)[3]建模对返回的结果进行排序，以最大程度地检查请求和结果之间的相关性[4]，同时优化相关性评分策略使评价标准考虑文本的词频及文本长度，设计并实现一套智能检索系统。

1 排序学习算法

1.1 排序学习算法分类

典型的排序学习模型如图1所示，训练集为向量化的检索集，通过学习系统学习出的模型，对测试集中的检索q进行排序相似度预测打分。排序学习算法按照输入输出空间、损失函数等定义的不同，可以分为3类。

图1 排序学习模型框架

1.1.1 Pointwise方法

输入为单个文本的特征向量，输出则包括了每一个文本的相关性评分，通过对相关性评分[5]的排序输出排序学习的结果。……