基于Solr的分布式实时搜索模型研究与实现*

傅巍玮，李仁发，刘钰峰，黄松立

（1.湖南大学嵌入式系统及网络实验室 长沙410082；2.淘宝(中国)有限责任公司 杭州315100）

1 引言

互联网信息技术的高速发展使人们更加关注如何以最快的时间获取实效数据，并从中挖掘到有价值的信息。获取实时资讯的方法有两种。一是建立实时数据库[1]，保证数据的强一致性（ACID）和高可用性，但其在分布式环境下的扩展能力较为有限；二是建立实时搜索引擎，不仅有理论价值，同时有重大的应用价值[2]。传统的信息搜索技术发展非常成熟，但是在查询精度和不同查询需求上存在许多不足[3]，不能满足信息的实时搜索需求。实时搜索是传统搜索引擎的扩展和延伸，可以分为通用实时搜索引擎[4]和垂直实时搜索引擎[5]。垂直搜索引擎针对某一领域行业的搜索，特点是专、精、深，实时搜索的研究大多集中于垂直搜索领域，如在图片搜索[6]和物联网领域的应用[7]。实时搜索已成为当前搜索引擎领域的热点问题，其核心概括为实时数据获取和实时索引构建两方面。相比传统搜索研究，垂直搜索数据来源相对简单，因此垂直实时搜索的难点问题是分布式环境下的实时索引构建。实时索引构建主要指的是在大规模高并发的分布式环境下，即时提交实时数据构建索引，保证实时数据即时展示以及分布式数据的一致性和容灾[8]。

针对这一难点问题，本文在分布式搜索技术[9]基础上提出一种基于Solr[10]的分布式实时检索模型，模型的创新之处如下。……