分布式检索在异构科技信息资源中的应用及优化

图3 科技资源统一检索描述语言规范(部分)

2.3 检索结果处理

定义1对于某一特定资源R，可能会存储在不同的科研机构内，既存在于机构U1中，也存在于机构U2中。即存在于其资源库L1中也存在于资源库L2中等。将这种存在资源覆盖的情况，记为α。

定义2对于某一特定资源R，只存在于机构U1中，或者机构U2中。即存在于资源库L1或者资源库L2中，将这种不存在资源覆盖的情况，记为β。

2.3.1 基于访问代价的科技资源访问算法

从ES的检索结果来看，对于每一个分布的数据资源，相同记录的访问存在不同的访问开销。例如，某资源同时存储在D1、D2两个数据源库上，但是用户访问这两个库的时间不同，网络性能好的数据源能够极大提高资源的访问速度。所以，在检索结果中需要根据资源的访问时间来对对应的资源进行结果处理，生成排序结果，并利用其他工具为使用者提供建议。如图4所示，是对各机构拥有的重复资源的访问示意图，针对α的情况，当用户访问重复资源的时间AC如图 4中所示时，则AC=19为最终选择的用户最优的数据访问路径。

图4 α情况下，冗余结果的最优化访问示意图

目前在分布式异构环境下的科技资源检索中，衡量用户访问效率的最好计算方式是用户访问资源的时间。当不同机构中存在相同资源时，系统需要为用户提供一条最优的访问路径，即需要将在最短时间内访问到的指定资源返回给用户。这就需要从ES访问存储有相同资源的不同机构的多个访问时间中选择最短访问时间。

本系统是基于B/S的实现，为了准确计算用户访问不同机构数据源的时间，在客户端用户可以使用网页版的ping.js获取访问存储在不同机构的相同资源的时间t，此时得到的t是客户端直接到机构数据源的访问时间。算法简单描述见算法1。

算法1QUserTRequest

Input：R,资源记录；n，资源记录数

Output：AC，资源访问评估时间

1 var array;

2 var AC;

3 for each j in n

4 do

5 var t;

6 ping(j.ip).then(function(delta) {

7 t←delta;

8 array.add(j,t)

9 })

10 Done

11 AC←min(array).t

12 Return AC;

如果访问机构U1，U2，…，Un中资源的时间分别为t1,t2,…,tn，则访问存放相同资源的所有机构的时间集合可表示为：

T={t1,t2,…,tn}

(1)

在α情况下，需要找到集合T中的最小值作为用户的最小访问时间，将对应机构中的资源返回给用户，作为用户的最优访问路径。

2.3.2 算法性能分析及优化

假设某一指定查询记录的数据为M条，前端检索按照PageSize分页，满足查询的某一资源最多存在于N个独立机构内。利用本文设计和实现的检索系统创建索引，则某科技资源最多存在N条重复的索引项。某一用户独立访问N个远程机构中同一资源的时间分别为：t1,t2,…,tN。考虑从用户前端访问ES索引库，响应PageSize的平均时间为Tavg，则获取含有重复索引的一条数据记录的总时间开销为(AC+Tavg)，发起的请求数等于重复索引数N。假设最坏情况下，PageSize中每一条记录都具有N个重复索引项，那么需要发起的Ajax请求为PageSize×N，例如分页PageSize大小为15条每页，共有3个机构，则请求为45个，这是算法2得到的请求开销。显然随着分页记录和多个机构之间的重复数据越来越多，发起的Ajax请求也越来越大。这就需要对该请求方式进行优化，实现过程中的优化算法描述如算法2、算法3所示。

算法2Query

Input： pagesize, 分页大小

Output：分页中包含每条记录所在的位置及评估时间

1 var tmp,array;;

燃烧炉内生成的有机硫是硫磺回收装置有机硫的主要来源，而常用控制方案是将其在一级克劳斯反应器内最大限度地水解生成H 2 S，残余有机硫在尾气处理单元加氢水解反应器中进行转化。在硫磺回收单元各级反应器中，通常一级反应器床层温度为280～360℃，后续各级反应器床层温度略低于此值，而现有工业催化剂性能存在局限性，在较低的反应温度下对有机硫的水解催化性能均较差。尾气处理单元加氢水解反应器床层温度往往在240～330℃，可实现一定的末级催化加氢水解作用，现有主流尾气处理工艺对加氢反应器后的残余有机硫几乎不再进行更深度的转化，将直接被带入灼烧炉燃烧转化为SO2后，通过烟囱排入大气。

2 for each i in pagesize

3 do

4 tmp.t ←UserTRequest(k,i);

5 tmp.ip ←i.ip;

6 array.push(tmp);

7 Done

算法3QueryOptimizer

Input： T, 超时时间；pagesize, 分页大小

1 var tmp,array;

2 for each i in pagesize

3 do

4 if(array.contain(tmp)) {

5 get tmp from array;

6 if(tmp && i.ip==tmp.ip && time

7 i.t = tmp.t

8 }else{

9 tmp.t ←UserTRequest(k,i);

10 tmp.ip ←i.ip;

11 array.push(tmp);

12 }

13 } else {

14 tmp.t ←UserTRequest(k,i);

15 tmp.ip ←i.ip;

16 array.push(tmp);

17 }

18 Done

每次检索返回的PageSize中，若满足要求的第一条记录包含N个索引项，则必然需要N次请求。这个请求操作是必须要发生的，用户在查询同一分页中的记录或者在T时间内发起查询请求时，如果所查资源在同一IP内，就以第一次访问的时间t作为当前记录的访问时间。这样，N条重复记录发起的请求数量最大为N，如前面的15条每页，在T时间内，无论用户获取的记录数为多少，发起的最大数总是等于3，与未优化之前相比减少了80%的请求数。显然，这种方式能够大量减少用户提交的请求数，而其不足在于，用户获取的访问时间可能因为时延等因素，导致一定的误差，但是这种方式综合考虑了访问代价和性能。

3 实验及分析

本研究主要设计了两个实验，首先验证DHRS的可行性(记为：实验一)，然后再针对DHRS中资源访问优化算法的改进性能进行验证(记为：实验二)。DHRS基于Java Web实现，Java运行时版本1.7.0_79；ES版本为1.4.2，操作系统为：CentOS release 6.4，系统配置为Quad-Core AMD Opteron(TM) Processor 2352 CPU@2.10 GHz，内存为4 GB，实验一的测试工具选用JMeter。

3.1 实验一

3.1.1 实验数据

本文实验所使用的数据是由万方提供的部分科技资源文献300万条真实元数据。这些数据来源于不同的服务器、不同的数据库、不同的数据表，能够体现资源的异构性，资源组成如表1所示。

表1 测试使用的数据源

从用户常用查询角度出发，根据库中数据所代表的类型，设计了如下几组常用的科技资源检索条件，这些条件包括了基础以及其组合查询(包含了与、或、非谓词)，同时也具有一定的代表性：

Q1：查询“1999”年公布的科技成果；

Q2：查询在2004年1月1日到2004年1月3日申请的专利；

Q3：查询办学类型中含有“高等学校”字样的学校；

Q4：查询涉及“能源”、“信息”、“资源”或 “资源环境”的项目；

Q5：查询1959年到1999年成立的，职工总数在50人以上的所有机构；

Q6：查询在北京举办的会议中，作者规范单位名称中包含“上海交通大学”的中文会议论文；

Q7：查询“2013”年发表的所有外文论文；

Q8：查询论文编号在“28737000”与“28738000”之间和 “2111800”与“2112000”之间的所有论文；

Q9：查询作者姓名中含有“Mariangela”的外文论文。

3.1.2 单节点检索性能

在单机环境下，根据上述9个不同的查询条件，分别通过DHRS和ES提交，测得其查询响应时间如图5所示。

图5 DHRS系统和ES查询的单机响应时间对比

由图 5可以看出在进行集成测试时，DHRS的整体性能不及ES，但都能够在50～110 ms内获取检索结果，可以满足用户需要。这些性能差异的原因是DHRS在查询时，使用SUDL语言规范来描述查询请求，而查询则是基于ES实现。因此，系统需要先将SUDL语言解析成ES的标准查询指令，查询解析的时间开销视查询文件的大小而定。在DHRS系统中进行测试时，上述9个查询条件被描述为符合SUDL规范的XML文件，其查询文件大小都在1 KB以内，解析查询文件的时间开销在40～45 ms。由于解析过程占用时间开销，DHRS系统必然比直接使用ES进行查询耗费时间。而且对于不同的查询请求，查询解析的时间可能会远大于其实际的查询时间，例如Q4、Q5，所以与ES相比，系统的时间开销主要在于查询文件的解析过程。

3.1.3 多服务器检索性能

配置DHRS系统的ES分布式检索集群，集群节点数从1逐渐增加到6，当节点数增加到大于等于2时，数据集的所有分片及副本都将平衡分配在不同节点上。在此过程中，每增加一个节点，ES都会对索引分片和副本进行重新分配以达到负载平衡。每增加一个节点就分别对上述9个查询请求进行一次测试，测得其查询响应时间的变化如图6所示。

图6 DHRS系统的分布式集群的查询响应时间

从图6中可以看出，在集群节点数逐渐增加时，不同查询条件对应的查询时间都有不同程度的减少，并且在节点数增加到一定数量时，查询响应时间会趋于稳定。由此，可以得到如下结论，在ES检索集群中，上述9个检索请求基本上都能够在较短时间内完成。并且随着集群节点数的增加，检索响应时间也随之减少，说明可以通过增加节点来提高性能。当集群数为5时，检索性能趋于稳定，已达到当前系统软、硬件配置为当前检索所能提供的最大性能。

3.2 实验二

在三台服务器上分别部署DB1、DB2、DB3(见表1)数据库，并利用ES分别构建索引，模拟分布式异构文献资源，客户端使用Chrome(版本53.0.2763.0)浏览器。按照15条记录分页，记录大小平均1 KB，这样可以减少DOM渲染带来的影响，每条记录在本实验环境下的平均响应时间如表2所示，利用Ping.js的响应时间进行性能比较。

表2 平均响应时间

通过DHRS查询数据返回15条分页记录，在客户端通过Ajax请求对15条记录进行数据访问评估、测试性能如图7所示。其中，(a)和(c)是在算法2下执行的性能；(b)和(d)在算法3下执行的性能；在(b)中，第2至第15条记录的响应评估时间由第一条记录估算。在(d)中第6至第8条记录，由第5条估算，第10、12和15条以此类推。

(a) 总耗时1 067 ms

(b) 总耗时63 ms

(c) 总耗时1 055 ms

(d) 总耗时626 ms图7 测试性能结果

本实验在局域网内模拟不同机构提供相同数据集，通过对比实验，评估了不同算法实际执行效果。在T=5 s的时间内，算法2每次都要对不同机构的数据访问，这样带来了严重的性能问题，从图7(a)和(c)可以看出总耗时在1 s以上。数据虽然在3台服务器上都有分布，但是通过UserTRequest选中了Server2，因此数据信息均来自同一IP，所以根据算法3，图7(b)只需要获取第一条记录即可知道其他记录的访问时间，即总耗时为63 ms，与(a)相比，性能提高了94%。图7(d)则根据三台服务器不同响应时间选中了不同的服务器，一旦后续数据在同一记录上则可以很大程度减少额外开销。在本实验环境下较图7(c)性能提高了41%，综合来看性能较未优化前提高了68%，说明优化后算法3的可行性和高效性。

综上所述，DHRS通过集成ES能够充分利用ES的分布式检索优势，可以方便地整合异构科技资源。在本实验环境给定的检索条件下，虽然引入了中间描述语言对整体的检索性能有一定影响，但查询条件仍能在较短的时间内处理百万级数据。当数据在多个机构之间存在重复记录的时候，通过优化检索结果访问时间，可以极大地提高系统的性能。

4 结 语

针对实际应用需求，本文研究了基于弹性搜索技术的分布式异构科技资源的高性能检索解决方案,重点对分布式异构科技资源检索中出现的问题进行了分析，并给出了可行的解决方案。设计并实现了基于弹性搜索的分布式异构检索系统DHRS以及描述异构资源查询的中间描述语言，解决了异构科技资源的统一整合和规范化查询问题。通过优化异构科技文献检索中的资源访问算法，提高了异构文献资源的访问效率。该研究可为分布式科技资源统一访问、异构科技资源数据融合提供借鉴和参考。在后续工作中将进一步优化SUDL语言的解析引擎。

[1] 焦玉英,温有奎,陆伟,等.信息检索新论[M]. 武汉：武汉大学出版社, 2008：1-17.

[2] Sato N, Uehara M, Sakai Y, et al. Distributed in-formation retrieval by using cooperative meta search engines[C]//IEEE. Distributed Computing Systems Workshop, 2001 International Conference on, 2001:345-350.

[3] 许静芳. 指南针联邦:突破集中式搜索之困[J].中国教育网络, 2007(6):14-16.

[4] 张渊源,张琴燕,蒋关富. 面向Web电子产品信息分布式检索系统的设计与实现[J].计算机应用, 2013,33(4):1026-1030.

[5] Cacheda F, Carneiro V, Plachouras V, et al. Performance analysis of distributed information retrieval architectures using an improved network simulation model[J]. Information Processing and Management, 2007,43(1):204-224.

[6] Paltoglou G, Salampasis M, Satratzemi M. Collection-integral source selection for uncooperative distributed information retrieval environments[J]. Information Sciences, 2010, 180(14):2763-2776.

[7] Romero-Tris C, Castellà-Roca J, Viejo A. Distributed system for private web search with untrusted partners[J]. Computer Networks, 2014,67(5):26-42.

[8] Das S, Shuster K, Wu C, et al. Mobile Agents for Distributed and Heterogeneous Information Retrieval[J]. Information Retrieval, 2005, 8(3):383-416.

[9] Armbrust M, Fox A, Griffith R, et al. A view of cloud computing[J]. Communications of the Acm, 2010, 53(4):50-58.

[10] 吴广印.分布式学术搜索引擎研制及其大数据应用[J].数字图书馆论坛, 2013(6):10-18.

[11] 吴广印. RMSCloud与科技文献云服务[J].中国科技资源导刊, 2013(5):72-78.

[12] 吴广印. RMS系统架构与情报检索系统的功能需求研究[J]. 数字图书馆论坛, 2013(6):31-38.

[13] Baezayates R, Castillo C, Junqueira F, et al. Challenges on Distributed Web Retrieval[C]//IEEE, International Conference on Data Engineering. IEEE, 2007:6-20.

[14] Elasticsearch[EB/OL].[2016-08-11]. http://www.elasticsearch.cn/.

[16] Apache Lucence [EB/OL].2016-08-11]. http://lucene.apach-e.org/.

[17] 陈俊杰,黄国凡. 应用Elasticsearch重构图书馆站内搜索引擎[J]. 情报探索, 2014(11):114-119.

[18] JDBC plugin for Elasticsearch[EB/OL]. [2015-05-21].http-s://github.com/jprante/elasticsearch-jdbc.

[19] 吴广印,杨奕虹,杨贺. 从知识获取看知识组织——基于“知识获取五要素”的知识组织研究与实现[C]//数字图书馆高层论坛2010年年会论文集, 2010：29-36.

[20] 吴广印. 知识获取“五要素”的研究与实践[C]//中国索引学会第三次全国会员代表大会暨学术论坛论文集, 2008：29.

APPLICATIONANDOPTIMIZATIONOFDISTRIBUTEDHETEROGENEOUSRETRIEVALINSCIENTIFICANDTECHNOLOGICALINFORMATIONRESOURCES

Li Cheng1Tong Bin1Liu Yingbo1,2*Wu Ping2Wang Feng1,2Wen Ruojin2Chen Yajie1

1(ComputerTechnologyApplicationKeyLaboratoryofYunnanProvince,KunmingUniversityofScienceandTechnology,Kunming650504,Yunnan,China)2(YunnanAcademyofScientificandTechnicalInformation,Kunming650500,Yunnan,China)

When using the traditional centralized retrieval method to deal with massive heterogeneous technology information resources, there are many problems such as single point of failure, poor performance and extensibility. To solve this problem, a distributed high-performance retrieval system (DHRS) applied to heterogeneous technology resources is proposed. First, key techniques of the DHRS were studied and analyzed. Aiming at the problem of large access cost of retrieval results, an evaluation algorithm based on access cost was proposed. Secondly, the algorithm was optimized according to the practical application scenario. The number of requests after optimization was reduced by 80%, and the performance in the experimental environment was improved by 68%. Finally, the test of real data sets proves the feasibility of DHRS retrieval of large amount of scientific and technological resources. It can be applied to search and extend performance requirements of the scene.

Scientific and technological resources Distributed retrieval Massive data ElasticSearch Heterogeneous resources

TP3

A

10.3969/j.issn.1000-386x.2017.10.013

2017-01-14。国家自然科学基金项目(61462053)；中国博士后科学基金项目(2016M602730)。李城，硕士，主研领域：机器学习，人机交互。童彬，硕士。刘应波，博士。邬平，高工。王锋，教授。文若瑾，助理研究员。陈亚杰，硕士。