基于大数据的科技专家库管理系统构建研究

2020-11-25 23:19杨高均
电子技术与软件工程 2020年24期
关键词:专家库数据挖掘管理系统

杨高均

(贵阳市服务外包及呼叫中心产业发展办公室 贵州省贵阳市 550001)

近年来,我国对科技研发和生产的重视程度不断提高,并要求各省市科技业务部门积极开展科技专家库管理系统建设工作,以期利用科技专家库管理系统这一汇聚科技专家的信息智库为科研人员、科技管理者等提供良好的信息服务,从而促进其科研决策更加精准和管理质量更加高效。然而,我国当前大部分省市的科技专家库管理系统构建现状来看,不少省市构建的科技专家库管理系统对大数据技术应用不足或应用不合理,从而导致构建的专家基础资源少、数据库专家信息结构单一,难以满足大数据时代背景下,科技专家库管理系统海量的数据信息管理要求,从而难以充分发挥科技专家库管理系统的信息服务作用[1]。基于此,就需要各科技业务部门工作人员积极探索构建基于大数据的科技专家库管理系统的方法,构建一个科学、完善的科技专家库管理系统,才能为相关使用者提供良好的科技信息和咨询服务,从而才能推动我国科技不断进步和发展。

1 构建基于大数据的科技专家库管理系统的意义

科技专家库管理系统指的是收集各行业科技评审专家及其咨询意见和建议的信息智库,利用该信息智库为相应的科技项目抽取合适的评审专家,以减少科技决策失误和促进科技成果更好地进行转化。从这个概念可以看出,科技专家库管理系统包含的管理内容众多,基于此,就需要相关技术人员积极构建基于大数据的科技专家库管理系统,利用大数据技术对专家信息数据进行全面收集和充分挖掘,并进行结构化处理,才能实现专家精确分类。并且,利用大数据技术进行数据转换、传输,还能更好地实现数据共享,从而有助于提升科技专家库管理质量和效率[2]。

2 我国基于大数据的科技专家库管理系统构建现状及存在的问题分析

随着我国科技创新评审和咨询项目的不断增多,我国不少省市科技业务部门均开展了科技专家库管理系统建设工作,但是,从我国当前的科技专家库管理系统构建现状来看,大部分省市构建的科技专家库管理系统信息化程度和对大数据技术的利用程度均较低,如不少科技业务部门按照各自管理需要构建了各类专家库管理系统和对专家进行标准分类入库,并按照评审项目所属技术领域或学科大类对项目进行分组,然后,根据分组统一标准匹配入库专家,虽在一定程度上促进了各类专家的信息标准规范与科技业务部门管理需求和本级所属业务相符,并实现了与评审项目对应的专家合理抽取[3]。但是,在实际建设过程中,也存在不少的问题,如:

(1)专家基础资源少,指的是构建的科技专家库管理系统平台中各专家信息系统相互独立,分别由不同的部门管理和使用,从而导致科技专家信息资源过度分散,相互之间难以进行有效联通和共享,且专家信息来源方式单一和专家基础资源少,多是专家自我填写,常会导致库有专家数量难以匹配参评科技项目数量要求。

(2)数据库专家信息结构单一,当前大部分科技业务部门多是采用关系数据库线性表描述和存储数据库专家信息关系及相关数据信息,这种信息结构描述方式不仅会造成系统相关数据信息的重复和叠加,还会影响数据库专家信息的全面和高效展示,从而会使科技项目对评审专家的精准匹配需求受到一定影响。

3 构建和优化基于大数据的科技专家库管理系统的方法

要构建一个合理和优质的基于大数据的科技专家库管理系统,首先就需要做好专家库管理信息系统架构设计,然后,采用关键性的大数据技术做好专家管理信息系统设计,下面是笔者总结的专家库管理信息系统架构设计方法及专家管理信息系统设计方法。

3.1 专家库管理信息系统架构设计方法

基于大数据的科技专家库管理系统指的是以大数据技术作为基础,联合科学的专家库管理信息系统架构设计方法将科技评审专家、科技项目、科技文献、进行科技研究所需的仪器设备、成果等科技创新要素进行有机结合,从而为科研人员、科技管理者、社会公众等开展专家推荐、咨询、管理和科研决策等活动提供良好的信息服务,要达到这一目标要求,就需确保设计和构建的专家库管理信息系统架构包含基础数据层、数据存储分析层和数据服务层三个子系统[4]。

3.1.1 基础数据层设计

为确保科技专家库管理系统能够为各类用户提供完善的科技信息服务,首先,就需要设计基础数据层,该数据层应涵盖专家信息基本库、专家库接入管理系统的历史项目数据、现有项目数据以及其他各类与科技计划管理相关的数据,如机构信息库、人员信息库、论文资源库,只有具备这些海量的数据,才能实现系统对评审专家的精准匹配需求[5]。

3.1.2 数据存储分析层设计

通过设计和构建基础数据层虽能为科技专家库管理系统获取海量的数据信息,但是,这些数据信息存在结构各异、类型和标准不一等特点,若直接将这些数据信息提供给用户,将会导致专家标准规范多,从而也难以满足精准的匹配需求,为解决这一问题,就需要设计数据存储分析层,利用该分析层和据识别、数据传输、数据感知等大数据技术对专家库中的基础数据进行汇聚、标准清洗及加工处理,最后形成数据中心库,该数据中心库不仅能对相关数据进行分析、计算和关联分析,同时还能自动将最终得到的分析结果传输给数据服务层,以促进数据服务层为用户提供良好的数据服务。

3.1.3 数据服务层设计

为给各类用户提供良好和高效的科技项目咨询、专家管理和科研评审等服务,就需要根据科技项目的实际业务需求,对大数据技术、互动交流技术、互联网可视化技术等进行有机整合,这样不仅能有效实现专家库管理信息系统的合理应用,还能实现专家库管理信息前端的显示,从而能提升用户对科技专家库管理系统使用的满意度[6]。

3.2 专家管理信息系统设计方法

完成专家库管理信息系统架构设计和构建后,便是采用合理的大数据技术进行专家管理信息系统设计,常用的大数据技术有数据存储技术、大数据挖掘分析技术等,构建的专家管理信息系统主要包含了专家管理和专家推荐两大类别,下面具体介绍构建专家管理信息系统应用的大数据技术及方法。

3.2.1 专家管理信息系统设计和构建中应用的大数据技术

数据存储技术、大数据挖掘分析技术不仅是两项关键性的大数据技术,同时也是构建专家管理信息系统必不可少的两大技术。

(1)数据存储技术,上面已说到基础数据层中的数据具有海量、结构各异、类型和标准不一等特点,这主要是因为这些数据来源于不同类型的数据库,而不同类型的数据存储和管理方式有存在显著的差异,一般来说,数据信息可分为非结构化和结构化两种类型,其中,结构化数据信息多采用关系型数据库进行存储和管理,非结构化数据信息存储和管理就相对复杂,且相比于单纯的非结构化数据信息,海量异构的非结构化数据信息存储和管理更加复杂,对此,为实现这些数据信息的结构、类型统一,就需要采用No SQL 数据库(HBase)、布式文件系统(HDFS)、大数据仓库(Hive)、MPP 数据库等大数据存储技术对一些零散的数据信息进行有机整合、实时处理、存储和管理,才能有效实现结构化数据、非结构化数据的合理转换与存储。

(2)大数据挖掘分析技术,指的是采用文本分析、关联分析、回归分析、网络分析、聚类分析等大数据挖掘分析技术获取各类基础数据中隐藏的有价值的信息,才能为用户在海量的数据库中快速、准确地匹配到其所需的数据信息。由于科技专家库管理系统本身是一个数据规模庞大、数据类别多且数据分散的系统,若采用传统的数据挖掘分析技术对其进行处理,不仅要耗费较长的时间,同时也难以确保数据挖掘分析结果的有效性,而采用大数据挖掘分析技术则能借助于科学的数据挖掘分析方法对数据信息进行挖掘分析,如在文本分析方法中可采用关键词提取、词义联系、自动摘要、词性分析、分词工具、依存文法、汉字转拼音、繁体转换、简体转换等多种技术对相关数据信息进行多维关联分析,并形成关系图谱,从而能实现数据信息的高效处理[7]。

3.2.2 专家管理信息系统设计和构建方法

构建基于大数据的科技专家库管理系统的最终目标一方面是为科研人员、科技管理者、社会公众等系统使用用户提供高效的信息服务,另一方面还能为科技专家提供科学的管理服务,要同时达到这两个目标要求,就需要以大数据技术为技术基础,以信息技术为辅,根据专家库管理系统业务需求合理设计和构建一个科学的专家管理信息系统,该系统应由专家管理和专家推荐两部分组成,才能实现科技专家的规范、高效管理和为用户提供良好的数据支撑及科技咨询服务。

(1)专家管理。在构建专家管理信息系统过程中,构建人员应以大数据存储技术为主要手段,以信息标准规范为基准,全面采集或征集科技专家相关的信息,并采用大数据信息挖掘分析技术对专家信息进行动态化和高效管理,另外,还需严格做好筛选出的有价值的专家信息的入库、出库审核工作,才能全面提高专家管理设计和构建质量。

(2)专家推荐。为实现评审专家与科技项目的精准匹配以及根据科技项目特点为用户提供良好科技咨询服务等功能,在设计和构建专家推荐系统过程中,构建人员需采用专家数据分析技术联合关联分析技术对多维度的专家信息进行采集和分析,如学历、基本信息、工作经历、承担项目、荣誉、科研成果等,并生成专家信息,然后,利用支撑、人才称号等限制条件对入选的专家进行层层筛选,这样不仅能促进参评项目或咨询服务与专家实现精准化匹配,还能提高系统的专家推荐效率。完成专家推荐系统构建后,系统管理人员还需对专家推荐系统进行科学评价,才能全面提升专家推荐和科技评审质量[8]。

4 结语

科技专家库管理系统是一个收集了各行业科技评审专家及其咨询意见和建议的信息智库,该信息智库具有数据信息量大、管理相对复杂等特点,需要借助于大数据技术对相关信息数据进行全面收集、充分挖掘、结构化处理、存储和管理,才能提高科技专家库管理质量和效率,从而才能为相关使用者提供良好的信息服务,然而,当前不少科技业务部门工作人员并未掌握构建基于大数据的科技专家库管理系统的方法,基于此,笔者总结了专家库管理信息系统架构设计方法,包含基础数据层设计、数据存储分析层设计及数据服务层设计,另外,还需采用数据存储技术、大数据挖掘分析技术等关键性大数据技术做好专家管理、专家推荐两大专家管理信息系统构建,才能实现科技专家的规范、高效管理和为用户提供良好的数据支撑及科技咨询服务,从而才能推动我国科技水平的不断发展和进步。

猜你喜欢
专家库数据挖掘管理系统
基于James的院内邮件管理系统的实现
基于LED联动显示的违停管理系统
专家库
海盾压载水管理系统
基于并行计算的大数据挖掘在电网中的应用
一种基于Hadoop的大数据挖掘云服务及应用
电力终端智能检测专家库管理系统
基于RFID的仓储管理系统实现
基于GPGPU的离散数据挖掘研究
云南省综合评标专家库系统搭建