基于Hadoop的科技成果转化平台设计与实现

王秀慧

（山西大同大学教育科学与技术学院 山西省大同市 037009）

1 引言

近些年随着社会信息化的不断发展，信息数据呈现出爆炸式的增长，科技成果数据也不例外。对于如此庞大的数据，单一的存储服务器模式已经不能满足企业的需求，如何存储海量科技成果数据成为亟待解决的问题；同时企业针对海量科技成果数据不知所措，因为无法准确的查找到本身需要的数据，导致了科技成果转化率低，成为制约企业发展的瓶颈。

针对以上问题，结合科技成果数据的特点与企业对科技成果需求的实际情况，构建了基于Hadoop的科技成果转化平台。该平台数据是以分布式的结构进行存储，通过扩展相应存储设备来对数据进行数据扩容，并且分布式结构极大地降低了平台的耦合度，使其可独立部署[1]；同时运用余弦相似度算法计算数据之间的相似程度，给企业推送所需科技成果数据以及相关数据。这样不仅提升了企业科技成果转化率，而且还提高了科技成果转化的质量，进而达到使企业核心竞争力增强的目的。

2 总体设计

2.1 体系结构

基于Hadoop的科技成果转化平台分为两部分：

（1）通过HDFS（分布式文件系统）来存储海量的科技成果数据，同时应用MapReduce并结合余弦相似度算法计算数据之间相似情况，以便为企业推送所需数据。

（2）采用B/S结构、按照JavaEE标准框架标准设计与实现用户服务，以便企业通过注册登录后可查询所需数据,平台架构图如图1所示。

2 关键技术

2.1 HDFS

HDFS是Hadoop项目的核心子项目，是Hadoop中的存储组件，由于它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS中的数据，因此它也是最为基础的一部分。……