大数据类别标注与共享平台的设计与实现

周文静+汪元会+唐鑫+陆伟

摘要：该文针对目前资源共享平臺的现实需要，对大数据类别标注与共享应用进行需求分析，提出了大数据类别标注与共享平台的功能和技术架构，讨论了平台实现涉及的关键技术。利用Java、JavaScript等语言以及大数据存储等技术，研发了共享平台系统。该平台方便人们查阅和共享资源，把分散的资源形成整体优势，互惠互利，共同发展。

关键词：共享平台；类别标注；大数据存储；集成评价

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）35-0005-02

1 背景

在当前互联网背景下，随着信息技术与网络技术的快速发展，很多的信息资源都可以在网络上进行统一管理，为了能够对这些资源更高效的存取与管理，数据堂、百度文库等一些资源共享平台应运而生。而人们的学习模式也有从传统学习向网络学习转变的趋势，资源共享平台的出现，加速了这种模式的转变。相较于上述传统的资源共享平台而言，大数据类别标注与共享平台的特色在于能够基于网络实现海量数据的上传与共享，以及对数据进行人工与自动化标注，加快资源的检索速度以及提高检索资源的相关性。同时系统能根据广大用户的集成评价判断数据资源的重要性和好坏性并做自动化处理，提高平台资源的质量。

2 系统功能需求

2.1 大数据类别标注与共享平台需求分析

系统主要实现平台海量数据的上传与共享以及对数据进行自动化检阅并标记。实时监控平台数据，对于具有负面影响力的数据进行自动化处理。通过标签化数据，对数据进行分类。实现用金币购买数据以及评价平台数据的功能。主要功能如下：

用户登录注册：用户需要注册账号登录后才能进入本平台，也可以通过第三方平台账号绑定登入本平台。

资源上传与类别标注：平台资源由用户上传共享，上传成功的资源需要自动标注类别以方便资源管理。

资源快速搜索：用户想在海量的数据中找到自己想要的资源的难度是很大的，因此用户可以通过输入关键词进行查询，系统会将查询结果反馈给用户。

资源下载与评价：用户需要在登录状态下支付金币购买所需资源的下载权限，购买成功的用户可将资源下载到本地。成功下载某资源后，才可对该资源进行评价。系统会根据平台用户的集成评价，对于具有负面影响的资源进行自动处理。

管理个人资源：用户在登录后可以浏览自己上传的资源，同时也可以对自己上传的资源进行删除操作。

2.2 大数据类别标注与共享后台管理需求分析

系统后台管理主要是系统管理员对用户、资源、评价以及类别等信息进行管理操作，包括删除、添加。管理员能够对所有用户上传的资源进行删除管理，对资源评价进行删除管理以及对类别进行添加、修改管理等。

3 系统框架设计

本系统采用了J2EE分层架构（表现层、业务逻辑层、和数据访问层）。MVC三层体系将业务规则、数据访问等操作放置在中间层处理，客户端不直接与数据库交互，而是通过控制器与中间层建立连接，再由中间层与数据库交互。 为提高应用程序的开发效率，减少系统的复杂度，系统采用了SSM框架（Spring MVC，Spring和MyBatis），SSM框架的运用使得系统耦合度更低，更轻量级，效率更高。数据库采用MS SQL数据库存放数据，具体的总体架构如图1所示：

4 系统功能设计

4.1 功能1—第三方账号登录

该功能通过使用OAuth2.0协议来实现，OAuth是一个关于授权开放的网络标准，它允许用户授权第三方移动应用访问他们存储在其他服务器上的信息，而不需要将用户名和密码提供给第三方移动应用或分享数据的所有内容。具体功能见图2。

流程图说明：

1） 用户选择第三方平台账号登录（QQ微信账号）。

2） 系统验证并获得UID等信息，通过UID查询本地账号绑定信息。

3） 系统判断如果用户之前有过绑定则可以直接使用第三方账号实现登录本平台。

4） 系统判断如果用户没有绑定过则继续判断用户是否有本地账号。

5） 如果用户有本地账号则直接登录，否则需要经过注册才能登录。登录的过程中系统会将UID与当前账号绑定。

4.2 功能2—资源上传，自动标注

资源上传使用jQuery File Upload插件来实现。jQuery File Upload是功能强大的jQuery文件上传插件，它使用XHR作为上传方式，可以实现批量上传、超大文件上传、图片预览、拖拽上传、上传进度显示、跨域上传等功能。

自动标注通过语义识别机制实现。数据字典中预先定义了资源类别的名称，用户上传资源时需要填写资源的主题。我们设计了语义识别算法，分别检索数据字典和用户填写的主题并进行比较，若主题中能匹配到数据字典中的类别则将该资源标注为该类别，否则给资源加上特殊标注。数据库中带有特殊标注的资源是语义识别机制无法识别的，这部分将由系统管理员人工对该类资源做出处理。具体流程如图3所示。

语义识别算法的描述：

1） 查询数据库中资源类别表中的所有资源类别。

2） 定义用于存放查到的所有资源类别的类别集合和用于存放用户填写的资源主题的主题内容集合。

3） 循环遍历两个集合，并判断集合的各项是否有相同的。若存在相同项则说明匹配成功，循环结束并将类别集合中的该项内容保存；若没有相同项则将预先规定好的用于特殊标注的内容保存下来并用于后续资源处理。

4.3 功能3—在线支付

系统提供用户通过在线支付购买金币功能，我们通过接入支付平台提供的SDK来支持移动端以及PC端的多种主流支付通道。具体流程如图4所示：endprint

图4 在线支付时序图

时序图说明：

1） 用户在我们共享平台选择支付方式（微信或支付宝），商户服务器给出响应。

2） 用户发起支付请求，服务器传回支付凭证。

3） 用户输入支付信息完成支付，支付通道异步通知支付結果并展示支付结果页面。

4.4 功能4—资源快速检索，资源下载

资源快速检索：数据库中存放了各个资源的存储位置，系统提供检索功能供用户筛选需要的资源。用户下载资源时，后

台将获取资源存储位置，并通过流的方式实现下载。由于资源量的增大，检索速度会降低。为了提高检索的效率，我们利用Hadoop对大数据进行分布式处理以达到对数据的存储优化。

4.5 功能5—资源评价正负向识别

系统设置了用户对资源评价的权限，只有已下载资源的用户才可对该资源进行评价。系统会提供两个选项（正向和负向）供用户选择，系统根据用户的选择将评价存入数据库中并做累计操作，同时计算出两种评价占总评价的百分比。最终，系统会将两种评价的百分比展示到资源详细介绍页供用户参考。

5 结束语

本文在开发过程中从大数据类别标注和资源共享平台的设计与实现的实际需求出发，利用Java语言结合JSP以及MS SQL数据库设计并实现了大数据类别标注与共享平台。在整个设计过程中，遇到了很多问题，但我们也在解决这些问题的同时对数据库的设计、数据库语句优化、MVC三层体系、JSP等都进行了研究并有了更深一层的了解。通过对系统的需求分析、设计等一系列工作，系统被分为管理员后台模块和用户前台模块。由于本人时间较为紧张，该设计仍然存在一些有待改进完善的地方，例如没有实现用户与用户之间的交互功能。希望通过以后对系统的不断完善和优化，能够开发出更加符合实际需求的资源共享平台，方便人们的学习使用。

参考文献：

[1] 谢希仁. 计算机网络[M].6版.北京： 电子工业出版社， 2013.

[2] 张海藩， 吕云翔. 软件工程[M].4版.北京： 人民邮电出版社， 2013.

[3] 王珊， 萨师煊. 数据库系统概论[M].5版.北京： 高等教育出版社， 2014.

[4] 明日科技. Java从入门到精通[M].3版.北京： 清华大学出版社， 2014.

[5] 马克·艾伦·维斯. 数据结构与算法分析： Java语言描述[M]. 3版.北京：机械工业出版社， 2016.