基于云存储的教学资源共享系统的设计

苏叶健

摘 要

教学资源共享系统具有较大的数据存储量和网络传输量，本文探讨探讨教学资源共享系统的框架设计及技术问题，研究如何构建私有云存储技术解决教学资源共享系统数据传输效率和存储效率，并就重复数据删除技术、文件格式转码等重要技术问题进行探讨。

【关键词】云存储 重复删除 资源共享 系统设计

1 引言

随着云计算技术的快速发展和网络教育的兴起，微课、Mooc等多种教学形态的出现，越来越多的大学院校需要搭建教学资源共享系统。教学资源包含课件、教案、教学案例、教学视频、历届学生课程考试作品、参考资料等内容，文件数量、数据容量非常庞大，对服务器的存储容量、网络带宽提出很高的要求。

以一所在校师生人数为2万人的高校为例，按照15%的日活跃用户计算，教学资源共享系统如果采用一般的CMS网站的模式快速建站，是难以支撑3000名的日活跃用户的教学资源共享、文件上传下载、教学视频播放等应用的，一方面首网络带宽瓶颈的制约，另一方面学生账号共享资源需要耗费大量的存储空间，为此我们需要寻求方法解决这些问题。

2 云存储服务的构建

云计算服务通常有公有云、私有云、混合云、社区云等形态存在，由于教学资源共享系统主要面向校内用户使用，考虑到教学资源数据量较大，公网网络带宽成本问题、网络传输速率问题，而且在校学生都接入了校园内部网络，综合考虑，采用了私有云。

2.1 云存储架构

云存储是云计算当中的一项服务，常见的云存储架构可划分为访问层、应用接口层、基础管理层、存储层，教学资源共享系统划分视图层、业务层、数据层，而数据层将与云存储的访问层进行对接，如图1所示。

2.2 云存储服务的重要问题

在教学资源共享系统解决方案当中，云存储服务负责教学资源文件的数据上下行传输和存储服务。云存储服务由分发服务器、存储服务器构成，所有存储服务被虚拟化为一个存储对象并作为访问层与教学资源共享系统数据层进行对接。

2.2.1 文件级重复数据删除处理的性能

当用户上传各类教学资源文件时，文件级重复数据删除处理模块将文件的散列值作为特征码存入搜索列表，后续其他用户上传相同文件时，系统根据文件特征码发现和剔除相同文件。文件级重复数据删除处理的核心问题是特征码搜索性能，可以根据多种文件特种建立多级搜索，包括以文件类型、特征码等重要标识构成图2所示的搜索树，搜索树的两级特征码分布采用Checksum和SHA-1算法。

Checksum被称为总和检验码，用于数据通讯传输过程中高效率校验数据完整性，其算法是将数据源的十六进制编码累加得到校验和，若校验和超过24则使用其补码作为校验和。在本解决方案中，Checksum在本案例中用于实现将校验和当作重复文件搜索的一级筛选特征码，允许不同文件的特征码出现重码，为了提高运算效率，只对上传文件的一段数据执行Checksum算法。

SHA-1是一种安全散列算法，本案例将SHA-1算法用于实现对用户上传的文件生成SHA-1特征码作为文件的唯一标识，用于判断用户上传的文件在存储服务器中是否重复存在。虽然SHA-1算法运算效率比较低，特别是对视频等大容量文件执行该算法需要耗费较多运算资源，但相对网络数据传输速度而言仍是可以忽略的。为了坚固效率和安全性，本案例采用表1所示方式执行上述校验算法。

2.2.2 数据传输

数据传输的主要问题是網络瓶颈问题，3000名日活跃用户对视频等大容量资源的访问，采用单一服务器难以承载资源共享访问量，为此需要建立CDN内容分发网络，CDN服务器根据网络负载状况对用户教学资源访问请求转发到不同的存储服务器，以分解校园网带宽数据流量。

3 教学资源共享系统的设计

3.1 系统模块设计

本系统由教学资源展示模块、个人空间模块、后台管理模块等业务模块，以及文件格式转换模块、视频资源转码模块等数据格式处理模块构成。功能模块构成如图3所示。

上述模块当中，教学资源展示模块、个人空间模块、后台管理模块主要用于教学资源共享相关业务逻辑的实现，包括教师在线备课、发布资源、微课、Mooc等各类课程网站建设、学生在线学习、分享资源等功能的实现。

3.2 数据格式处理模块的设计

用户上传的视频资源考虑到文件容量、视频格式等因素，并不适合直接应用到网站在线播放，需要进行视频转码处理。视频转码的流程如图4所示。

文件格式转换与视频转码的处理流程类似，文件格式转换模块、视频资源转码模块被封装为系统的子项目，独立运行于转码服务器，如果系统用户规模比较小，也可以与主项目合并在同一台应用服务器上运行。

4 小结

构建基于云存储技术的教学资源共享系统，在实现常规业务逻辑实现的同时，受存储容量、网络基础设施等制约，需要考虑数据网络传输瓶颈、数据冗余处理等问题，当然，内容分发网络服务的分发算法、重复数据删除处理算法影响着存储效率，数据冗余率与存储效率是一个矛盾体，需根据实际项目实施情况权衡两者关系，根据实际需求调整处理算法。

参考文献

[1]毛波，叶阁焰，蓝琰佳，张杨松，吴素贞.一种基于重复数据删除技术的云中云存储系统[J].计算机研究与发展，2015（06）：1278-1287.

[2]宋雨，易璐，王凤霞.基于云存储的重复数据删除架构的研究与设计[J].计算机系统应用，2013（01）：208-211.

[3]毕朝国，徐小龙.一种云存储系统中重复数据删除机制[J].计算机应用研究，2014（10）：3052-3055+3060.

[4]刘贝，汤斌.云存储原理及发展趋势[J].科技信息，2011（05）：470-471.

[5]张龙立.云存储技术探讨[J].电信科学，2010，S1：71-74.

[6]刘金芝，余丹，朱率率.一种新的云存储服务模型研究[J].计算机应用研究，2011（05）：1869-1872.

[7]比特网.文件级别和数据块级别重复数据删除的差异[OL].http：//storage.chinabyte.com/80/11351580.shtml，2010/5.

[8]曾旭，高献伟，路而红，陈运.HASH算法MD5的高速实现[J].成都信息工程学院学报，2009（02）：129-132.

[9]敖莉，舒继武，李明强.重复数据删除技术[J].软件学报，2010（05）：916-929.

作者单位

1.广西大学计算机与电子信息学院 广西壮族自治区南宁市 530004

2.南宁职业技术学院 广西壮族自治区南宁市 530008