面向中小学的低成本低功耗大数据存储设计

摘要：大数据的应用正在逐渐渗透到人类社会生活工作的各个领域，当前中小学教育经费有限，通常承担不起高成本的大数据系统设计。因此，本文考虑中小学的教育现状，提出一种低成本低功耗的分布式大数据存储系统。对于新时期中小学的教育和发展来说意义重大。

关键词：大数据；中小学教育；数据存储；低成本

一、 引言

自2012年以后，大数据（big data）的应用逐渐渗入到人类社会日常生活工作的各个领域，其中海量、高增长率和多样化的信息资产，通用大数据的统计和分析，给人类提供了更强的决策力，更透明的洞见发现力，更有效的流程优化能力。现阶段，大数据主要应用在消费类人群，很少有人研究如何将大数据应用到现在中小学教育中。在我国现阶段，作为基础教育的中国，教育经费绝大部分由国家支出，导致基础教育系统的经费有时出现紧缺，没有足够的资金注入到新型技术的开发与应用中。但是，大数据对现在中小学的教育有极大的意义。例如，针对每个学生学习中存在的问题、老师以及家长的意见反馈信息，可以通过有关大数据的分析，找出其相关数据的特异性，从而为每一名学生定制符合自身实际的特有的学习和复习计划。通过此种大数据的分析，弥补学生在学习中的不足，特别是减少对老师的依赖，提高自身学习的主动性与有效性，提高学生的学习效率，达到理想的成绩。因此，本文针对中国现有的中小学教育经费有限的教育国情，提出了一种低成本，低功耗的大数据存储和设计方案，将有效的、符合现阶段教育实际的大数据应用到目前的基础教育中，对现阶段的中小学的教育和发展意义重大。

二、 低成本大数据存储架构

现阶段，中小学教育中大数据的应用面对的主要问题是设计的成本问题。因为基础教育的资金不充足，并且还有不小的缺口，同时，直接采购大容量的数据存储服务器成本太高。故降低成本或者是以最低的成本设计大数据的存储架构是设计中的核心问题。图1描述了本文提出的面向中小学教育中的低成本低功耗大数据的存储架构。本设计中，采用的是主流的面向大数据的分布式文件系统（HDFS）架构。本设计中主要包括三部分主要内容，一是元数据管理器，二是元数据节点，三是大数据的用户（教师、家长和学生）和数据节点（活动数据节点和存档数据节点）。元数据管理器是大数据分布式文件系统（HDFS）的核心部件，其作用和人类的大脑类似，负责管理和协调大数据的其他个部分。元数据管理器负责接收用户的数据查询和用户数据接点的数据存储管理。他内部以表格的形式记录了用户数据存储的磁盘位置。用户端是大數据应用中的数据源头，所有的数据存储和访问都是通过用户端产生的。元数据管理器也是针对用户端产生的数据进行存储和管理。用户端在大数据存储和管理中同时起着中间人的角色。用户端进行数据的访问和存储时，首先通过和元数据管理器进行通信交互。系统设计中的数据节点分为元数据节点和用户数据节点。

图1低成本大数据存储架构

三、 低成本和低功耗存储设计

传统的商业设计中，会进行三份冗余，本地冗余和异地冗余，为达到高可靠性的设计分布式存储设计。但三份冗余需要更多的硬件设备，必然会增加额外的成本，这对当前的中小学教育的资金来说是一个不太可以接受的因素。相对于传统的大数据存储方案，我们设计了一种存档的管理方法，以提供一种低成本的设计方案。如图1所示，元数据管理器使用表格中的数据项记录数据的存储位置。表格通常由3个数据项组成：数据的唯一存储标号（ID）、数据的当前存储位置（Location）和数据的存档位置。当用户需要进行数据的存储或读取时，用户首先将要访问的数据路径或目录通过网络传递给元数据管理器。随后，元数据管理器根据用户请求ID查询数据的存储位置并返回给用户。新来的数据请求会优先存储在活动数据节点中，因为活动数据节点可以提供高可靠性和高性能的存储服务。活动节点的存储代价会相对较高，因此设计中采用较少的活动节点。与活动节点对应的是存档数据节点。

低成本的数据存储节点是存档数据节点利用的关键，比如学校淘汰的旧计算机，来搭建数据存储单元，从而实现降低存储成本的目的。存档数据节点是存储数据的低成本设计的核心部分，一般由传统的机械硬盘组成。考虑到中小学对低成本的需求，以及对高速的数据存储依赖性并不是太强烈，设计中只采用传统的机械硬盘。这些传统的机械硬盘可以从以前废旧的电脑上直接获取，然后通过网络讲他们组建成分布式存储系统。设计中为降低成本，如果采用比较旧的硬盘，由于旧硬盘的不稳定性，导致存储的数据容易出现数据错误，甚至产生不可恢复的数据损坏。但是，在设计中为保证数据节点的可靠性，采用冗余的策略来处理，通过这种冗余的机制，通过对相同的数据进行不同节点的备份来实现大数据的可靠性与安全性。在大数据处理过程中，如果一份数据出错，通过设计的冗余机制，就可以实现利用备份的数据来进行恢复，从而提高数据的可靠性。

四、 结语

大数据对现在的中小学教育有重要和深远的意义，但有限的教育科研经费往往无法使大数据有效地应用到中小学教育中。总之，本文针对目前中国中小学教育存在的经费不足的问题，提出了一种有效的可操作性强的低成本低功耗的大数据存储设计方案。随着本文对大数据在中小学应用的提出，相信未来会有更多的研究探索如何有效地将大数据应用到现在中小学教育中。

参考文献：

[1]孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013（1）：146-169.

[2]王元卓，靳小龙，程学旗.网络大数据：现状与展望[J].计算机报，2013，6（06）：1125-1138.

作者简介：

陈雨筱，山东省潍坊市，山东省昌乐第一中学。