基于Hadoop的高效率海量电子通信信息存储方法

刘苏英，张晴晴

(安徽机电职业技术学院，安徽 芜湖 241002)

0 引言

互联网与智能技术盛行的时代，网络信息在消息传达中起到不可替代的作用，人们的电子通信意识与理念也随之日益更新[1]。社会各领域信息传递需求量千差万别，其中不乏大规模电子通信信息的传递与存储，为高效率、低能耗解决海量电子通信信息存储问题，本研究基于Hadoop集群构建大规模信息存储模型[2]。Hadoop集群框架属于开源云平台，创造了HDFS文件系统、MapReduce并行式计算模型的运行环境，打造了良好的海量电子通信文件信息存储条件[3]。本文提出的Hadoop海量电子通信信息存储方法不仅构建了Hadoop集群存储模型，并且使用动态优先级负载均衡调度算法协调海量信息存储任务，减少存储节点的能量消耗与负载情况，实现高效率、低能耗信息存储目标。

1 基于Hadoop的高效率海量电子通信信息存储技术

1.1 基于Hadoop集群的云存储模型设计

传统的Hadoop集群利用单节点主从结构存储文件，其缺点是对中心存储节点造成极大压力，甚至发生电子信息存储停滞问题。为此利用图1所示的单节点双层Hadoop结构代替传统的主从结构，分担节点压力。

主Hadoop结构的分析节点用于控制中心节点集群，基于用户信息向服务器分配存储任务。电子通信信息资源元数据全部保存在中心节点集群中，以Hadoop平台的元数据为基础构建完整的数据库。数据管理节点属于低层次的数据节点集群控制单元，集群的心跳数据检测、节点能量均衡负载、集群的其他事务管理均在此单元中进行，不具备元数据存储功能[4]。……