朱寅
摘 要:随着现代化技术的不断发展,在数据存储上也发生了极大变化,各行各业均开始运用大数据存储来保障系统运行有效性。本文基于这一背景,简单阐述了大数据以及存储技术的概念,分析了大数据存储的几项技术,并在此基础上针对其标准化展开研究,旨在优化大数据存储方式,提升数据使用有效性。
关键词:大数据;存储技术;标准化
大数据指的是一种存储、积累以及挖掘的大文件达到400GB甚至TB存储程度的现象,在现如今信息化、网络化发展时代下,大数据已经并不罕见,且广泛应用于各行各业。传统数据存储及管理中,面对海量的数据存储,其无论是存储能力还是存储效率,甚至是存储安全性方面,均呈现出滞后状态。目前在存储技术上通常分为网络存储以及直接附加存储两种,其中网络存储又分为存储域网络以及网络附属存储两种。不同存储技术适用范围不同,本文针对其存储方式以及标准化展开分析,现报告如下:
1 大数据存储技术研究
1.1 非结构化数据的处理
在这一方面,要数HDFS最具代表性。HDFS主要服务于系统中的各项应用程序,其将一些POSIX接口开放,通过主/从结构让流式访问文件的数据被允许操作。它是由不同的数据节点以及一个名字节点所组成,能够让数据按照一定模式分割为不同的64位数模块,并将其安排到不同分布式集群(由不同数据节点组成)中进行存储。当然,若在使用过程中大数据存储量不断增多,只需要增加数据节点即可轻松实现存储功能,扩展性能较强。……