大数据存储技术及其标准化分析探讨

2014-08-30 20:03:52朱寅
无线互联科技 2014年8期
关键词:标准化大数据

朱寅

摘 要:随着现代化技术的不断发展,在数据存储上也发生了极大变化,各行各业均开始运用大数据存储来保障系统运行有效性。本文基于这一背景,简单阐述了大数据以及存储技术的概念,分析了大数据存储的几项技术,并在此基础上针对其标准化展开研究,旨在优化大数据存储方式,提升数据使用有效性。

关键词:大数据;存储技术;标准化

大数据指的是一种存储、积累以及挖掘的大文件达到400GB甚至TB存储程度的现象,在现如今信息化、网络化发展时代下,大数据已经并不罕见,且广泛应用于各行各业。传统数据存储及管理中,面对海量的数据存储,其无论是存储能力还是存储效率,甚至是存储安全性方面,均呈现出滞后状态。目前在存储技术上通常分为网络存储以及直接附加存储两种,其中网络存储又分为存储域网络以及网络附属存储两种。不同存储技术适用范围不同,本文针对其存储方式以及标准化展开分析,现报告如下:

1 大数据存储技术研究

1.1 非结构化数据的处理

在这一方面,要数HDFS最具代表性。HDFS主要服务于系统中的各项应用程序,其将一些POSIX接口开放,通过主/从结构让流式访问文件的数据被允许操作。它是由不同的数据节点以及一个名字节点所组成,能够让数据按照一定模式分割为不同的64位数模块,并将其安排到不同分布式集群(由不同数据节点组成)中进行存储。当然,若在使用过程中大数据存储量不断增多,只需要增加数据节点即可轻松实现存储功能,扩展性能较强。……

登录APP查看全文

猜你喜欢
标准化大数据
标准化简述
企业标准化管理信息系统
标准化是综合交通运输的保障——解读《交通运输标准化体系》
中国公路(2017年9期)2017-07-25 13:26:38
大数据环境下基于移动客户端的传统媒体转型思路
新闻世界(2016年10期)2016-10-11 20:13:53
基于大数据背景下的智慧城市建设研究
科技视界(2016年20期)2016-09-29 10:53:22
数据+舆情:南方报业创新转型提高服务能力的探索
中国记者(2016年6期)2016-08-26 12:36:20
以标准化引领科技创新
论汽车维修诊断标准化(上)
交通运输标准化