结合区块链的非结构化大数据云存储优化研究

徐 智，王 岳，王 欣

(1. 三江学院机械与电气工程学院，江苏 南京 210012；2. 江苏科技大学船舶与海洋工程学院，江苏 镇江 212003)

1 引言

传统网络中，数据大部分以结构化形式传递与存储，随着云计算网络的发展，非结构化数据大量涌现。所谓非结构化，表示不具有固定格式，不具有约定规则[1]，这类数据不容易统一处理，也不利于理解。但是在IDC的统计报告中提到，这类无规则数据的年增长速度超过60%，在2020年会达到40ZB。当前，Google日处理网页量在20PB以上；Facebook日存储数据量在15TB以上；一些实验室和教育机构的非结构化数据日生成量也在TB或者PB级别，其中，主要由本文、网页、音视频等组成。依托着云计算，非结构数据正在向着海量发展，其存储负担和存储成本也急剧上升，同时，对非结构大数据的持久化和操作也有着严格的可靠程度和时延要求。在其优化存储研究中，可靠程度的保证主要是采取冗余持久化机制；而在提高时效方面，由于现有的存储机制采取的是统一结构处理，将其直接向非结构化拓展存在很大难度，所以针对非结构化存储机制和存储方法的优化亟待解决[2]。采用Hadoop集群并行存储，是当下主流的持久化框架，但是还需要在此基础上部署数据清洗和存储调度策略等。有学者[3]设计了有关节点类型的存储方案，根据节点所属类型，以及相应的流行度对数据采取差异性存储。这种存储机制有利于降低云存储数据的传输距离与访问时延，但是没有针对非结构化数据的优化处理。……