数据虚拟化研究综述

赵国锋，葛丹凤

(1.重庆邮电大学 电子信息与网络研究院, 重庆 400065; 2.重庆市光通信与网络高校重点实验室, 重庆 400065)



数据虚拟化研究综述

赵国锋1，2，葛丹凤1

(1.重庆邮电大学 电子信息与网络研究院, 重庆 400065; 2.重庆市光通信与网络高校重点实验室, 重庆 400065)

摘要：大数据系统中数据源多，数据规模大，且数据具有异构异质的特点，为满足各种数据集成需求，如何快速高效地整合数据就显得越来越重要且具有挑战性。数据虚拟化能够灵活地实现各种数据集成需求，介绍数据虚拟化的概念、优势及应用需求，给出一种数据虚拟化系统架构，并对其中的数据虚拟化平面与管理平面以及各层的功能进行了阐述。重点针对数据虚拟化系统中存在的一些关键问题与挑战进行了详细分析，给出了需要进一步研究的课题与方向。

关键词：大数据；数据集成；数据虚拟化

0引言

近年来,大数据为众多行业的发展带来了重大机遇也面临着艰巨挑战。面对多样化、异构多源产生且跨行业整合的大规模数据，尤其是半结构化和非结构化的数据，必须解决数据采集、数据存储、数据分析、数据管理、数据安全5个方面的问题[1-4]。

在大数据技术创新的第一阶段，需要解决的主要问题是如何高效地组织存储与快速处理大数据。出现了以Hadoop为代表的分布式存储计算架构、以HDFS(Hadoop distributed fiel system)为代表的分布式文件系统、以BigTable、DynamoDB为代表的多种存储模型、大规模并行处理(massively parallel processing,MPP)数据库等大数据处理技术，这些技术是建立在大规模集群基础上的，需要大量的物理资源，其中也必然存在手工部署难、成本高、效率低、单点失效(无法保证服务的连续性)等问题[5-6]。……