基于云计算技术的大数据处理系统的研究

李晓飞

（辽宁石化职业技术学院计算机系，辽宁 锦州121001）

0 引言

在宽带互联网接入技术及智能终端高速普及的今天，网络数据容量以及处理数据量／数据强度的增加速度大大快于任何一个时期；大数据时代已经悄然来临。大数据时代是伴随着云技术的发展而来的，如何在云环境下进行安全、有效、准确的大数据处理，成为人们研究的一个热点领域［1－3］。

当前人们对大数据处理问题的研究，主要是基于云环境的大规模分布式部署、网络架构深度融合以及动态实时数据处理这三大云技术研究方向展开，也取得了一定的成果，对当前云环境下大数据处理问题的解决亦有裨益。但是由于云环境的复杂性以及面临的问题往往是互相交织的，研究过程中也遇到了巨大的困难，主要集中在如下的3个方面［4－5］：（1）云环境下的数据结构十分复杂，处理方式不统一，需要进行并行处理；（2）大数据的处理问题，要求以动态的方式处理事实数据，按照事实需求改善系统的实时性和处理资源的安全性、有效性、准确性；（3）系统面向开发人员与使用者，为改善系统的灵活性，需要透明地向开发者以及使用者开放，而现有的系统，仅仅提供有限的接口供开发者及使用者享用，从而也间接地影响到数据的处理性能。

对此，本文采用技术融合思想对大数据处理系统进行研究，提出了一种新的大数据流处理模型，尝试将该模型用于大数据处理平台的构造中，为解决云环境下的大数据处理问题提供了一套新的思考方式及解决方案。……