云环境下的大数据计算机处理技术研究

何春 电子科技大学成都学院

1 前言

随着互联网的普及与发展，世界已进入到信息爆炸的时代，网络技术、移动通信技术以及互联网技术的发展都产生了海量的数据信息。2020年世界范围数据总量将会达到达到35亿TB，意味着大数据时代的到来，必然会催生对应的大数据处理技术。

云计算技术主要借助于集中式计算机资源，通过按需分配的形式，为终端用户提供廉价的计算机大数据处理方案。云计算技术是处理海量数据的一种关键技术形式。对于终端用户来说，在数据资源上处于较为透明的状态，能够为行业发展以及分析提供数据计算服务，在服务能力上，能够实现无限的延展性。

2 在云环境下大数据计算机处理的主要流程

2.1 大数据的采集

大数据采集是整个数据处理的基础性环节，随着互联网技术的应用与发展终端数据收集逐渐得到普及，使得数据收集以及存储量成为天文数字，数据之间的连接关系变得极为复杂，但是对于大数据的收集要实现采集的高精度以及高速度，以此才能够提升信息采集的效率。

2.2 数据的处理以及集成

对于大数据进行分析之前，首先要进行数据的处理及集成，主要是对数据集进行格式化，然后对数据进行去噪声处理，处理完成后，进一步得到集成数据集合。如果数据采集标准不统一，将会得到不一致的数据结构，必然会影响后期数据分析的效率以及精确度。因此对于所采集的大数据信息必须要统一格式，尽可能去掉一些无效用的信息数据。

2.3 数据的分析

在数据完成前期的处理以及集成之后，需要对数据进行分析，分析数据主要是能够挖掘其在背后所潜在的价值。大数据的分析主要借助于数据仓库的采集以及数据挖掘工具的存储，对于大数据进行分析与传统的数据分析有着较为明显的差异性，主要是能够提供的服务更加多样化以及深入化。所面临的客户主要为其提供解决方案，实现独立性的大数据分析服务。

2.4 数据分析结果的解释

对于大数据的分析结果要进行解释和阐述，是直接得出成果的必要步骤，对于传统的数据分析显示主要依靠于文本的形式，但是随着大数据的发展，传统的数字显示技术已经难以满足其后期的发展要求，因此在数据进行分析过程中，要引入可视化的数据解释方案，对于数据结果进行模拟分析，这样才能够给数据分析用户形象具体阐释分析的结果，作为其作出决策的重要参考。

3 基于云环境下的大数据计算机处理技术

在云计算环境下的大数据处理技术主要集中于大规模的廉价计算平台，利用网络虚拟化技术实现廉价计算平台的有效建设。可以将计算机的存储应用以及网络数据的计算等转化为虚拟的实体，对于富余的计算资源进行抽取，使之能够形成两者之间相互独立的虚拟服务器来完成大数据的处理以及分析，能够实现底层硬件的虚拟化，同时也能够有效构建能够扩展的计算机资源池，实现集成管理与虚拟计算以及计算节点流程化，也能够有效实现大数据资源处理的实时迁移以及转换。同时完成系统监控以及子任务的部署。

3.1 Hadoop技术

在互联网环境下，借助于计算机处理大数据技术必然会牵扯到Hadoop平台。这种平台作为MAP算法的一种框架，借助于其分布式的框架结构，包含分布式文件系统以及分布式的数据库系统。利用这些强大的功能模块，已成为目前市场上较为流行的大数据处理的框架性平台，在实践中得到了极为广泛的应用，基于Hadoop平台技术能够有效实现大数据的分布式程序管理，实现大规模计算机的集群集成工作，从目前Hadoop技术的应用来看，全球大多数it公司都将其作为云计算主要基础性框架平台。

3.2 MapReduce技术的关键性支持

在云环境下，基于计算机对大数据进行处理和分析，必须要使用服务较为廉价的集群式服务器，可以通过分布式或者是并行式的方式对数据进行处理，在MapReduce技术进行开发的过程中，需要对MapReduce接口进行定义，在对于大数据进行分析调取完毕之后，利用计算机集群服务器调用整个用户程序，然后对大数据集合进行拆分，从而实现将大数据的碎片化形成多个数据片段，然后建立系列性的键值，利用MapReduce任务配备数据片段，在MapReduce技术的支持下，能够有效实现集群的大规模节点分配，最终结合键值对分配任务进行计算，形成键值的集合。如果在整个数据信息中包含相同的键值，那么会出现二元组合。

当MapReduce出现任务时，都会向二元组合进行键值分配，输入相应的大数据集合运算，并且运行该函数，在大数据进行处理的过程中，每一环节都需要负载均衡，提高容错率均衡，才能够实现对于大数据处理的实时监控。在这一过程中对于节点分配要均匀，保证每一个节点均有任务执行，但是如果对大数据处理失败，就会重新进行数据的处理。整个处理过程要高度满足MapReduce运行的需要，才能够实现海量数据处理的高效性。借助于云计算技术能够实现对于海量数据的高效率处理，在此背景下可以达到tb级别的数据处理速度，同时在平台内可以采用SDFS数据宽带技术，借助于大量廉价的计算机服务集群，能够对大数据的节点进行有效的扩展，以实现数据处理的高效化。

3.3 大数据处理框架模型的构建

对于大数据进行处理，需要借助于MapReduce算法进行有效的映射，对于大规模数据进行合理的划分，如果出现纸模块需要借助于纸模块的参数进行控制。借助于框架平台提供的分布式管理系统，有效载入大数据实体信息，从而实现大数据的智能采集与接收，在数据处理的环节，基础于MapReduce技术实现数据的高效率转移。在整个云计算框架背景下，实现对数据的分布式管理，在运行MapReduce算法的过程中提供API技术支持。

在云计算背景下对大数据进行处理，特别是在第二级结构中，软件系统更为重要，该系统基于第一级构建虚拟的资源，在大规模服务及集群化得到了广泛的应用，可以将数据的资源得到虚拟化回收，并且搭建均衡的负载，有效提高大数据处理的容错机制。同时为相关配置提供技术性支持，借助于SAT平台技术实现对大数据接口处理以及内容的编写，有效实现不同行业的数据信息服务实现良好的用户数据平台支持，通过分部任务来提供虚拟的计算机节点，向用户提供重要的终端性支持。借助于平台的框架性设计，实现HDFS分布系统文件以及MapReduce技术的应用，实现数据处理业务的协调。在大数据计算资源处理中，基于数据存储的要求，对云计算以及计算机网络技术要合理进行引入对于大规模计算集群，实现规模化以及集中化的管理，搭建高效率的计算平台，建立大数据的分析框架模型。

4 结束语

本文主要探讨在云环境下大数据计算机处理的技术，对Hadoop技术以及MapReduce技术的详细探讨，阐述了计算机如何在云环境下高效率的进行大数据的分析计算以及数据挖掘，希望能够给相关研究员以借鉴和参考，以提升大数据云计算处理技术的应用价值。