基于Hadoop的市政设施监控大数据分析

陈伟锋++张萍

摘 要：在目前市政设施监控过程中，有效地应用大数据分析技术，不但可以提高监控的整体效果，同时还能够实现监控数据的快速处理，为市政设施监控提供完善的技术支持和技术保证。结合当前大数据技术的发展实际，Hadoop作为一种有效的大数据技术，在市政设施监控中能够得到有效的应用，对满足市政设施监控需要和提高市政设施监控效果具有重要作用。为此，应对Hadoop概念及内容进行全面分析，并了解和掌握Hadoop的体系架构，最后根据Hadoop技术实际，构建基于Hadoop的市政设施监控系统。

关键词：Hadoop 市政设施监控 大数据

中图分类号：TP31 文献标识码：A 文章编号：1674-098X（2016）10（b）-0076-02

Hadoop作为一种有效的大数据技术，在数据处理和网络系统中得到了有效的应用，对提高大数据分析处理效果具有重要作用。根据Hadoop技术的概念及内容实际，掌握Hadoop的体系架构特点，对于构建大数据处理系统是十分重要的。结合市政设施监控系统的数据处理需求，应用Hadoop构建市政设施监控系统，对于提高市政设施监控系统的运行效果和满足市政设施监控系统的数据处理需要具有重要意义。为此，应开展Hadoop大数据系统的研究。

1 Hadoop的概念及内容

Hadoop是一个用java语言实现的软件框架，在由大量计算机组成的集群中运行海量数据的分布式计算，它可以让应用程序支持上千个节点和PB级别的数据。Hadoop是项目的总称，主要是由分布式存储（HDFS）、分布式计算（MapReduce）等组成。

Hadoop作为一种有效的大数据处理技术，其主要优点分为4个方面。

1.1 可扩展

Hadoop技术在实际应用过程中，可以根据所构建系统的需求进行必要的扩展。具体功能可以在原有大数据处理的基础上进行增减，以满足所构建系统的实际需求为准。这一功能是Hadoop的主要优势，扩大了Hadoop技术的应用范围。

1.2 经济

Hadoop技术在应用过程中，整体应用成本较低。由于Hadoop具备了较好的可扩展性，在系统的构建中可以作为基础技术进行应用，在Hadoop基础上有效接入其他系统，避免了系统重建导致的资源浪费，有效地提高了系统的构建效果。

1.3 可靠

Hadoop技术在多年的应用过程中，被证明是一种可靠的大数据处理技术。这种技术不但可以有效地提高数据的处理速度，同时还能与其他系统进行无缝对接，提高信息数据的处理能力，满足系统运算和数据处理需要。因此，较高的可靠性保证了Hadoop能够得到有效应用。

1.4 高效

Hadoop技术的突出优点是数据处理速度较快。其不但可以在较短的时间内加快数据处理速度，同时也会根据系统的现实需求制定个性化的数据处理模式，提高系统的响应速度，保证数据处理速度能够达到预期目标，提高数据处理的整体效果。

2 Hadoop的体系架构

从Hadoop技术的应用来看，通常Hadoop的体系架构比较特殊，除了要设定功能模块之外，还要使模块具备一定的接入特性。

具体的功能模块特点如下。

Pig是一个基于Hadoop的大规模数据分析平台，Pig为复杂的海量数据并行计算提供了一个简易的操作和编程接口。

Chukwa是基于Hadoop的集群监控系统。

Hive是基于Hadoop的一个工具，提供完整的sql查询功能，可以将sql语句转换为MapRedce任务进行运行。

ZooKeeper是高效的、可扩展的协调系统，存储和协调关键共享状态。

HBase是一个分布式文件系统，有着高容错性的特点。

MapRedce是一种编程模型，用于大规模数据集的并行运算。

基于对Hadoop的了解，Hadoop在体系架构中用到了多种辅助工具和子系统，在整体体系结构上并不复杂，实现难度较低，具备了与其他系统有效集成的优点。在功能系统构建过程中，基本能够满足实际需求，对降低系统构建难度具有重要作用。

同时，Hadoop在体系架构中采取了分层架构的方式，这种模式不但具有一定的突出性，同时还能够解决功能系统构建过程中存在的系统接入问题。对降低功能系统的接入难度和提高功能系统的接入效果具有重要作用。因此，利用Hadoop构建大数据分析系统是重要措施。

除此之外，Hadoop具备了与其他系统对接的优势，可以在系统构建过程中，根据系统的实际特点和功能需要，构建相对应的大数据处理系统，提高系统的数据处理能力，保证系统在数据处理过程中，能够在整体有效性上得到全面提升。

3 基于Hadoop的市政设施监控系统的构建

基于Hadoop的特点以及市政设施监控系统的构建需要，利用Hadoop构建市政设施监控系统，应当做好系统的总体设计和功能设定。

在市政设施监控系统构建过程中，基于Hadoop的特点和优势，应当采取典型的系统架构模式进行系统构建，并根据Hadoop的系统架构需要对系统结构進行调整，使市政设施监控系统在科学性和合理性上满足实际需要，提高系统的构建质量。

考虑到市政设施监控系统的数据处理量较大的特点，在应用Hadoop技术之后，应当根据Hadoop的算法对市政设施监控系统的数据进行有效处理，保证市政设施监控系统在数据处理速度上能够达到预期目标，提高数据处理质量。

在此基础上，应发挥Hadoop大数据处理技术的优势，根据市政设施监控的实际特点，设置数据处理功能目标，指导Hadoop大数据处理技术的应用，保证Hadoop大数据处理技术在应用过程中能够提高数据处理效果。因此，在具体的系统构建中，应突出数据处理速度目标。

在市政设施监控系统中，该系统利用先进的视频监控、智能识别和信息技术手段，增加可管理空间、时间和范围，不断提升管理广度、深度和精细度。整个系统由信息综合应用平台、信号控制系统、视频监控系统、智能卡口系统、电子警察系统、信息采集系统、信息发布系统等组成。

最后，在系统构建完成之后，应对Hadoop大数据技术构建的监控系统与其他监控系统相对比，重点比对数据处理速度和数据处理量，总结Hadoop技术的优势，为市政监控系统的构建提供良好的系统支持和技术支持。

4 结语

通过该文的分析可知，在市政设施监控系统构建过程中，有效地应用Hadoop技术，不但可以构建完善的大数据处理中心，同时还能解决市政设施监控系统中存在的数据处理速度慢和数据处理量大的问题。因此，应对Hadoop技术有正确的认识，做到正确分析Hadoop的优势和特点，并在市政设施监控系统的构建中有效应用Hadoop技术，提高市政设施监控系统的构建效果，满足市政设施监控系统的构建需要。

参考文献

[1] 廉捷，周欣，曹伟，等.新浪微博数据挖掘方案[J].清华大学学报：自然科学版，2011（10）：1300-1305.

[2] 何忠育.分布式社会网络分析支撑系统研究与应用[D].广东工业大学，2011.

[3] 陈旭.基于社会网络的WEB舆情系统的研究与实现[D].电子科技大学，2010.

[4] 胡进.复杂网络上的博弈及其在通信网络资源管理中的应用[D].华中科技大学，2010.