基于HADOOP集群的数据采集和清洗

刘晨+焦合军

摘 要：互联网的到来，使计算机行业蓬勃发展，各公司的业务数据也都到达P级别的数据量。本文结合Hadoop框架的中Hive和Hbase，对各个模块进行了详细的描述，重点分析了集群搭建步骤，及如何对集群的数据进行采集和清洗，并通过建立表来存储分析结果。

关键词：海量数据；Hadoop；hive；数据采集；数据清洗

中图分类号：TP311 文献标识码：A

1 引言（Introduction）

Hadoop框架本身大多是用Java编程语言编写的，一些本地代码是使用C语言编写的，命令行实用程序写成shell脚本，同时随着不同公司的工作需要，随之产生了许多不同的版本，极大的丰富了Hadoop的内容，如同后续出现的Hive、Zookeeper。截至2013年，已经有超过一半的世界500强企业采用Hadoop。Hadoop也在技术上被世界所认同。随着技术的发展和革新，全球大多的企业都对Hadoop青眼有加。

目前为止，Hadoop已经涉及了全球一半以上的数据处理的工作，是当下最为实用数据处理平台，研究Hadoop会使得海量数据的处理变得异常轻松。Hadoop在现代社会的应用已经涉及了通信、电子商务、军事领域和互联网。

通过使用Hadoop，旅游公司通过Hadoop和Hive可以迅速的帮助游客筛选理想的旅游地点和酒店住宿等功能，并能够分析出中短期时间内旅游热门的趋势。而一些网络公司，如Facebook、百度等，也运用Hadoop来处理用户的状态更新，日志生成，并根据用户的喜好分析并推送相应的应用和产品。甚至军方也在应用Hadoop，譬如美国军方就应用Hadoop的Digital Reasning来梳理来自于情报部门的大量非结构化文本数据，并从这些分析报告中寻找出可能危害国家及人民安全的文件。……