基于Spark 的分布式网络日志处理系统的设计与实现

芦成刚 王桂荣

(延边大学工学院,吉林 延吉133002)

当今社会中大量数据的出现使数据分析领域的地位变得越来越重要。在当今的大数据领域,Spark 作为大数据通用计算平台,不但活跃,而且热门与高效[1]。为了给用户提供更好的体验,有必要分析网络日志。网络日志非常庞大,传统的日志分析方式已经很难满足人们的需要,有必要利用新的技术架构进行分析。本文介绍一种以Hadoop 分布式文件系统(HDFS)为存储结构,基于Spark 相关技术,利用Flume 的高扩展性和高可靠性,将日志进行分布式存储并离线分析处理的日志分析处理系统[2]。

1 系统整体配置

1.1 虚拟机环境安装

在本地电脑上安装一台虚拟机,在该虚拟机上克隆出三台主机,安装cent os 系统。每台主机安装Hadoop 存储系统,其中,一台为主机(Master),两台为从机(Slave),构成模拟分布式存储系统。Spark 可以独立安装使用,也可以和Hadoop 一起安装使用。

1.2 Spark 平台搭建

1.2.1 Scala 环境安装

1.2.1.1 Master 机器

Step1: 下载Scala 安装包,解压到/opt 目录下；

Step2: 修改Scala 安装包目录所属用户和用户组；

Step3: 找到环境变量文件.bashrc , 点击打开后进行编辑,添加一些其它选项,设置它的Scala_home 为解压目录下的安装包,设置它的path 环境变量为安装包下的bin 文件；

Step4: 验证Scala 安装。

1.2.1.2 Slave 机器

Slave 机的安装步骤和Master 机器安装步骤是一样的,根据前面Master 机器的安装步骤来安装就可以。

1.2.2 Spark 安装

1.2.2.1 Master 机器安装步骤如下:

Step1:在/opt 目录中,下载Spark 安装包并将其解压；

Step2:找到Spark 安装包的目录,重新设置用户与用户组；

Step3: 找到环境变量文件.bashrc , 打开进行编辑,添加Spark 的环境信息,设置SPARK_HOME 属性,使其指向/opt 目录下的spark 安装软件,修改它的Path 环境变量,使其指向SPARK 的bin 文件和sbin 文件；……