基于ELK的分布式政务数据日志分析平台的设计与实现

彭凌华 陈杰浩 周彪

云上广西网络科技有限公司

一、引言

本文从政务数据共享交换平台运行过程中产生大量的政务日志数据入手，通过设计和实现一套可以对海量日志数据进行采集、存储、分析和展示的平台，帮助运维人员分析政务数据共享交换平台的运行状况，定位和解决运行过程中遇到的问题。基于政务数据共享交换平台要实现多系统间高并发的海量数据交换的现状，若使用传统的日志分析平台会面临数据采集性能低、数据存储成本高、数据分析能力弱、数据检索实时性差和结果展示单一化等问题，不利于运维人员及时地发现和解决运行过程中遇到的问题。

因此，本文基于ELK技术来设计开发一套可以对政务日志数据进行采集、处理、存储、分析和可视化展示的日志分析平台，不仅能有效地对政务日志数据进行管理，还能帮助运维人员多维度分析政务数据共享交换平台的运行状况，并能迅速定位和解决运行过程中遇到的问题。

二、系统架构设计

ELK是对由Elasticsearch、Logstash和Kibana三个部分组成架构的简称，ELK目前常用于海量实时数据采集、处理、存储和检索的场景。本文提出的政务日志分析平台对传统ELK架构中的数据采集和可视化部分进行了改进，并新增了数据缓存、数据分析和风险告警功能。

基于ELK的分布式政务数据日志分析平台主要分为六层：

1.日志数据采集层：使用Beats对政务数据共享交换平台所产生的海量日志进行分布式地采集，该部分是整个日志分析平台数据流的源头；……