基于ELK数据采集与分析平台的设计与实现

李连天

（阳江职业技术学院 广东省阳江市 529566）

1 引言

随着Internet技术的飞速发展，企业业务发展越来越大，需要越来越多的服务器。这些服务器生成的大量访问日志和其他错误日志，通过查询这些日志内容可以了解相关的硬件信息，以及发现配置过程中发生的错误的原因。当管理服务器数量达到数百台时，仍然使用依次登录每台机器的方式查询日志数据，不仅麻烦，而且效率很低，运维人员要花费数倍的时间。后来，人们开始使用集中式管理来收集和汇总所有服务器上的日志，使用Linux命令实现检索和统计，但处理数百台服务器生成的日志结果也不理想。因此网络运维人员需要一套可以高效率统一收集日志的可视化系统。为了解决上述问题，需要设计了一个基于ELK（Elasticsearch Logstash Kibana）的日志分析平台。它的功能是实时搜索，稳定，快速且使用非常方便。

2 需求分析

目前很多公司由于业务的发展，为保障公司业务正常进行，就需要增加相应的服务器来运行，服务器产生的海量日志，运维人员用以往的方法已经应付不过来了，现急需要做到问题的及时发现和处理。在日常运维工作中，运维人员对于系统和业务日志的处理尤为重要。以下六点是对ELK的需求分析：

2.1 数据日志的日益增多

如今一般一个公司都需要分量足够大的分析能力，处理数据时生产的日志随着业务增多，微服务得到重视，处理日志的能力进一步加强。在日常的工作中发现，系统产生的日志逐渐增加，想要找出其中的错误日志已经很难了。……