一种网络日志自动化采集及分析工具设计

邵云蛟++占晓云++宫政

【摘 要】电力信息网络规模日渐扩大，网络中的设备也不断增多，网络运行日志数据量急剧增大。目前安庆供电公司日志查看、分析主要依赖运维人员手动进入设备完成，整个分析过程自动化程度较低，本文依据电力信息网运行维护业务对日志采集分析的基本要求，设计了一种基于syslog日志协议的信息网各类网络设备日志的自动化采集与基础日志分析查询工具，并通过方案在项目中的应用，验证了方案的有效性。

【关键词】移动应用 数据同步 数据交换

引言

电力信息网络规模日渐扩大，网络中的设备也不断增多，这些设备在运行过程中会产生大量的事件信息[1]，事件信息中包括了丰富的运行状态、用户操作、潜在安全告警等数据，通过对日志的及时有效分析可帮助网络运维人员及时掌握整个网络运行状态、潜在的安全风险，并采用相应的处理措施[2]。

目前安庆供电公司日志查看、分析主要依赖运维人员手动进入设备完成，整个分析过程自动化程度较低，同时不能主动发现设备存在的潜在故障及安全风险[3]，进行网络日志采集和分析是开展信息通信运维状态检修的有效手段，通过日志采集和分析，可以同时获得设备运行状态、设备使用状态、设备安全状态、设备效能状态，故而建立这样一套工具是非常必要。

1 方案设计与实现

1.1 需求分析

安庆供电公司网络日志自动化采集及分析管理系统用户对象主要是信通公司网络运维人员。网络日志自动化采集及分析管理系统主要需求有：如表1所示。

1.2 技术路线

网络设备在运行过程中因为不同的运行工况、网络环境产生的日志类型、日志内容十分丰富；日志的采集及存储是网络设备日志分析的基础，为此工具本以实现日志的标准化采集、存储为基础目标，并实现基于关键字的网络行为分析；在此基础上积累一定数据量的运行日志，并实现一系列各类高级分析方法和应用。工具主要包括日志采集、日志格式化存储、日志分析、 日志安全事件监测规则库建立、日志查询展现及日志报表等模块的需求分析和系统设计工作，其中，需求分析分需求调研、需求梳理和需求确认三个阶段，系统设计包括功能设计、数据库设计、安全防护设计、运行环境设计和可视化设计等。系统逻辑架构如下图所示。网络日志自动化采集与分析系统由前台Web管理和后台日志自动化采集及分析后台两部分组成，运维人员通过Web管理平台对系统进行初始化设置，对台账、日志、告警等进行查询和管理；网络日志自动化采集与分析系统实现對交换机、路由器、主机、IDS、防火墙等网络设备的日志数据采集，对采集的数据进行分析。发现网络设备的故障以及网络潜在隐患，精确定位网络的故障所在。

系统完全由软件来实现，部署简单，无需更改网络配置，无需安装客户端，不影响网络的正常运行。其中管理平台采用Web架构，部署在应用服务器中，网络设备日志自动化采集与分析系统部署在Linux系统服务器，以轮询服务和多线程方式运行。如图1所示。

系统基础数据库采用MySQL数据库 ，存储网络设备基础台帐信息、初始化配置信息、日志记录等。

1.3 基于正则表达关键字的安全策略处理

不同厂家、不同类型的交换机针对同一安全事件具有不同的表达，同时安全事件和时间、设备IP、端口等信息存在一定的关联，是一个动态的数据，为了更好的匹配出存在风险的行日志，基于正则表达式对行日志进行过滤，避免基于单纯的关键字匹配存在的局限性。

同时安全策略可以有多个关键字形成的逻辑关系组成一套完整的过滤策略，逻辑关系支持包含、排斥两种。

参考文献：

[1]王伟，彭勤科.主机日志分析及其在入侵检测中的应用[J].计算机工程与应用，2002，38（13）：35-37.

[2]姜传菊.网络日志分析在网络安全中的作用[J].现代图书情报技术，2004，20（12）：58-60.

[3]陈文，邓韵东.电网网络系统运行日志分析[J].云南电力技术，2011，39（5）：60-61.