网络安全分析中大数据技术的应用

摘要：本文首先介绍了大数据技术在网络安全领域应用的重要性，并介绍了大数据技术在网络安全中的具体应用，从收到采集、数据存储、数据检索、网络安全等方面的分析，最后利用大数据技术构建了一个网络安全平台。本文以网络安全需求的实际应用为出发点，对大数据技术进行了简要的描述，在实际应用中可以有助于创建一个安全的网络环境。

关键词：大数据；网络安全分析；攻击检测

网络安全数据分析与网络结构越来越复杂，来源越来越丰富，数量呈现指数曲线增长、从TB到PB量级，内容越来越具体，范围越来越大；网络设备的性能越来越强，数据传输速度更快，安全信息的采集速度要求越来越高；网络安全漏洞逐漸增多，影响范围广。此外，一些有组织、有预谋、高度持久的攻击非常猖獗，需要多种类型的安全信息和多样的网络安全维护手段。

1大数据技术在网络安全分析中的应用

日志和流量是网络安全分析的主要数据对象，资产、配置、漏洞、访问、应用程序行为、用户行为、业务行为、外部报告等都是辅助信息。在大数据技术的分析下，其原理是将日志和流量数据集中在一起，利用高效的采集、存储、分析和检索技术，提高网络安全的分析和处理效果，缩短分析时间。在使用信息关联、阶段组合、场景关联等手段进行分析时，发现了安全事件、安全漏洞预测、高持久性攻击和数据泄露等安全事件之间的关联，可以很快从被动防御转变为主动防御。

1.1信息的采集

数据采集可以使用Chukwa等工具，使用分布采集的手段进行对于日志信息每秒数百找的采集；通过传统的数据镜像的采集方式，可以采集全流量数据。

1.2信息的存储

面对复杂的数据类型和各种应用方式，为了满足所有分析数据存储的需要，提高检索和分析的速度，我们应该采用不同的存储方法来存储不同类型的数据。

供检索的原始安全数据，如日志信息、流量历史数据等，可使用GBase、Hbase等列式存储，其具有快速索引的特性，能够快速响应数据检索。

1.3信息的检索

安全数据的查询与检索可以使用以MapReduce为基础的检索架构，把数据查询的请求主语各个分析节点进行处理，利用分布式的并行计算方法，将安全数据的检索速度有效提升。

1.4数据的分析

实时数据分析可以利用Storm或者Spark等流式计算架构为基础，联合复杂事件处理技术和定制的电联分析计算方法。采用以上方法对于实时分析数据内存、实时监控与关联安全信息，能够及时捕捉异常行为。非实时数据的分析可采取Hadoop架构，利用HDFS分布式存储和MapReduce分布式计算，联合数据聚合、数据挖掘、数据抽取等技术，离线统计风险、分析事态、寻找攻击源。

1.5多源数据与多阶段组合的关联分析

多源数据与多阶段组合的关联分析。大数据技术可以有效地提高存储和分析的速度，多源异构数据挖掘和分析用时更短，关联挖掘大规模系统的安全隐患、关联不同阶段的攻击行为特征等可能性存在。例如，对僵尸网络进行分析，不仅可以结合DNS的流量特性，还可以对数据进行进一步的扩展和来源分析，将全分组数据集合、对溯源数据和莫管数据进行攻击、深度关联分析外界情报等信息。

2基数大数据技术的网络安全平台建设

2.1基于大数据的网络安全平台架构

该平台由数据采集层、大数据存储层、数据挖掘分析层和数据表示层组成。数据采集层可以根据流量、用户身份信息、事件和威胁信息收集多源异构信息。大数据存储层可用于分布式文件系统长期总存储大量的信息，并能实现结构化、半结构化和非结构化数据存储，分布式文件系统使用真实的数据均匀分布的均衡算法，为今后提高数据检索的速度。数据挖掘分析层能够实将时数据分析关联、分析情境、提取特征，以此来实现安全事件的挖掘，迅速发现异常网络行为并追溯其根源，同时搜索信息数据的查询和定位。数据呈现层能够将大数据分析结构进行可视化的呈现，通过多种维度展现网络安全状态。

2.2平台实现的技术支持

2.2.1数据采集技术。本平台采取Flume、Kafka、Storm结合的形式进行数据采集。使用Flume进行海量安全数据的采集、整合与传输具有可呈现分布式、可靠性高、可用性高的特点，利用定制的数据，让发送方能够手机到源自不同数据源的数据，把数据简单处理后发送给各个数据的定制方。

2.2.2数据存储技术。使用HDFS进行采集后的数据存储，HDFS分布式文件系统有着高吞吐量和高容错性的特点，命名空间使用的是元数据管理节点文件系统，数据节点被用来存储数据文件，将64兆字节的数据块作为最基本存储单位。元数据节点的数量与数据文件的大小成粉笔，同一时间如果访问过多的文件就会造成系统性能的严重下降。所以，想要保障数据处理和分析的效率，此平台使用的存储单位就是HDFS数据块存储，把采集得来的数据归纳处理之后，保证每个文件的大小满足64兆字节。

2.2.3数据分析技术。此平台使用Hive完成数据统计与分析，采取类似SQL的HiveQL语言满足HDFS与HBase对于非结构化的数据进行快速检索的。该平台使用Hive对API进行封装，使用定制的插件开发和实现各种数据的处理、分析与统计。对于数据的挖掘分析，给平台使用Mahout完成基于Hadoop的机械学习，同时完成数据的挖掘与整理。针对事件流的关联与分析，该平台使用了CPE，把系统数据当作是各种类型的事件，对时间之间的关联性进行分析，构建起分门别类的事件关系序列库，完成从简单事件到高级事件的转化，在大量的信息中寻找到网络安全隐患。

3结束语

大数据技术在网络安全中的应用，实现了准确、快速、低价格的目的。在这个阶段，如何在网络安全中更有效地利用大数据技术已成为业界关注的热点和焦点。本文以当前针对网络漏洞与攻击的情况的防御需求为出发点，讨论了将大数据技术应用到网络安全领域的收集、存储、检索以及分析的应用手段，有效地提升了网络安全防御的准确度和效率。

参考文献：

[1]孙玉. 浅谈网络安全分析中的大数据技术应用[J]. 网络安全技术与应用，2017，（04）：102+106.

[2]贾卫. 网络安全分析中的大数据技术应用探讨[J]. 网络安全技术与应用，2016，（11）：96+98.

[3]王帅，汪来富，金华敏，沈军. 网络安全分析中的大数据技术应用[J]. 电信科学，2015，31（07）：145-150.

作者简介：曹琦（1996.03.26）男，民族：汉，籍贯：湖南永州，职务：大学在校，职称：学生，学历：高中，研究方向：计算机，单位：陆军步兵学院石家庄校区。endprint