网络安全分析中的大数据技术应用探究

王颖

摘要：随着科学技术的快速发展，网络技术已经被广泛地应用到了人们的工作中，并给人们的生活与工作带来了很大的便利，为了进一步促进互联网事业的发展，也为了让人们得到更好的服务，相关部门应该提高对网络安全问题的重视程度，同时可以应用大数据技术来进行数据的存储与处理，这对于网络安全来说有一定的作用，该文就对网络安全分析中的大数据技术的应用进行具体的分析。

关键词：网络安全；大数据技术；应用意义；分析研究

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2017）33-0020-02

近些年来，互联网技术迅速发展，人们对网络中的数据量要求也越来越大，在各种数据层出不穷的同时，一些网络安全方面的问题也就出现了，网络安全涉及了公民的信息安全甚至关系到整个国家的安全，因此需要引起相关部门的高度重视，传统的网络安全防护措施是不够完善的，由于存在很多的漏洞因此无法达到预防的效果，这对于企业以及个人的信息安全产生了一定的威胁，针对这种情况，一种新型的技术出现了那就是大数据技术，所谓大数据指的是信息量的增大，同时大数据也有着较快的更新速度以及非结构化的特点，近年来对大数据的研究不断增加，人们对大数据技术也在不断改进，利用该技术能够有效地提高网络的安全性，在网络安全分析中占有十分重要的地位。本文就对网络安全分析中的大数据技术应用问题进行一定的分析。

1 网络安全分析中应用大数据技术的意义

人们说21世纪是科技的时代，不如说21世纪是大数据的时代，在互联网快速发展的同时，流动的数据量也在不断地增大，数据量的提升给人们的生活带来了方便，但是也给网络安全分析工作增加了困难，这种压力主要来自于两个方面：第一个方面是由于网络安全分析中的数据增大，所有在进行处理的时候应该按照分类的形式，但是数据越多数据的种类也就越多，因此还需要采用更为先进的技术进行处理。第二个方面数据增多的情况下，如果还是采用之前的速度进行数据信息传递，那么工作效率会很低，为了能够达到高速度、高效率的数据采集与处理就要确保信息安全方面的有效性，如果不能達到高速度的标准就会给网络安全带来更大的难度。在传统的网络安全分析过程中，都是利用结构化的方式完成对数据的存储，这种方式效率较低同时存储的成本也会比较高，如果想要达到更高的水平就要降低成本，还要降低数据的大小，数据存储的容量小了，这样一来数据很容易出现丢失的情况，反而对数据的存储以及处理产生不好的影响，传统的网络安全分析系统在对各种数据进行处理的时候，不能发挥出更好的效果，在分析方面以及查询方面的效率都不太好，针对这种情况必须要找到更好的解决方法，才能实现更好的效果。利用大数据技术就能够达到更好的效果，大数据技术能够将网络的数据存储量提高，也能在结构化的数据处理中确保有效性，还能确保数据信息的完整性。其次大数据技术能够降低网络安全分析系统的成本，可以利用分布式数据库提高对软件的要求，降低对硬件方面的要求，从而实现系统的构建与维护。对于大数据技术的应用来说，能够准确的完成对数据的处理，而且还能确保高速度。最后应用了大数据技术可以对网络安全问题进行精细的检测，从多维度、多层次的方面进行分析，有效提升了数据的处理效果。

2 基于大数据技术的网络安全平台建设

2.1 网络安全平台架构

网络安全平台由多个层次构成，分别是数据采集层、数据挖掘层、数据呈现层等等，在数据采集层中可以对用户的信息、各种情报等进行存储，将大数据技术应用到分布式的文件中，就能实现结构化以及半结构化的数据存储，还能将均衡的算法分布在分布式文件上，这对提高数据检索的速度有很大的帮助，利用数据挖掘层可以对数据进行一定的分析，从中提取出相应的特征，从而实现对安全事件的挖掘，还可以根据网络中出现的各种问题，发现并进行查询与定位，让数据真正呈现出可视化以及多维度的状态，这样才是真正的网络安全的状态。

2.2 平台实现的技术支持

除了要网络安全平台的架构，还需要有多方面技术的支持，例如：（1） 数据采集技术。在网络安全平台中可以利用Flume、stom的形式进行数据采集，还可以将这些数据进行整合与传输，实现其可靠性高、可用性高的特点，利用特定的数据能够接收到来自不同数据源的数据，对于比较活跃的数据进行处理，可以发现数据采集与存储之间的缓存部分，使其成为一个高效率的分布式系统，才能更好地为人们所服务，也实现了对负载的均衡。（2） 数据存储技术。利用HDFS来进行数据进行存储，这种数据通常具有高容错性，也可以对这些数据系统进行命名，将64兆的数据块作为存储单位，如果访问的文件多的情况下就会造成系统效率的下降，利用HDFS来进行数据存储就是将数据归纳以后，确保每一个文件都能够满足64兆字节。（3） 数据分析技术，通过网络安全分析平台来完成对数据的统计，可以采用SQL的结构化方式，利用HDFS也可以满足一些非结构化的数据检索，将定制好的插件进行开发实现了对各种数据的处理。对数据进行挖掘的时候，也要满足对数据的整理过程，这主要是针对于事件流来分析，网络安全分析平台利用了CPE就将系统的数据看做事件，是各种不同类型的事件，将他们之间的关联性进行一定的了解，并且建立起相应的类别的事件库，从而完成了对各种事件的转化。可以说，大数据技术能够在网络安全的应用中实现精确、高效的目的，那么如何在网络安全中让大数据技术发展的更好，就成为目前相关研究人员需要解决的问题，相信在众多专业人员的努力下，未来我国网络安全分析方面会取得更大的进步。

3 网络安全分析中的大数据技术应用

3.1 应用大数据技术的作用

在网络安全分析的过程中，可以将需要分析的数据分为两个方面，分别是日志与流量。除了这两个方面之外需要进行处理的数据还有访问、业务行为等等。将大数据技术应用到网络安全分析中，能够实现对数据的优化与处理，还能对日志与数据进行分散性的处理，从而有效降低处理的时间，只有不断地分析找出其中存在的问题，才能进一步提高安全分析的有效性。大数据技术在网络安全分析的效果可以从下面几个方面来体现：1）数据采集问题。如果应用了大数据技术就可以对数据进行分布式的采集，这种采集能够在一秒内实现几百兆的数据采集，这样效率能够得到一定的提升。2）在网络安全分析系统中，对数据的存储是必需的，应用了大数据技术能够对于不同的数据类型进行不同的数据采集，还能利用不同的方式来提高数据查询的效率，例如在对日志信息进行查询的时候可以采用列式的存储比较方便，如果是分析与处理标准化的数据，就可以利用分布式的模式进行处理，在数据处理过后可以将结果存放在列式存储中。3）在数据查询的时候也可以利用大数据技术进行，在系统中建立起MapReduce的查询模块，进行查询的时候直接将指令放在指定的节点，完成了相应处理之后再对各个节点进行整理，这种方式能够保证查询的速度与反应速度。4）网络安全分析系统中对数据的分析可以体现在两个方面：第一个方面是对实时数据的分析，可以采用关联分析算法以及CEP技术进行分析，还能实现对数据的分析、监控以及处理的过程，实现高效率、高速度的处理。第二个方面是对统计结果以及数据的处理，这种处理对时效性的要求并不高，可以应用各种数据处理技术，也可以利用离线处理的方式，从而更好地完成风险以及攻击方面的分析。5）对于复杂数据的分析。利用大数据技术让数据的分析与查询都能够体现出更好的效果，还能够有效完成对多源异构数据以及安全隐患、攻击方面的处理，当网络中出现了一些破坏行为，应该采用大数据技术从流量以及DNS的角度出发，对发散性进行一定的分析，再结合多方面的数据信息实现全方位的考虑。endprint

3.2 基于大数据技术构建网络安全系统

将大数据技术引入到网络安全系统中，主要包括有下面几个模块：（1） 数据源模块。网络安全系统能够通过分布式采集器的形式，对系统中的软硬件进行信息采集，并将这些数据进行存储，科学技术在不断地发展，网络安全系统中的数据源更多了，除了防火墙、检测系统等软件，对硬件的检测也更加严格，例如对服务器、存储器的检查与维护工作。（2） 数据采集模块。利用了大数据技术可以对数据进行分立，从而构建起分布式的数据基础，将这些数据从出现到删除进行一定的说明，真正实现对数据的访问功能，在数据量不断增大的今天，分布式的数据存储也越来越重要，能够更好地提高数据库的稳定性。（3） 数据分析模块。通过大数据技术可以让网络安全平台发挥出一定的数据处理功能，也能让人们在一定时间内对数据进行分析，最后的模块是数据展示部分，这主要是针对于用户来说，从用户的服务与体验来分析，让用户得到更好的服务，这样用户才会对网络技术以及大数据技术更加的信任，也能更好的使用网络安全系统，将自己的信息存储在网络中也会更加的放心。

4 结束语

综上所述，主要对网络安全分析中的大数据技术应用进行分析，可以看出，随着科学技术的不断提高，网络技术在人们的生活、工作以及学习中有着更加广泛的应用，由于人们广泛的使用，因此互联网数据的数量在不断地加大，这给网络安全分析工作带来了一定的难度与压力，如果在网络安全系统中应用大数据技术，那么在对数据进行处理、分析的时候就能够更加快速与方便，也能更快的建立起网络安全系统，这对维护网络安全有着很好的作用，希望以后大数据技术能够得到更多的推广與应用。

参考文献：

[1] 琚安康，郭渊博，朱泰铭.基于开源工具集的大数据网络安全态势感知及预警架构[J].计算机科学，2017，44（5）：125-131.

[2] 邓晓东，何庆，许敬伟.大数据网络安全态势感知中数据融合技术研究[J].网络安全技术与应用，2017 （8）.

[3] 汪东芳，鞠杰.大数据时代计算机网络信息安全及防护策略研究[J].无线互联科技，2015（24）：40-41.

[4] 张传勇.基于大数据时代下的网络安全问题分析[J].网络安全技术与应用，2015（1）：101.

[5] 张国强.浅析大数据时代下的计算机网络安全防范[J].经营管理者，2015（12）.

[6] 姜斌，刘靖，刘福强.探析大数据时代下的网络安全问题[J].信息安全与技术，2015，6（6）.endprint